ではでは、今度はChatbotに詳細な人物像(ペルソナ)を組み込んだモデルについて、見ていきたいと思います！ 重要なのは4からっ！ Personalized Response Generation この研究では２つのpersona-basedモデルを導入している。Speaker ModelとSpeaker-Addressee …

ではでは、恒例(?)のXioaIceで使われていた論文シリーズに参りたいと思います。 XioaIceでは生成ベース、検索ベース、ルールベースが使われていましたが、こいつはそのうちの検索ベースで使われていたやつ。 具体的にはPaired Dataに対して、(Question, Answ…

さてさてさーて。Question Generationにやってまいりました。 Question Generationといえば、傾聴とかの必須スキル。とういうか、Chatbotでの会話の継続のためにぜひとも学習したいモデルですね。 では、早速見ていきましょう。 ちなみに今回の論文はMicro S…

ではでは、Active Listening(日本では傾聴って呼ばれているやつ)を搭載した Chatbot について、調べていきたいと思います。 この子は今まで見てきたような、Open-DomainのChatbotではなく、InterviewというTask-orientedなChatbotですです。 なんで、Active …

とりあえず、この論文は実際の実装ではなく、文献的を参考にした設計です。 まあ、作りたいやつの参考になりそうなので読んでみました。 構成としては Chatbot, Speech Recognition, Speech Sythesis, Avatar の設計と、その組み合わせの構成となっている。 …

さーて、ようやくやってまいりました、Microsoft謹製のChatbotである、XiaoIceです！ XiaoIceって聞いたことはないと思いますが、じつを言うとこの子は日本ではRinnaと呼ばれています。そうっ！あのRinnaに関しての論文ですっ！ ということで、程々に気合を…

では、今回はいろんな論文に登場するBPEについて見ていきたいと思います！ こいつはTokenzierとしてよく使うsentence pieceの元となった論文ですな。 ちなみにsentece pieceとbpeの違いは、sentence pieceはユニグラム言語モデルっていうやつを使って、subwo…

今回がかの巨人であるGoogleが開発した Chatbotに関する論文です。 その子の名前はMeena!というか、なんて読むの？メーナ？ミーナ？ まあ、ミーナの方が可愛いのでミーナってことで。なんか、ミーナって聞いたことがある気がする。調べたら、進撃の登場人物…

ではでは、さーて、gpt-2で使われていた論文に行きたいと思います。 まず、こいつがどんな使われ方を確認しましょう！ 参照元の論文のもう一方ではRTEにおいて、<Premise><SEP><Hypothesis>という入力をして、この文章がNeural, Contradiction, Entailmentのどれに当てはまるのかの識別</hypothesis></sep></premise>…

ではでは、いよいよかの有名なAttention Is All You Need について見ていきたいと思います。 まあ、モデルの詳しい説明はググればいっぱいあるので、そっちに置いておいて、訳の分かりにくくなるところを調べていきたいと思います。 Model Architecture Tran…

前回のgpt-2の引用の論文であるImproving Language Understanding by Generative Pre-Trainingで使われていたこの論文。 まずは、どうこの論文がImproving Language Understanding by Generative Pre-Trainingで使われていたのかを復習すると..。 通常 input…

ではでは、記念すべき1本目の論文はGPT-2についての論文です。 1. Model Transformerに基づいたモデル(というか、かの有名なAttention Is All You Need)によって作られている。 まあ、そうだろうけど。 実装に関しては Open AI の Improviding Language Unde…