論文の概要: Reason first, then respond: Modular Generation for Knowledge-infused Dialogue

• arxiv url: http://arxiv.org/abs/2111.05204v1
• Date: Tue, 9 Nov 2021 15:29:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-10 14:50:43.459212
• Title: Reason first, then respond: Modular Generation for Knowledge-infused Dialogue
• Title（参考訳）: reason first, then respond: 知識を融合した対話のためのモジュラー生成
• Authors: Leonard Adolphs, Kurt Shuster, Jack Urbanek, Arthur Szlam, Jason Weston
• Abstract要約: 大規模な言語モデルは、流動的な対話を生成できるが、しばしば事実の不正確さを幻覚させる。 本稿では,会話エージェントに知識を組み込むモジュールモデルであるKnowledge to Responseを提案する。 詳細な実験では、そのようなモデルが知識に基づく対話作業において幻覚を弱めることが判明した。
• 参考スコア（独自算出の注目度）: 43.64093692715295
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models can produce fluent dialogue but often hallucinate factual inaccuracies. While retrieval-augmented models help alleviate this issue, they still face a difficult challenge of both reasoning to provide correct knowledge and generating conversation simultaneously. In this work, we propose a modular model, Knowledge to Response (K2R), for incorporating knowledge into conversational agents, which breaks down this problem into two easier steps. K2R first generates a knowledge sequence, given a dialogue context, as an intermediate step. After this "reasoning step", the model then attends to its own generated knowledge sequence, as well as the dialogue context, to produce a final response. In detailed experiments, we find that such a model hallucinates less in knowledge-grounded dialogue tasks, and has advantages in terms of interpretability and modularity. In particular, it can be used to fuse QA and dialogue systems together to enable dialogue agents to give knowledgeable answers, or QA models to give conversational responses in a zero-shot setting.
• Abstract（参考訳）: 大規模な言語モデルでは流れる対話を生成できるが、しばしば事実的不正確さを暗示する。 検索強化モデルはこの問題を軽減するのに役立ちますが、正しい知識の提供と会話の同時生成という理由付けという難題に直面しています。 本稿では,対話型エージェントに知識を組み込むモジュールモデルであるk2rを提案し,この問題を2つの簡単なステップに分解する。 K2Rはまず、対話コンテキストが与えられた知識シーケンスを中間ステップとして生成する。 この「合理化のステップ」の後、モデルはそれ自身の生成した知識シーケンスと対話コンテキストに出席し、最終的な応答を生成する。 詳細な実験では、そのようなモデルは知識に基づく対話作業において幻覚を減らし、解釈可能性やモジュラリティの面で優位性を持つことがわかった。 特に、QAと対話システムを融合させ、対話エージェントが知識のある回答をすることができるようにしたり、QAモデルがゼロショット設定で会話応答をすることができる。

関連論文リスト

• KPT: Keyword-guided Pre-training for Grounded Dialog Generation [82.68787152707455]
  KPT(Guided Pre-Training)は,グラウンドドダイアログ生成のための自己教師付き事前学習手法である。 具体的には、事前訓練された言語モデルを用いて、ダイアログ内の最も不確実なトークンをキーワードとして抽出する。 我々は,対話行為,知識グラフ,ペルソナ記述,ウィキペディアの文節など,数発の知識ベース生成タスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-12-04T04:05:01Z)
• Dynamically Retrieving Knowledge via Query Generation for informative dialogue response [7.196104022425989]
  DRKQG (emphDynamically Retrieving Knowledge via Query Generation for informative dialogue response) という知識駆動型対話システムを設計する。 まず、時間認識機構を用いてコンテキスト情報をキャプチャし、知識を検索するためのクエリを生成する。 そこで我々は,応答生成モジュールがコンテキストから派生した応答を生成し,検索した知識を生成できるコピー機構とトランスフォーマーを統合した。
  論文  参考訳（メタデータ） (2022-07-30T03:05:43Z)
• Towards Large-Scale Interpretable Knowledge Graph Reasoning for Dialogue Systems [109.16553492049441]
  よりスケーラブルで一般化可能な対話システムに知識推論機能を組み込む新しい手法を提案する。 我々の知識を最大限に活用するために、変圧器モデルが微分可能な知識グラフを解析して応答を生成するのは、これが初めてである。
  論文  参考訳（メタデータ） (2022-03-20T17:51:49Z)
• Multi-turn Dialogue Reading Comprehension with Pivot Turns and Knowledge [43.352833140317486]
  マルチターン対話読解は、機械に対話コンテキストを読み、応答選択や回答質問といったタスクを解くことを目的としている。 この研究は、ピボット発話として重要なターンを抽出することで、上記の2つの課題に対処する最初の試みである。 本稿では,対話理解のためのトランスフォーマーに基づく言語モデル上に,ピボット指向の深層選択モデル(PoDS)を提案する。
  論文  参考訳（メタデータ） (2021-02-10T15:00:12Z)
• The Adapter-Bot: All-In-One Controllable Conversational Model [66.48164003532484]
  本稿では、DialGPTなどの固定バックボーンモデルを用いて、異なるアダプタを介してオンデマンド対話スキルをトリガーする対話モデルを提案する。 スキルに応じて、モデルはテキスト、テーブル、強調応答などの複数の知識タイプを処理できる。 我々は,既存の会話モデルと比較し,自動評価を用いたモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-08-28T10:59:31Z)
• Knowledge Injection into Dialogue Generation via Language Models [85.65843021510521]
  InjKは対話生成モデルに知識を注入するための2段階のアプローチである。 まず、大規模言語モデルをトレーニングし、テキスト知識としてクエリする。 次に、対話生成モデルを作成し、テキスト知識と対応する応答を逐次生成する。
  論文  参考訳（メタデータ） (2020-04-30T07:31:24Z)
• Modality-Balanced Models for Visual Dialogue [102.35406085738325]
  Visual Dialogタスクは、対話に対する次の応答を生成するために、画像情報と会話コンテキスト情報の両方を利用するモデルを必要とする。 過去の共同モダリティ(歴史とイメージ)モデルが過度に再現され,対話履歴を記憶する傾向が強いことを示す。 本稿では,共有パラメータを用いたアンサンブルとコンセンサス・ドロップアウト融合による2つのモデルの統合手法を提案する。
  論文  参考訳（メタデータ） (2020-01-17T14:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。