論文の概要: Response-Anticipated Memory for On-Demand Knowledge Integration in Response Generation

• arxiv url: http://arxiv.org/abs/2005.06128v1
• Date: Wed, 13 May 2020 03:09:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-03 13:08:34.051136
• Title: Response-Anticipated Memory for On-Demand Knowledge Integration in Response Generation
• Title（参考訳）: 応答生成におけるオンデマンド知識統合のための応答予測メモリ
• Authors: Zhiliang Tian, Wei Bi, Dongkyu Lee, Lanqing Xue, Yiping Song, Xiaojiang Liu, Nevin L. Zhang
• Abstract要約: 我々は,期待された応答を念頭に,文書記憶を作成することを提案する。 これは教師-学生のフレームワークを使って達成される。 我々のモデルは、CbRタスクの以前の最先端よりも優れています。
• 参考スコア（独自算出の注目度）: 45.53516539705227
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural conversation models are known to generate appropriate but non-informative responses in general. A scenario where informativeness can be significantly enhanced is Conversing by Reading (CbR), where conversations take place with respect to a given external document. In previous work, the external document is utilized by (1) creating a context-aware document memory that integrates information from the document and the conversational context, and then (2) generating responses referring to the memory. In this paper, we propose to create the document memory with some anticipated responses in mind. This is achieved using a teacher-student framework. The teacher is given the external document, the context, and the ground-truth response, and learns how to build a response-aware document memory from three sources of information. The student learns to construct a response-anticipated document memory from the first two sources, and the teacher's insight on memory creation. Empirical results show that our model outperforms the previous state-of-the-art for the CbR task.
• Abstract（参考訳）: ニューラルな会話モデルは、一般的に適切なが非形式的な応答を生成することが知られている。 情報提供性を大幅に向上できるシナリオは、ある外部文書に関して会話が行われるCbR(Conversing by Reading)である。 先行研究では、(1)文書からの情報と会話内容とを統合した文脈対応文書メモリを作成し、(2)そのメモリを参照する応答を生成することで外部文書を活用する。 本稿では,期待される応答を念頭に,文書メモリを作成することを提案する。 これは教師-学生のフレームワークを使って達成される。 教師は、外部文書、文脈、地味な応答を与えられ、3つの情報ソースから応答対応の文書メモリを構築する方法を学ぶ。 学生は、最初の2つのソースから応答予測ドキュメントメモリを構築することを学び、教師のメモリ生成に対する洞察を得る。 実験の結果,我々のモデルはCbRタスクの先行技術よりも優れていた。

関連論文リスト

• Memorizing Documents with Guidance in Large Language Models [21.919661430250798]
  トレーニング中の文書記憶を追跡するための文書記憶アーキテクチャを提案する。 提案手法は文書に対する異なるメモリエントリを提供し、文書関連コンテンツを学習された文書関連メモリで生成する。
  論文  参考訳（メタデータ） (2024-06-23T03:12:03Z)
• Awakening Augmented Generation: Learning to Awaken Internal Knowledge of Large Language Models for Question Answering [30.409828862670764]
  新しい知識強化フレームワークである$textbfAwakening-Augmented-Generation$(AAG)が提案されている。 コンテキストジェネレータを微調整して、シンボリックコンテキストとして機能する合成圧縮ドキュメントを作成する。 暗黙の覚醒はハイパーネットワークを用いて質問と合成文書に基づいてアダプタを生成し、それを大規模言語モデルに挿入する。
  論文  参考訳（メタデータ） (2024-03-22T15:06:45Z)
• UniMC: A Unified Framework for Long-Term Memory Conversation via Relevance Representation Learning [15.313416157905685]
  We propose a Unified framework for Long-term Memory Conversations (UniMC)。 主タスクを確率グラフに基づいて3つのサブタスクに分解する。 各サブタスクは、クエリとメモリ間の関連性を計算するための表現を学習する。
  論文  参考訳（メタデータ） (2023-06-18T12:30:50Z)
• Lift Yourself Up: Retrieval-augmented Text Generation with Self Memory [72.36736686941671]
  本稿では,検索拡張生成モデルを改善するための新しいフレームワーク,Selfmemを提案する。 Selfmemは、検索拡張ジェネレータを反復的に使用して、無制限のメモリプールを生成し、メモリセレクタを使用して、続く生成ラウンドの1つの出力をメモリとして選択する。 我々は,3つの異なるテキスト生成タスクにおける自己メモの有効性を評価する。
  論文  参考訳（メタデータ） (2023-05-03T21:40:54Z)
• Recitation-Augmented Language Models [85.30591349383849]
  知識集約型NLPタスクにおいて,RECITEは強力なパラダイムであることを示す。 具体的には、リサイクリングを中間ステップとして活用することにより、新しい最先端性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-10-04T00:49:20Z)
• Generate rather than Retrieve: Large Language Models are Strong Context Generators [74.87021992611672]
  本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。 我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
  論文  参考訳（メタデータ） (2022-09-21T01:30:59Z)
• Layout-Aware Information Extraction for Document-Grounded Dialogue: Dataset, Method and Demonstration [75.47708732473586]
  視覚的にリッチな文書から構造的知識と意味的知識の両方を抽出するためのレイアウト対応文書レベル情報抽出データセット(LIE)を提案する。 LIEには製品および公式文書の4,061ページから3つの抽出タスクの62kアノテーションが含まれている。 実験の結果、レイアウトはVRDベースの抽出に不可欠であることが示され、システムデモでは、抽出された知識が、ユーザが関心を持っている答えを見つけるのに役立つことも確認されている。
  論文  参考訳（メタデータ） (2022-07-14T07:59:45Z)
• Open-domain Dialogue Generation Grounded with Dynamic Multi-form Knowledge Fusion [9.45662259790057]
  本稿では,新しい対話生成モデルである動的マルチフォーム知識融合に基づくオープンドメインチャットマシン(DMKCM)を提案する。 DMKCMは、関連文書を第1ホップとして見つけるためにインデックス付きテキスト(仮想知識ベース)を適用し、その後、コモンセンス知識グラフを使用して対話の内容と第1ホップを拡張して、アポサイトトリプルを第2ホップとして取得する。 実験結果から,対話のコヒーレンスと情報提供性の観点から,本手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2022-04-24T10:32:48Z)
• Reasoning in Dialog: Improving Response Generation by Context Reading Comprehension [49.92173751203827]
  マルチターンダイアログでは、発話が文の完全な形を取るとは限らない。 読み解きの質問に答えるモデルの能力を検討し、応答生成性能の向上を提案する。
  論文  参考訳（メタデータ） (2020-12-14T10:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。