論文の概要: Improving Factual Consistency for Knowledge-Grounded Dialogue Systems via Knowledge Enhancement and Alignment

• arxiv url: http://arxiv.org/abs/2310.08372v3
• Date: Fri, 3 Nov 2023 07:26:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-06 17:05:49.737603
• Title: Improving Factual Consistency for Knowledge-Grounded Dialogue Systems via Knowledge Enhancement and Alignment
• Title（参考訳）: 知識強化とアライメントによる知識付き対話システムにおける実情整合性の改善
• Authors: Boyang Xue and Weichao Wang and Hongru Wang and Fei Mi and Rui Wang and Yasheng Wang and Lifeng Shang and Xin Jiang and Qun Liu and Kam-Fai Wong
• Abstract要約: 事前訓練言語モデル(PLM)に基づく知識基底対話システムは、提供された知識源と実際に矛盾しない応答を生成する傾向にある。 トランスフォーマー内のフィードフォワードネットワーク(FFN)が事実知識表現の責任を負っていると判断する以前の研究から着想を得て,事実表現能力を効率的に改善するための2つの方法を検討した。
• 参考スコア（独自算出の注目度）: 77.56326872997407
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained language models (PLMs) based knowledge-grounded dialogue systems are prone to generate responses that are factually inconsistent with the provided knowledge source. In such inconsistent responses, the dialogue models fail to accurately express the external knowledge they rely upon. Inspired by previous work which identified that feed-forward networks (FFNs) within Transformers are responsible for factual knowledge expressions, we investigate two methods to efficiently improve the factual expression capability {of FFNs} by knowledge enhancement and alignment respectively. We first propose \textsc{K-Dial}, which {explicitly} introduces {extended FFNs in Transformers to enhance factual knowledge expressions} given the specific patterns of knowledge-grounded dialogue inputs. Additionally, we apply the reinforcement learning for factual consistency (RLFC) method to implicitly adjust FFNs' expressions in responses by aligning with gold knowledge for the factual consistency preference. To comprehensively assess the factual consistency and dialogue quality of responses, we employ extensive automatic measures and human evaluations including sophisticated fine-grained NLI-based metrics. Experimental results on WoW and CMU\_DoG datasets demonstrate that our methods efficiently enhance the ability of the FFN module to convey factual knowledge, validating the efficacy of improving factual consistency for knowledge-grounded dialogue systems.
• Abstract（参考訳）: 事前訓練言語モデル(PLM)に基づく知識基底対話システムは、提供された知識源と実際に矛盾しない応答を生成する傾向にある。 このような矛盾した反応では、対話モデルは彼らが依存する外部知識を正確に表現できない。 トランスフォーマー内のフィードフォワードネットワーク(FFN)が事実知識表現の責任を負っていると判断する以前の研究から着想を得て,知識の強化とアライメントによる事実表現能力(FFNs)を効率的に改善する2つの方法を検討した。 そこで我々はまず,知識接頭辞入力の特定のパターンを考慮し,変換子に拡張FFNを導入し,現実的知識表現を向上する「textsc{K-Dial}」を提案する。 さらに,事実整合性(rlfc)法に強化学習を適用し,事実一貫性優先のためのゴールド知識と整合することにより,応答中のffn表現を暗黙的に調整する。 応答の事実整合性と対話品質を包括的に評価するために,高度な粒度NLI基準を含む広範囲な自動測度と人的評価を用いる。 WoW と CMU\_DoG データセットによる実験結果から,本手法は実測知識を伝達するFFN モジュールの効率よく向上し,実測情報に基づく対話システムにおける実測一貫性向上の有効性が検証された。

関連論文リスト

• Improving the Robustness of Knowledge-Grounded Dialogue via Contrastive Learning [71.8876256714229]
  本稿では,知識ベース対話システムの堅牢性向上を目的とした,エンティティベースのコントラスト学習フレームワークを提案する。 提案手法は,自動評価スコアの点から,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-01-09T05:16:52Z)
• RELIC: Investigating Large Language Model Responses using Self-Consistency [58.63436505595177]
  LLM(Large Language Models)は、フィクションと事実を混同し、幻覚として知られる非事実コンテンツを生成することで有名である。 本稿では,ユーザが生成したテキストの信頼性を把握できる対話型システムを提案する。
  論文  参考訳（メタデータ） (2023-11-28T14:55:52Z)
• Position Matters! Empirical Study of Order Effect in Knowledge-grounded Dialogue [54.98184262897166]
  本稿では,知識集合の順序が自己回帰対話システムの応答にどのように影響するかを検討する。 本稿では,知識入力の位置埋め込みを変更することで,注文効果を緩和する,シンプルで斬新な手法を提案する。
  論文  参考訳（メタデータ） (2023-02-12T10:13:00Z)
• Dynamically Retrieving Knowledge via Query Generation for informative dialogue response [7.196104022425989]
  DRKQG (emphDynamically Retrieving Knowledge via Query Generation for informative dialogue response) という知識駆動型対話システムを設計する。 まず、時間認識機構を用いてコンテキスト情報をキャプチャし、知識を検索するためのクエリを生成する。 そこで我々は,応答生成モジュールがコンテキストから派生した応答を生成し,検索した知識を生成できるコピー機構とトランスフォーマーを統合した。
  論文  参考訳（メタデータ） (2022-07-30T03:05:43Z)
• RT-KGD: Relation Transition Aware Knowledge-Grounded Dialogue Generation [20.37399983466163]
  関係遷移を考慮した知識包含対話生成モデル(RT-KGD)を提案する。 具体的には、人間会話の潜在論理に触発され、対話レベルの関係遷移規則とターンレベルのエンティティ意味情報を統合する。 このように、知識間の相互作用は、適切な知識を予測し、一貫性のある応答を生成するための豊富な手がかりを生み出すと考えられる。
  論文  参考訳（メタデータ） (2022-07-17T16:07:38Z)
• Kformer: Knowledge Injection in Transformer Feed-Forward Layers [107.71576133833148]
  そこで我々は,Transformerのフィードフォワード層を通じて外部知識を組み込んだ新しい知識融合モデルKformerを提案する。 FFNに単に知識を注入するだけで、事前学習された言語モデルの能力が向上し、現在の知識融合法が促進されることを実証的に見出した。
  論文  参考訳（メタデータ） (2022-01-15T03:00:27Z)
• Zero-Resource Knowledge-Grounded Dialogue Generation [29.357221039484568]
  本稿では,文脈と応答をブリッジする知識と,その知識を潜在変数として表現する方法を提案する。 また,本モデルでは,知識基盤の対話に頼っている最先端の手法と同等の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-08-29T05:48:32Z)
• Sequential Latent Knowledge Selection for Knowledge-Grounded Dialogue [51.513276162736844]
  この問題に対する最初のアプローチとして,逐次潜在変数モデルを提案する。 シーケンシャル・ナレッジ・トランスフォーマー (SKT) という名前のモデルは、知識よりも先行と後続の分布を追跡することができる。
  論文  参考訳（メタデータ） (2020-02-18T11:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。