論文の概要: Improving the Robustness of Knowledge-Grounded Dialogue via Contrastive Learning

• arxiv url: http://arxiv.org/abs/2401.04361v1
• Date: Tue, 9 Jan 2024 05:16:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-10 17:06:39.971992
• Title: Improving the Robustness of Knowledge-Grounded Dialogue via Contrastive Learning
• Title（参考訳）: コントラスト学習による知識接地対話のロバスト性向上
• Authors: Jiaan Wang, Jianfeng Qu, Kexin Wang, Zhixu Li, Wen Hua, Ximing Li, An Liu
• Abstract要約: 本稿では,知識ベース対話システムの堅牢性向上を目的とした,エンティティベースのコントラスト学習フレームワークを提案する。 提案手法は,自動評価スコアの点から,新しい最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 71.8876256714229
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge-grounded dialogue (KGD) learns to generate an informative response based on a given dialogue context and external knowledge (\emph{e.g.}, knowledge graphs; KGs). Recently, the emergence of large language models (LLMs) and pre-training techniques has brought great success to knowledge-grounded dialogue. However, when building KGD systems in real applications, there are various real-world noises that are inevitable to face. For example, the dialogue context might involve perturbations such as misspellings and abbreviations. In addition, KGs typically suffer from incompletion and also might contain erroneous and outdated facts. Such real-world noises pose a challenge to the robustness of KGD systems and hinder their applications in the real world. In this paper, we propose an entity-based contrastive learning framework for improving the robustness of KGD. Specifically, we make use of the entity information in a KGD sample to create both its positive and negative samples which involve semantic-irrelevant and semantic-relevant perturbations, respectively. The contrastive learning framework ensures the KGD model is aware of these two types of perturbations, thus generating informative responses with the potentially noisy inputs in real applications. Experimental results on three benchmark datasets show that our method achieves new state-of-the-art performance in terms of automatic evaluation scores, verifying its effectiveness and potentiality. Furthermore, we show that our method can generate better responses than comparison models in both the noisy and the few-shot settings.
• Abstract（参考訳）: 知識基底対話(KGD)は、与えられた対話コンテキストと外部知識(例えば知識グラフ、KGs)に基づいて情報応答を生成することを学習する。 近年,大規模言語モデル(LLM)や事前学習技術が出現し,知識ベース対話に大きな成功を収めている。 しかし、実際のアプリケーションでKGDシステムを構築する際には、避けられない様々な現実のノイズが存在する。 例えば、対話の文脈は、ミススペルや略語のような摂動を伴うかもしれない。 さらに、kgは一般的に非可逆性に苦しめられ、誤った事実や時代遅れの事実を含むこともある。 このような現実世界のノイズは、KGDシステムの堅牢性に挑戦し、現実世界での応用を妨げる。 本稿では,KGDの堅牢性向上のためのエンティティベースのコントラスト学習フレームワークを提案する。 具体的には、KGDサンプルの実体情報を用いて、それぞれ意味非関連な摂動を含む正と負の両方のサンプルを作成する。 対照的な学習フレームワークは、kgdモデルがこれら2つのタイプの摂動を認識していることを保証する。 3つのベンチマークデータセットによる実験結果から,提案手法は自動評価スコアの点から新たな評価性能を実現し,その有効性と可能性を検証した。 さらに,提案手法は,ノイズ設定と少数ショット設定の両方において,比較モデルよりも優れた応答を生成できることを示す。

関連論文リスト

• Improving Factual Consistency for Knowledge-Grounded Dialogue Systems via Knowledge Enhancement and Alignment [77.56326872997407]
  事前訓練言語モデル(PLM)に基づく知識基底対話システムは、提供された知識源と実際に矛盾しない応答を生成する傾向にある。 トランスフォーマー内のフィードフォワードネットワーク(FFN)が事実知識表現の責任を負っていると判断する以前の研究から着想を得て,事実表現能力を効率的に改善するための2つの方法を検討した。
  論文  参考訳（メタデータ） (2023-10-12T14:44:05Z)
• Knowledge Graph-Augmented Language Models for Knowledge-Grounded Dialogue Generation [58.65698688443091]
  我々は、知識グラフ(KGs)を用いた文脈関連および知識基底対話を生成するためのフレームワークであるSUbgraph Retrieval-augmented GEneration (SURGE)を提案する。 我々のフレームワークはまずKGから関連するサブグラフを取得し、その後、検索したサブグラフによって条件付けられた単語の埋め込みを摂動することで、事実間の一貫性を強制する。 我々は,OpendialKGとKOMODISデータセットのSURGEフレームワークを検証し,KGの知識を忠実に反映した高品質な対話を生成することを示す。
  論文  参考訳（メタデータ） (2023-05-30T08:36:45Z)
• RHO ($\rho$): Reducing Hallucination in Open-domain Dialogues with Knowledge Grounding [57.46495388734495]
  本稿では、知識グラフ(KG)からリンクされたエンティティと関係述語を表現したRHO(rho$)を提案する。 本稿では,(1)テキスト埋め込みと対応するKG埋め込みを組み合わせるための局所知識基盤,(2)注目機構を介してRHOにマルチホップ推論能力を持たせるためのグローバル知識基盤を提案する。
  論文  参考訳（メタデータ） (2022-12-03T10:36:34Z)
• Neural Path Hunter: Reducing Hallucination in Dialogue Systems via Path Grounding [15.62141731259161]
  知識グラフ(KG)による既知の事実に対するニューラルダイアログシステムの忠実度向上の課題に焦点をあてる。 KG の k-hop サブグラフを用いて生成した応答を修正する生成・再定義戦略に従ったニューラルパスハンターを提案する。 提案モデルは,モデルを再トレーニングすることなく,任意の対話生成応答に容易に適用できる。
  論文  参考訳（メタデータ） (2021-04-17T05:23:44Z)
• Grounding Dialogue Systems via Knowledge Graph Aware Decoding with Pre-trained Transformers [3.477557431978457]
  知識グラフは、知識に基づく応答を生成するための対話システムを促進する可能性がある。 本稿では,BERTモデルをトレーニングすることで,KGを応答生成プロセスに統合する新しいアーキテクチャを提案する。 KGのkホップ部分グラフは、グラフラプラシアンのトレーニングと推論の間にモデルに組み込まれている。
  論文  参考訳（メタデータ） (2021-03-30T12:36:00Z)
• Robustness Testing of Language Understanding in Dialog Systems [33.30143655553583]
  自然言語理解モデルの頑健性に関して総合的な評価と分析を行う。 本稿では,実世界の対話システムにおける言語理解に関連する3つの重要な側面,すなわち言語多様性,音声特性,雑音摂動について紹介する。 対話システムにおける堅牢性問題をテストするための自然摂動を近似するモデル非依存型ツールキットLAUGを提案する。
  論文  参考訳（メタデータ） (2020-12-30T18:18:47Z)
• Enhancing Dialogue Generation via Multi-Level Contrastive Learning [57.005432249952406]
  質問に対する応答のきめ細かい品質をモデル化するマルチレベルコントラスト学習パラダイムを提案する。 Rank-aware (RC) ネットワークはマルチレベルコントラスト最適化の目的を構築するために設計されている。 本研究では,知識推論(KI)コンポーネントを構築し,学習中の参照からキーワードの知識を抽出し,そのような情報を活用して情報的単語の生成を促す。
  論文  参考訳（メタデータ） (2020-09-19T02:41:04Z)
• Zero-Resource Knowledge-Grounded Dialogue Generation [29.357221039484568]
  本稿では,文脈と応答をブリッジする知識と,その知識を潜在変数として表現する方法を提案する。 また,本モデルでは,知識基盤の対話に頼っている最先端の手法と同等の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-08-29T05:48:32Z)
• Low-Resource Knowledge-Grounded Dialogue Generation [74.09352261943913]
  我々は、限られた訓練例しか利用できないという自然な仮定のもと、知識基底による対話生成を考察する。 生成モデル全体から知識基底の対話に依存するパラメータを分離するために,不整合応答デコーダを考案する。 1/8のトレーニングデータだけで、我々のモデルは最先端のパフォーマンスを達成でき、ドメイン外の知識をうまく一般化できる。
  論文  参考訳（メタデータ） (2020-02-24T16:20:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。