論文の概要: $\textit{Dial BeInfo for Faithfulness}$: Improving Factuality of
Information-Seeking Dialogue via Behavioural Fine-Tuning
- arxiv url: http://arxiv.org/abs/2311.09800v2
- Date: Mon, 4 Mar 2024 14:35:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 01:38:15.790587
- Title: $\textit{Dial BeInfo for Faithfulness}$: Improving Factuality of
Information-Seeking Dialogue via Behavioural Fine-Tuning
- Title（参考訳）: $\textit{Dial BeInfo for Faithfulness}$:Behavioural Fine-Tuningによる情報探索対話の実態改善
- Authors: Evgeniia Razumovskaia, Ivan Vuli\'c, Pavle Markovi\'c, Tomasz Cichy,
Qian Zheng, Tsung-Hsien Wen, Pawe{\l} Budzianowski
- Abstract要約: 本稿では,情報探索対話システムを支援する行動調整手法であるBeInfoを紹介する。
私たちは、BeInfoでチューニングされたモデルが、知識ソースにかなり忠実になることを示します。
また、BeInfoで調整された3Bパラメータを持つモデルが実運用時の会話からのデータに対して強い性能を示すことを示す。
- 参考スコア（独自算出の注目度）: 55.96744451743273
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Factuality is a crucial requirement in information seeking dialogue: the
system should respond to the user's queries so that the responses are
meaningful and aligned with the knowledge provided to the system. However, most
modern large language models suffer from hallucinations, that is, they generate
responses not supported by or contradicting the knowledge source. To mitigate
the issue and increase faithfulness of information-seeking dialogue systems, we
introduce BeInfo, a simple yet effective method that applies behavioural tuning
to aid information-seeking dialogue. Relying on three standard datasets, we
show that models tuned with BeInfo} become considerably more faithful to the
knowledge source both for datasets and domains seen during BeInfo-tuning, as
well as on unseen domains, when applied in a zero-shot manner. In addition, we
show that the models with 3B parameters (e.g., Flan-T5) tuned with BeInfo
demonstrate strong performance on data from real `production' conversations and
outperform GPT4 when tuned on a limited amount of such realistic in-domain
dialogues.
- Abstract（参考訳）: システムはユーザのクエリに応答し、応答が有意義で、システムに提供された知識に合致するようにすべきである。
しかし、現代の大言語モデルのほとんどは幻覚に悩まされており、知識源に支持されない、あるいは矛盾しない応答を生成する。
情報検索対話システムの課題を緩和し、信頼性を高めるために、情報閲覧対話を支援するために行動調整を適用するシンプルかつ効果的な手法であるbeinfoを紹介する。
3つの標準データセットに基づいて、BeInfo}で調整されたモデルが、BeInfo-tuning中に見られるデータセットとドメイン、およびゼロショット方式で適用された未確認ドメインの両方の知識ソースに対して、かなり忠実になることを示す。
さらに,beinfoでチューニングされた3bパラメータ(例えばflan-t5)のモデルでは,実際の「プロダクション」対話からのデータに対して強いパフォーマンスを示し,そのような現実的なドメイン内対話の限られた量でチューニングした場合,gpt4よりも優れていた。
関連論文リスト
- Investigating Low-Cost LLM Annotation for~Spoken Dialogue Understanding Datasets [9.78470355087662]
音声タスク指向対話(TOD)システムでは、ユーザの要求を記述した意味表現の選択がスムーズな対話の鍵となる。
本稿では,音声対話データセットのセマンティック表現の自動強化に関する知見を提供する。
論文 参考訳（メタデータ） (2024-06-19T06:59:57Z) - Improving the Robustness of Knowledge-Grounded Dialogue via Contrastive
Learning [71.8876256714229]
本稿では,知識ベース対話システムの堅牢性向上を目的とした,エンティティベースのコントラスト学習フレームワークを提案する。
提案手法は,自動評価スコアの点から,新しい最先端性能を実現する。
論文 参考訳（メタデータ） (2024-01-09T05:16:52Z) - Improving Factual Consistency for Knowledge-Grounded Dialogue Systems
via Knowledge Enhancement and Alignment [77.56326872997407]
事前訓練言語モデル(PLM)に基づく知識基底対話システムは、提供された知識源と実際に矛盾しない応答を生成する傾向にある。
トランスフォーマー内のフィードフォワードネットワーク(FFN)が事実知識表現の責任を負っていると判断する以前の研究から着想を得て,事実表現能力を効率的に改善するための2つの方法を検討した。
論文 参考訳（メタデータ） (2023-10-12T14:44:05Z) - FCC: Fusing Conversation History and Candidate Provenance for Contextual
Response Ranking in Dialogue Systems [53.89014188309486]
複数のチャネルからコンテキスト情報を統合できるフレキシブルなニューラルネットワークフレームワークを提案する。
会話応答ランキングタスクの評価に広く用いられているMSDialogデータセット上で,本モデルの評価を行った。
論文 参考訳（メタデータ） (2023-03-31T23:58:28Z) - CGoDial: A Large-Scale Benchmark for Chinese Goal-oriented Dialog
Evaluation [75.60156479374416]
CGoDialは、Goal指向のダイアログ評価のための、新しい挑戦的で包括的な中国のベンチマークである。
96,763のダイアログセッションと574,949のダイアログがすべて含まれており、異なる知識ソースを持つ3つのデータセットをカバーする。
学術ベンチマークと音声対話のシナリオのギャップを埋めるために、実際の会話からデータを収集したり、クラウドソーシングを通じて既存のデータセットに音声機能を追加する。
論文 参考訳（メタデータ） (2022-11-21T16:21:41Z) - Weakly Supervised Data Augmentation Through Prompting for Dialogue
Understanding [103.94325597273316]
本稿では,弱教師付きフィルタを適用して拡張品質を反復する手法を提案する。
我々は、デイリーダイアログにおける感情と行動の分類タスクと、Facebook Multilingual Task-Oriented Dialogueにおける意図の分類タスクについて評価した。
特にDailyDialogでは、真理データの10%を使用して、100%のデータを使用する現在の最先端モデルよりも優れています。
論文 参考訳（メタデータ） (2022-10-25T17:01:30Z) - Language Model as an Annotator: Exploring DialoGPT for Dialogue
Summarization [29.887562761942114]
本稿では,対話応答生成のための事前学習モデルであるDialoGPTを,教師なし対話アノテータとして開発する方法を示す。
ダイアロGPTを用いて、2つの対話要約データセット(SAMSumとAMI)に3種類の特徴をラベル付けし、事前学習モデルと非訓練モデルを用いて要約する。
論文 参考訳（メタデータ） (2021-05-26T13:50:13Z) - Robustness Testing of Language Understanding in Dialog Systems [33.30143655553583]
自然言語理解モデルの頑健性に関して総合的な評価と分析を行う。
本稿では,実世界の対話システムにおける言語理解に関連する3つの重要な側面,すなわち言語多様性,音声特性,雑音摂動について紹介する。
対話システムにおける堅牢性問題をテストするための自然摂動を近似するモデル非依存型ツールキットLAUGを提案する。
論文 参考訳（メタデータ） (2020-12-30T18:18:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。