論文の概要: Increasing Faithfulness in Knowledge-Grounded Dialogue with Controllable
Features
- arxiv url: http://arxiv.org/abs/2107.06963v1
- Date: Wed, 14 Jul 2021 19:52:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-16 14:04:49.177415
- Title: Increasing Faithfulness in Knowledge-Grounded Dialogue with Controllable
Features
- Title(参考訳): 制御可能な特徴を有する知識接地対話における忠実性の向上
- Authors: Hannah Rashkin, David Reitter, Gaurav Singh Tomar, Dipanjan Das
- Abstract要約: 本稿では,これらの証拠に忠実に保たれるように制御されたシステムに対して,生成的ニューラルダイアログモデルを訓練する上での課題について論じる。
既存のデータセットには、選択されたエビデンスに忠実な会話応答と、より主観的あるいはチトチャットスタイルの応答が混在している。
そこで本稿では,情報量と客観性を定量化することにより,これらの応答の異なるスタイルを解消するための異なる評価手法を提案する。
- 参考スコア(独自算出の注目度): 16.676172815172166
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge-grounded dialogue systems are intended to convey information that
is based on evidence provided in a given source text. We discuss the challenges
of training a generative neural dialogue model for such systems that is
controlled to stay faithful to the evidence. Existing datasets contain a mix of
conversational responses that are faithful to selected evidence as well as more
subjective or chit-chat style responses. We propose different evaluation
measures to disentangle these different styles of responses by quantifying the
informativeness and objectivity. At training time, additional inputs based on
these evaluation measures are given to the dialogue model. At generation time,
these additional inputs act as stylistic controls that encourage the model to
generate responses that are faithful to the provided evidence. We also
investigate the usage of additional controls at decoding time using resampling
techniques. In addition to automatic metrics, we perform a human evaluation
study where raters judge the output of these controlled generation models to be
generally more objective and faithful to the evidence compared to baseline
dialogue systems.
- Abstract(参考訳): 知識接地対話システムは、所定の情報源テキストに提供される証拠に基づく情報伝達を目的としている。
本稿では,このようなシステムに対する生成的神経対話モデルの訓練の課題について考察する。
既存のデータセットには、選択されたエビデンスに忠実な会話応答と、より主観的あるいはチトチャットスタイルの応答が混在している。
そこで本稿では,情報量と客観性を定量化することにより,これらの応答の異なるスタイルを解消するための異なる評価手法を提案する。
トレーニング時には、これらの評価基準に基づく追加入力が対話モデルに与えられる。
これらの追加入力は、与えられた証拠に忠実な応答を生成するようモデルに促すスタイリスティックな制御として機能する。
また,再サンプリング手法を用いて復号時に追加制御を用いることも検討した。
自動測定の他に,レーダがこれらの制御された生成モデルの出力を,ベースライン対話システムと比較して一般的に客観的かつ忠実であると判断する評価研究を行う。
関連論文リスト
- PICK: Polished & Informed Candidate Scoring for Knowledge-Grounded
Dialogue Systems [59.1250765143521]
現在の知識接地対話システムは、生成された応答を人間に好まれる品質に合わせるのに失敗することが多い。
我々は,世代別再描画フレームワークであるPolseed & Informed Candidate Scoring (PICK)を提案する。
対話履歴に関連性を維持しつつ,より忠実な応答を生成するためのPICKの有効性を示す。
論文 参考訳(メタデータ) (2023-09-19T08:27:09Z) - Controllable Mixed-Initiative Dialogue Generation through Prompting [50.03458333265885]
混合開始対話タスクには、情報の繰り返し交換と会話制御が含まれる。
エージェントは、ポリシープランナーが定める特定の対話意図や戦略に従う応答を生成することにより、コントロールを得る。
標準的なアプローチは、これらの意図に基づいて生成条件を実行するために、訓練済みの言語モデルを微調整している。
代わりに、条件生成の微調整に代えて、大きな言語モデルをドロップインで置き換えるように促します。
論文 参考訳(メタデータ) (2023-05-06T23:11:25Z) - Position Matters! Empirical Study of Order Effect in Knowledge-grounded
Dialogue [54.98184262897166]
本稿では,知識集合の順序が自己回帰対話システムの応答にどのように影響するかを検討する。
本稿では,知識入力の位置埋め込みを変更することで,注文効果を緩和する,シンプルで斬新な手法を提案する。
論文 参考訳(メタデータ) (2023-02-12T10:13:00Z) - GODEL: Large-Scale Pre-Training for Goal-Directed Dialog [119.1397031992088]
ダイアログのための大規模事前学習言語モデルであるGODELを紹介する。
GODELは、数ショットの微調整設定で、最先端の事前訓練ダイアログモデルより優れていることを示す。
評価手法の新たな特徴は,応答の有用性を評価するユーティリティの概念の導入である。
論文 参考訳(メタデータ) (2022-06-22T18:19:32Z) - Achieving Conversational Goals with Unsupervised Post-hoc Knowledge
Injection [37.15893335147598]
現在のニューラルダイアログモデルの制限は、生成された応答における特異性と情報性の欠如に悩まされる傾向があることである。
本稿では,対話履歴と既存の対話モデルから初期応答の両方を条件とした,多様な知識スニペットの集合を検索する,ポストホックな知識注入手法を提案する。
我々は,各検索したスニペットを,勾配に基づく復号法を用いて初期応答に個別に注入し,教師なしランキングステップで最終応答を選択する複数の候補応答を構築する。
論文 参考訳(メタデータ) (2022-03-22T00:42:27Z) - Evaluating Groundedness in Dialogue Systems: The BEGIN Benchmark [29.722504033424382]
知識ベースの対話エージェントは、Wikipediaページなどの外部に提供される背景情報に基づいて会話を行うように設計されたシステムです。
BEGIN(Benchmark for Evaluation of Grounded Interaction)について紹介します。
beginは、言語モデルに基づく対話システムによって生成された8113の対話ターンからなり、システムの応答と背景情報の関係を人間の注釈で指定する。
論文 参考訳(メタデータ) (2021-04-30T20:17:52Z) - Zero-Resource Knowledge-Grounded Dialogue Generation [29.357221039484568]
本稿では,文脈と応答をブリッジする知識と,その知識を潜在変数として表現する方法を提案する。
また,本モデルでは,知識基盤の対話に頼っている最先端の手法と同等の性能を達成できることを示す。
論文 参考訳(メタデータ) (2020-08-29T05:48:32Z) - A Controllable Model of Grounded Response Generation [122.7121624884747]
現在のエンドツーエンドのニューラルネットワークモデルは、応答生成プロセスにセマンティックコントロールを課す柔軟性を本質的に欠いている。
我々は制御可能な接地応答生成(CGRG)と呼ばれるフレームワークを提案する。
このフレームワークを用いることで、会話のようなRedditデータセットでトレーニングされた、新しいインダクティブアテンション機構を備えたトランスフォーマーベースのモデルが、強力な生成ベースラインを上回っていることを示す。
論文 参考訳(メタデータ) (2020-05-01T21:22:08Z) - Low-Resource Knowledge-Grounded Dialogue Generation [74.09352261943913]
我々は、限られた訓練例しか利用できないという自然な仮定のもと、知識基底による対話生成を考察する。
生成モデル全体から知識基底の対話に依存するパラメータを分離するために,不整合応答デコーダを考案する。
1/8のトレーニングデータだけで、我々のモデルは最先端のパフォーマンスを達成でき、ドメイン外の知識をうまく一般化できる。
論文 参考訳(メタデータ) (2020-02-24T16:20:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。