Fugu-MT 論文翻訳(概要): Question Generation in Knowledge-Driven Dialog: Explainability and Evaluation

論文の概要: Question Generation in Knowledge-Driven Dialog: Explainability and Evaluation

arxiv url: http://arxiv.org/abs/2404.07836v1
Date: Thu, 11 Apr 2024 15:24:50 GMT
ステータス: 処理完了
システム内更新日: 2024-04-12 13:30:32.022283
Title: Question Generation in Knowledge-Driven Dialog: Explainability and Evaluation
Title（参考訳）: 知識駆動型対話における質問生成:説明可能性と評価
Authors: Juliette Faille, Quentin Brabant, Gwenole Lecorve, Lina M. Rojas-Barahona, Claire Gardent,
Abstract要約: 質問を直接生成するのではなく,まず質問の事実を逐次予測するモデルを提案する。 KGConvデータセットに適応した37kテストダイアログに対するアプローチを評価する。
参考スコア（独自算出の注目度）: 5.598219914856067
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We explore question generation in the context of knowledge-grounded dialogs focusing on explainability and evaluation. Inspired by previous work on planning-based summarisation, we present a model which instead of directly generating a question, sequentially predicts first a fact then a question. We evaluate our approach on 37k test dialogs adapted from the KGConv dataset and we show that, although more demanding in terms of inference, our approach performs on par with a standard model which solely generates a question while allowing for a detailed referenceless evaluation of the model behaviour in terms of relevance, factuality and pronominalisation.
Abstract（参考訳）: 本稿では,説明可能性と評価に焦点をあてた知識基底ダイアログの文脈における質問生成について検討する。計画に基づく要約に関するこれまでの研究から着想を得て,質問を直接生成する代わりに,まず質問の事実を逐次予測するモデルを提示する。我々は,KGConvデータセットから適応した37kテストダイアログに対するアプローチを評価するとともに,提案手法がより要求に応えつつも,妥当性,事実性,プロノミナライゼーションの観点から,モデル行動の詳細な参照なし評価を可能にするとともに,質問のみを生成する標準モデルと同等に動作することを示す。

関連論文リスト

Automated Speaking Assessment of Conversation Tests with Novel Graph-based Modeling on Spoken Response Coherence [11.217656140423207]
ASACは、1つ以上の候補者と対話する環境でL2話者の全体的な発話能力を評価することを目的としている。本稿では,広い応答間相互作用とニュアンス付き意味情報の両方を適切に組み込んだ階層グラフモデルを提案する。 NICT-JLEベンチマークデータセットの大規模な実験結果から,提案手法が予測精度を大幅に向上する可能性が示唆された。
論文参考訳（メタデータ） (2024-09-11T07:24:07Z)
"Is This It?": Towards Ecologically Valid Benchmarks for Situated Collaboration [16.25921668308458]
そこで我々は,大規模なマルチモーダルモデルによる協調作業を行う能力を評価するためのベンチマークを開発した。既存のベンチマークとは対照的に,既存のデータセットや合成データセットに対して,テンプレートや人間のアノテータ,あるいは大規模言語モデルを用いて質問応答ペアを生成する場合,インタラクティブなシステム駆動アプローチを提案し,検討する。既存のEQA(Embodied Question answering)ベンチマークでよく見られる質問の形式や内容がどう違うのかを説明し、新たな現実的な課題を議論する。
論文参考訳（メタデータ） (2024-08-30T12:41:23Z)
Open-ended VQA benchmarking of Vision-Language models by exploiting Classification datasets and their semantic hierarchy [27.454549324141087]
本稿では、よく知られた視覚分類データセットに基づく新しいVQAベンチマークを提案する。また,ラベル空間のセマンティックな階層構造を用いて,基底構造カテゴリに関するフォローアップ質問を自動的に生成することを提案する。私たちの貢献は、より正確で有意義な評価の基礎を築くことを目的としています。
論文参考訳（メタデータ） (2024-02-11T18:26:18Z)
SWING: Balancing Coverage and Faithfulness for Dialogue Summarization [67.76393867114923]
本稿では,自然言語推論(NLI)モデルを用いて,事実の不整合を回避し,カバレッジを向上させることを提案する。我々は、NLIを用いて詳細なトレーニング信号を計算し、モデルがカバーされていない参照サマリーのコンテンツを生成することを奨励する。 DialogSumおよびSAMSumデータセットの実験により,提案手法の有効性が確認された。
論文参考訳（メタデータ） (2023-01-25T09:33:11Z)
GODEL: Large-Scale Pre-Training for Goal-Directed Dialog [119.1397031992088]
ダイアログのための大規模事前学習言語モデルであるGODELを紹介する。 GODELは、数ショットの微調整設定で、最先端の事前訓練ダイアログモデルより優れていることを示す。評価手法の新たな特徴は,応答の有用性を評価するユーティリティの概念の導入である。
論文参考訳（メタデータ） (2022-06-22T18:19:32Z)
What should I Ask: A Knowledge-driven Approach for Follow-up Questions Generation in Conversational Surveys [63.51903260461746]
対話型調査における知識駆動型フォローアップ質問生成のための新しい課題を提案する。そこで我々は,対話履歴とラベル付き知識を用いた人手によるフォローアップ質問の新しいデータセットを構築した。次に,その課題に対する2段階の知識駆動モデルを提案する。
論文参考訳（メタデータ） (2022-05-23T00:57:33Z)
On the Use of Linguistic Features for the Evaluation of Generative Dialogue Systems [17.749995931459136]
言語的特徴に基づく指標は,人間の判断と良好な相関を維持し,解釈可能であることを示唆する。この提案を支持するために,複数の対話モデルによって生成された対話のさまざまな言語的特徴を計測し,分析する。特徴の振る舞いはテストされたモデルの既知の特性と一致し、ドメイン間で類似していることが分かりました。
論文参考訳（メタデータ） (2021-04-13T16:28:00Z)
I like fish, especially dolphins: Addressing Contradictions in Dialogue Modeling [104.09033240889106]
DialoguE Contradiction Detection Task(DECODE)と、人間とロボットの矛盾した対話の両方を含む新しい会話データセットを紹介します。次に、事前学習したトランスフォーマーモデルを用いて、定型的非構造的アプローチと矛盾検出を行う構造的発話に基づくアプローチを比較する。
論文参考訳（メタデータ） (2020-12-24T18:47:49Z)
Knowledge-Grounded Dialogue Generation with Pre-trained Language Models [74.09352261943911]
我々は、事前学習された言語モデルを用いた知識基底対話生成について研究する。本稿では,知識選択モジュールを用いた事前学習言語モデルによって定義された等価応答生成を提案する。
論文参考訳（メタデータ） (2020-10-17T16:49:43Z)
A Revised Generative Evaluation of Visual Dialogue [80.17353102854405]
本稿では,VisDialデータセットの改訂評価手法を提案する。モデルが生成した回答と関連する回答の集合のコンセンサスを測定する。 DenseVisDialとして改訂された評価スキームのこれらのセットとコードをリリースする。
論文参考訳（メタデータ） (2020-04-20T13:26:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。