論文の概要: Towards Reliable and Factual Response Generation: Detecting Unanswerable Questions in Information-Seeking Conversations

• arxiv url: http://arxiv.org/abs/2401.11452v1
• Date: Sun, 21 Jan 2024 10:15:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 16:19:22.946909
• Title: Towards Reliable and Factual Response Generation: Detecting Unanswerable Questions in Information-Seeking Conversations
• Title（参考訳）: 信頼とファクチュアルな応答生成に向けて:情報探索会話における疑問発見
• Authors: Weronika {\L}ajewska, Krisztian Balog
• Abstract要約: 生成的AIモデルは、そのようなシステムに対するユーザの信頼を損なう可能性のある幻覚の課題に直面します。 本稿では,まずコーパス内の関連するパスを識別し,最後にシステム応答にまとめる2段階のプロセスとして,会話情報探索の問題にアプローチする。 具体的には,文レベル分類器を用いて解答の有無を判定し,これらの予測を文レベルに集約し,最後に最終解答可能性推定値に到達する。
• 参考スコア（独自算出の注目度）: 16.99952884041096
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative AI models face the challenge of hallucinations that can undermine users' trust in such systems. We approach the problem of conversational information seeking as a two-step process, where relevant passages in a corpus are identified first and then summarized into a final system response. This way we can automatically assess if the answer to the user's question is present in the corpus. Specifically, our proposed method employs a sentence-level classifier to detect if the answer is present, then aggregates these predictions on the passage level, and eventually across the top-ranked passages to arrive at a final answerability estimate. For training and evaluation, we develop a dataset based on the TREC CAsT benchmark that includes answerability labels on the sentence, passage, and ranking levels. We demonstrate that our proposed method represents a strong baseline and outperforms a state-of-the-art LLM on the answerability prediction task.
• Abstract（参考訳）: 生成aiモデルは、そのようなシステムに対するユーザの信頼を損なう幻覚という課題に直面している。 本稿では,まずコーパス内の関連するパスを識別し,最後にシステム応答にまとめる2段階のプロセスとして会話情報探索の問題にアプローチする。 このようにして、ユーザの質問に対する回答がコーパスに存在するかどうかを自動的に評価できる。 特に,提案手法では文レベルの分類器を用いて解が存在するかどうかを判定し,それらの予測を通過レベルに集約し,最終的に最上位の節にまたがって最終回答率推定に到達させる。 トレーニングと評価のために, TREC CAsTベンチマークに基づいて, 文, 通過, ランキングの回答可能性ラベルを含むデータセットを開発する。 本研究では,提案手法が強いベースラインを示し,応答性予測タスクにおいて最先端のllmを上回っていることを示す。

関連論文リスト

• Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
  大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。 我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
  論文  参考訳（メタデータ） (2024-05-31T20:15:10Z)
• PAQA: Toward ProActive Open-Retrieval Question Answering [34.883834970415734]
  本研究の目的は、ユーザクエリとドキュメントの両方に存在する固有の曖昧さを考慮し、関連性のある明確な質問を生成するという課題に取り組むことである。 本稿では,既存のAmbiNQデータセットの拡張であるPAQAを提案する。 次に,様々なモデルの評価を行い,経路探索があいまいさの検出と明瞭な質問の生成にどのように影響するかを評価する。
  論文  参考訳（メタデータ） (2024-02-26T14:40:34Z)
• PICK: Polished & Informed Candidate Scoring for Knowledge-Grounded Dialogue Systems [59.1250765143521]
  現在の知識接地対話システムは、生成された応答を人間に好まれる品質に合わせるのに失敗することが多い。 我々は,世代別再描画フレームワークであるPolseed & Informed Candidate Scoring (PICK)を提案する。 対話履歴に関連性を維持しつつ,より忠実な応答を生成するためのPICKの有効性を示す。
  論文  参考訳（メタデータ） (2023-09-19T08:27:09Z)
• Reranking Overgenerated Responses for End-to-End Task-Oriented Dialogue Systems [71.33737787564966]
  エンド・ツー・エンド(E2E)タスク指向対話システム(ToD)は、いわゆる「いいね! 本稿では,システムによって当初過剰に生成された応答リストから高品質な項目を選択する方法を提案する。 本研究では,最先端のE2E ToDシステムを2.4BLEU,3.2ROUGE,2.8 METEORで改善し,新たなピーク値を得た。
  論文  参考訳（メタデータ） (2022-11-07T15:59:49Z)
• On the Impact of Speech Recognition Errors in Passage Retrieval for Spoken Question Answering [13.013751306590303]
  合成ASR雑音に対する語彙・高密度レトリバーのロバスト性について検討した。 我々は,人間の声による質問を含む新しいデータセットを作成し,その書き起こしを用いて,合成ASRノイズの代わりに自然なASRノイズを扱う場合に,検索性能がさらに劣化することを示す。
  論文  参考訳（メタデータ） (2022-09-26T18:29:36Z)
• Double Retrieval and Ranking for Accurate Question Answering [120.69820139008138]
  本研究では,トランスフォーマーを用いた解答選択モデルに導入された解答検証ステップが,問合せ解答における解答の精度を大幅に向上させることを示す。 AS2のためのよく知られた3つのデータセットの結果は、最先端の一貫性と大幅な改善を示している。
  論文  参考訳（メタデータ） (2022-01-16T06:20:07Z)
• A Clarifying Question Selection System from NTES_ALONG in Convai3 Challenge [8.656503175492375]
  本稿では,検索指向会話型AI (SCAI) EMNLPワークショップにおけるClariQチャレンジへのNetEase Game AI Labチームの参加について述べる。 この課題は、解明された質問を理解し、生成できる完全な会話情報検索システムを求めるものである。 本稿では,回答理解,質問のリコール,質問ランキングの明確化からなる質問選択システムを提案する。
  論文  参考訳（メタデータ） (2020-10-27T11:22:53Z)
• Visual Question Answering with Prior Class Semantics [50.845003775809836]
  候補解のセマンティクスに関連する追加情報を利用する方法を示す。 セマンティック空間における回帰目標を用いて解答予測プロセスを拡張する。 提案手法は,様々な質問タイプに対して,一貫性と精度の向上をもたらす。
  論文  参考訳（メタデータ） (2020-05-04T02:46:31Z)
• A Revised Generative Evaluation of Visual Dialogue [80.17353102854405]
  本稿では,VisDialデータセットの改訂評価手法を提案する。 モデルが生成した回答と関連する回答の集合のコンセンサスを測定する。 DenseVisDialとして改訂された評価スキームのこれらのセットとコードをリリースする。
  論文  参考訳（メタデータ） (2020-04-20T13:26:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。