論文の概要: I Could've Asked That: Reformulating Unanswerable Questions
- arxiv url: http://arxiv.org/abs/2407.17469v1
- Date: Wed, 24 Jul 2024 17:59:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-25 13:05:35.460662
- Title: I Could've Asked That: Reformulating Unanswerable Questions
- Title（参考訳）: 答えが得られない質問を改定する
- Authors: Wenting Zhao, Ge Gao, Claire Cardie, Alexander M. Rush,
- Abstract要約: 我々は、解決不可能な質問を改定するためのオープンソースおよびプロプライエタリなモデルを評価する。
GPT-4とLlama2-7Bは、それぞれ26%と12%しか質問を修正できなかった。
ベンチマークとコードを公開して実験を再現します。
- 参考スコア（独自算出の注目度）: 89.93173151422636
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When seeking information from unfamiliar documents, users frequently pose questions that cannot be answered by the documents. While existing large language models (LLMs) identify these unanswerable questions, they do not assist users in reformulating their questions, thereby reducing their overall utility. We curate CouldAsk, an evaluation benchmark composed of existing and new datasets for document-grounded question answering, specifically designed to study reformulating unanswerable questions. We evaluate state-of-the-art open-source and proprietary LLMs on CouldAsk. The results demonstrate the limited capabilities of these models in reformulating questions. Specifically, GPT-4 and Llama2-7B successfully reformulate questions only 26% and 12% of the time, respectively. Error analysis shows that 62% of the unsuccessful reformulations stem from the models merely rephrasing the questions or even generating identical questions. We publicly release the benchmark and the code to reproduce the experiments.
- Abstract（参考訳）: 不慣れな文書から情報を求める際、ユーザーは文書に答えられない質問を頻繁に提示する。
既存の大規模言語モデル(LLM)は、これらの解決不可能な質問を識別するが、ユーザによる質問の修正を支援しないため、全体的な有用性は低下する。
couldAskは、既存のおよび新しいデータセットで構成された、文書による質問応答のための評価ベンチマークであり、特に、解決不可能な質問の修正を研究するために設計されている。
couldAsk上で、最先端のオープンソースおよびプロプライエタリなLCMを評価した。
結果はこれらのモデルが質問を再構成する際の限られた能力を示している。
特に、GPT-4とLlama2-7Bは、それぞれ26%と12%しか質問を修正できなかった。
誤り分析は、失敗した改革の62%が、単に質問を言い換えたり、同じ質問を発生させたりするモデルに由来することを示している。
ベンチマークとコードを公開して実験を再現します。
関連論文リスト
- Localizing and Mitigating Errors in Long-form Question Answering [79.63372684264921]
LFQA(Long-form Question answering)は、複雑な質問に対して徹底的で深い回答を提供し、理解を深めることを目的としている。
この研究は、人書きおよびモデル生成LFQA回答の局所的エラーアノテーションを備えた最初の幻覚データセットであるHaluQuestQAを紹介する。
論文 参考訳（メタデータ） (2024-07-16T17:23:16Z) - Don't Just Say "I don't know"! Self-aligning Large Language Models for Responding to Unknown Questions with Explanations [70.6395572287422]
自己調整法は,回答を拒否するだけでなく,未知の質問の解答不能を説明できる。
我々は, LLM自体を微調整し, 未知の質問に対する応答を所望の通りに調整するために, 偏差駆動による自己計算を行い, 有資格データを選択する。
論文 参考訳（メタデータ） (2024-02-23T02:24:36Z) - Answering Ambiguous Questions with a Database of Questions, Answers, and
Revisions [95.92276099234344]
ウィキペディアから生成される曖昧な質問のデータベースを利用して、あいまいな質問に答えるための新しい最先端技術を提案する。
提案手法は,リコール対策で15%,予測出力から不明瞭な質問を評価する尺度で10%向上する。
論文 参考訳（メタデータ） (2023-08-16T20:23:16Z) - A Dataset of Information-Seeking Questions and Answers Anchored in
Research Papers [66.11048565324468]
1,585の自然言語処理論文に関する5,049の質問のデータセットを提示する。
各質問は、対応する論文のタイトルと要約のみを読むNLP実践者によって書かれ、質問は全文に存在する情報を求めます。
他のQAタスクでうまく機能する既存のモデルは、これらの質問に答える上ではうまく機能せず、論文全体から回答する際には、少なくとも27 F1ポイントパフォーマンスが低下します。
論文 参考訳（メタデータ） (2021-05-07T00:12:34Z) - Hurdles to Progress in Long-form Question Answering [34.805039943215284]
タスクの定式化は評価とデータセットの作成に関する根本的な課題を提起する。
まず,最先端性能を実現するために,注意の疎化とコントラストレトリバー学習による新しいシステムを設計する。
論文 参考訳（メタデータ） (2021-03-10T20:32:30Z) - Challenges in Information-Seeking QA: Unanswerable Questions and
Paragraph Retrieval [46.3246135936476]
情報検索クエリの応答がより難しい理由と,その原因を解析する。
制御実験の結果,2つのヘッドルーム – 段落選択と応答可能性予測 – が示唆された。
私たちは6つの言語で800の未解決例を手動で注釈付けします。
論文 参考訳（メタデータ） (2020-10-22T17:48:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。