論文の概要: Selectively Answering Ambiguous Questions

• arxiv url: http://arxiv.org/abs/2305.14613v1
• Date: Wed, 24 May 2023 01:25:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 20:48:40.737142
• Title: Selectively Answering Ambiguous Questions
• Title（参考訳）: あいまいな質問を選択的に答える
• Authors: Jeremy R. Cole, Michael J.Q. Zhang, Daniel Gillick, Julian Martin Eisenschlos, Bhuwan Dhingra, and Jacob Eisenstein
• Abstract要約: キャリブレーションに対する最も信頼性の高いアプローチは、サンプルモデル出力のセット内で繰り返しを定量化することである。 その結果,サンプリングに基づく信頼度スコアは,比較的あいまいな質問に対する回答のキャリブレーションに有効であることが示唆された。
• 参考スコア（独自算出の注目度）: 32.080404308060125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Trustworthy language models should abstain from answering questions when they do not know the answer. However, the answer to a question can be unknown for a variety of reasons. Prior research has focused on the case in which the question is clear and the answer is unambiguous but possibly unknown. However, the answer to a question can also be unclear due to uncertainty of the questioner's intent or context. We investigate question answering from this perspective, focusing on answering a subset of questions with a high degree of accuracy, from a set of questions in which many are inherently ambiguous. In this setting, we find that the most reliable approach to calibration involves quantifying repetition within a set of sampled model outputs, rather than the model's likelihood or self-verification as used in prior work. % We find this to be the case across different types of uncertainty, varying model scales and both with or without instruction tuning. Our results suggest that sampling-based confidence scores help calibrate answers to relatively unambiguous questions, with more dramatic improvements on ambiguous questions.
• Abstract（参考訳）: 信頼できる言語モデルは、答えを知らないときに質問に答えることを禁じるべきです。 しかし、質問に対する答えは様々な理由から不明である。 以前の研究は、質問が明確であり、回答が曖昧であるがおそらく不明である場合に焦点を当ててきた。 しかし,質問者の意図や文脈の不確実性から,質問に対する回答が不明確になることもある。 本研究では,本質的に曖昧な質問集合から,質問のサブセットに対して高い精度で回答することに着目し,質問応答について検討する。 この設定では、キャリブレーションに対する最も信頼できるアプローチは、事前の作業で使用されるモデルの可能性や自己検証よりも、サンプルモデル出力のセット内で繰り返しを定量化することである。 % 異なるタイプの不確実性、異なるモデルスケール、および、命令チューニングの有無のどちらにおいても、この傾向は見られます。 その結果,サンプリングに基づく信頼度スコアは,比較的あいまいな質問に対する回答の校正に役立ち,あいまいな質問に対してより劇的な改善をもたらすことが示唆された。

関連論文リスト

• Don't Just Say "I don't know"! Self-aligning Large Language Models for Responding to Unknown Questions with Explanations [70.6395572287422]
  自己調整法は,回答を拒否するだけでなく,未知の質問の解答不能を説明できる。 我々は, LLM自体を微調整し, 未知の質問に対する応答を所望の通りに調整するために, 偏差駆動による自己計算を行い, 有資格データを選択する。
  論文  参考訳（メタデータ） (2024-02-23T02:24:36Z)
• Answering Ambiguous Questions with a Database of Questions, Answers, and Revisions [95.92276099234344]
  ウィキペディアから生成される曖昧な質問のデータベースを利用して、あいまいな質問に答えるための新しい最先端技術を提案する。 提案手法は,リコール対策で15%,予測出力から不明瞭な質問を評価する尺度で10%向上する。
  論文  参考訳（メタデータ） (2023-08-16T20:23:16Z)
• Answering Ambiguous Questions via Iterative Prompting [84.3426020642704]
  オープンドメインの質問応答では、質問のあいまいさのため、複数の妥当な回答が存在する可能性がある。 ひとつのアプローチは、すべての有効な回答を直接予測することですが、これは、妥当性と多様性のバランスに苦労する可能性があります。 本稿では,あいまいな疑問に答える既存手法の欠陥に対処するため,AmbigPromptを提案する。
  論文  参考訳（メタデータ） (2023-07-08T04:32:17Z)
• CLAM: Selective Clarification for Ambiguous Questions with Large Language Models [37.37606905433334]
  我々は,現在の SotA モデルでは,不正確な質問を提示しても,ユーザに対して明確化を求めないことを示す。 CLAMは,まずモデルを用いて曖昧な質問を検知し,不明瞭な質問が検出された場合,ユーザに対して明確化を求める。 本研究では,新しいあいまいな質問応答データセットを用いて,SotAに対して20.15パーセントの精度向上を実現していることを示す。
  論文  参考訳（メタデータ） (2022-12-15T12:47:18Z)
• CREPE: Open-Domain Question Answering with False Presuppositions [92.20501870319765]
  オンライン情報検索フォーラムからの予測失敗の自然な分布を含むQAデータセットであるCREPEを紹介する。 25%の質問が偽の前提命題を含み、これらの前提命題とその修正のための注釈を提供する。 既存のオープンドメインQAモデルの適応は適度に予測できるが、仮定が実際に正しいかどうかを予測するのに苦労する。
  論文  参考訳（メタデータ） (2022-11-30T18:54:49Z)
• Answering Ambiguous Questions through Generative Evidence Fusion and Round-Trip Prediction [46.38201136570501]
  本稿では,複数の通路からの証拠を集約し,一つの回答や質問対の集合を適応的に予測するモデルを提案する。 我々のモデルはRefuelと呼ばれ、AmbigQAデータセット上で新しい最先端のパフォーマンスを実現し、NQ-OpenおよびTriviaQA上での競合性能を示す。
  論文  参考訳（メタデータ） (2020-11-26T05:48:55Z)
• A Wrong Answer or a Wrong Question? An Intricate Relationship between Question Reformulation and Answer Selection in Conversational Question Answering [15.355557454305776]
  会話の文脈における質問書き直し(QR)は、この現象により多くの光を放つことができることを示す。 TREC CAsT と QuAC (CANARD) のデータセットを用いて解析を行った。
  論文  参考訳（メタデータ） (2020-10-13T06:29:51Z)
• Match$^2$: A Matching over Matching Model for Similar Question Identification [74.7142127303489]
  コミュニティ質問回答(Community Question Answering, CQA)は,質問や回答の提出を自由に行う,知識獲得のための主要な手段となっている。 類似した質問識別は、CQAの中核的なタスクとなり、新しい質問が尋ねられるたびに、アーカイブされたリポジトリから同様の質問を見つけることを目的としている。 自然言語の固有のバリエーション、すなわち、同じ質問をしたり、同じ表現を共有する異なる質問をする方法があるため、この2つの質問の類似性を適切に測定することは、長い間困難であった。 従来の手法では片側の使用が一般的であり、答えを拡張された表現として活用する。
  論文  参考訳（メタデータ） (2020-06-21T05:59:34Z)
• Rephrasing visual questions by specifying the entropy of the answer distribution [0.0]
  本稿では,質問のあいまいさを制御し,新しい課題を提案する。 視覚的質問のあいまいさは、VQAモデルによって予測される回答分布のエントロピーを用いて定義される。 我々は,質問のあいまいさを制御できるアプローチの利点を実証し,あいまいさを減らすことよりも増大が難しいという興味深い観察を行った。
  論文  参考訳（メタデータ） (2020-04-10T09:32:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。