論文の概要: Do LLMs Know When to NOT Answer? Investigating Abstention Abilities of Large Language Models
- arxiv url: http://arxiv.org/abs/2407.16221v2
- Date: Tue, 24 Sep 2024 14:25:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-08 15:34:26.201318
- Title: Do LLMs Know When to NOT Answer? Investigating Abstention Abilities of Large Language Models
- Title（参考訳）: LLMはいつ答えないのか? : 大規模言語モデルの留意点の検討
- Authors: Nishanth Madhusudhan, Sathwik Tejaswi Madhusudhan, Vikas Yadav, Masoud Hashemi,
- Abstract要約: Abstention Ability (AA) は、Large Language Model (LLM) の信頼性の重要な側面である。
これまでの研究では、AAを改善する試みがあったが、標準化された評価方法が欠如していた。
本稿では,ブラックボックス評価手法と新しいデータセットAbstain-QAを導入することで,このギャップを埋める。
- 参考スコア（独自算出の注目度）: 4.377568983107492
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Abstention Ability (AA) is a critical aspect of Large Language Model (LLM) reliability, referring to an LLM's capability to withhold responses when uncertain or lacking a definitive answer, without compromising performance. Although previous studies have attempted to improve AA, they lack a standardised evaluation method and remain unsuitable for black-box models where token prediction probabilities are inaccessible. This makes comparative analysis challenging, especially for state-of-the-art closed-source commercial LLMs. This paper bridges this gap by introducing a black-box evaluation approach and a new dataset, Abstain-QA, crafted to rigorously assess AA across varied question types (answerable and unanswerable), domains (well-represented and under-represented), and task types (fact centric and reasoning). We also propose a new confusion matrix, the ''Answerable-Unanswerable Confusion Matrix'' (AUCM) which serves as the basis for evaluating AA, by offering a structured and precise approach for assessment. Finally, we explore the impact of three prompting strategies-Strict Prompting, Verbal Confidence Thresholding, and Chain-of-Thought (CoT)-on improving AA. Our results indicate that even powerful models like GPT-4, Mixtral 8x22b encounter difficulties with abstention; however, strategic approaches such as Strict prompting and CoT can enhance this capability.
- Abstract（参考訳）: 無視能力(Abstention Ability, AA)は、LLM(Large Language Model)の信頼性の重要な側面であり、性能を損なうことなく、不確実性や決定的な答えの欠如時に応答を抑える能力を指す。
これまでの研究ではAAの改良を試みたが、標準化された評価方法が欠如しており、トークン予測能力が到達できないブラックボックスモデルには適していない。
これにより、特に最先端のクローズドソース商用LCMでは比較分析が困難になる。
本稿では,ブラックボックス評価手法を導入し,さまざまな質問タイプ(解答可能・解答不能),ドメイン(表現がよく,表現不足),タスクタイプ(ファクト中心・推論)を厳格に評価する新たなデータセットであるAbstain-QAを導入することにより,このギャップを埋める。
また,AA評価の基盤となる「AUCM(Answerable-Unanswerable Confusion Matrix)」を,構造化された高精度な評価手法により提案する。
最後に、AAを改善するために、Strict Prompting、Verbal Confidence Thresholding、Chain-of-Thought(CoT)の3つの戦略の影響を検討する。
以上の結果から,GPT-4やMixtral 8x22bのような強力なモデルであっても,回避が困難であることが明らかとなった。
関連論文リスト
- Towards Lighter and Robust Evaluation for Retrieval Augmented Generation [1.631189594086952]
本稿では,RAG幻覚評価のためのオープンウェイトモデルの興味を示す研究を提案する。
我々は、より小さく、量子化されたLCMを用いて、アクセス可能で解釈可能な計量を提供する軽量なアプローチを開発する。
このスコアは、意思決定の信頼性に疑問を呈し、新しいAUCメトリクスを開発するためのしきい値を探ることを可能にする。
論文 参考訳（メタデータ） (2025-03-20T13:58:32Z) - LLM-Safety Evaluations Lack Robustness [58.334290876531036]
我々は、大規模言語モデルに対する現在の安全アライメント研究は、多くのノイズ源によって妨げられていると論じる。
本研究では,将来の攻撃・防衛用紙の評価において,ノイズやバイアスを低減させる一連のガイドラインを提案する。
論文 参考訳（メタデータ） (2025-03-04T12:55:07Z) - Unc-TTP: A Method for Classifying LLM Uncertainty to Improve In-Context Example Selection [6.813733517894384]
大規模言語モデル(LLM)は、様々な下流タスクで例外的なパフォーマンスを示している。
ユーザにとって、応答が確実に生成されるか、あるいはユーザの期待に応えて作られているかを判断することは困難である。
本稿では,LLMの不確かさを分類するために,新しい不確実性三部テストパラダイム (Uncertainty Tripartite Testing Paradigm: Unc-TTP) を提案する。
論文 参考訳（メタデータ） (2024-08-17T11:33:23Z) - AutoDetect: Towards a Unified Framework for Automated Weakness Detection in Large Language Models [95.09157454599605]
大規模言語モデル(LLM)はますます強力になってきていますが、それでも顕著ですが微妙な弱点があります。
従来のベンチマークアプローチでは、特定のモデルの欠陥を徹底的に特定することはできない。
さまざまなタスクにまたがるLLMの弱点を自動的に露呈する統合フレームワークであるAutoDetectを導入する。
論文 参考訳（メタデータ） (2024-06-24T15:16:45Z) - MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。
本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。
メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
論文 参考訳（メタデータ） (2024-06-20T03:50:23Z) - Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。
評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
論文 参考訳（メタデータ） (2024-06-13T14:41:00Z) - Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-05T16:35:30Z) - Think Twice Before Trusting: Self-Detection for Large Language Models through Comprehensive Answer Reflection [90.71323430635593]
本稿では, LLM生成解を超える包括的解答空間を考察した, 新たな自己検出パラダイムを提案する。
このパラダイムに基づいて、2段階のフレームワークを導入し、まずまずLLMに各候補の回答を反映し、正当化するように指示する。
このフレームワークは、優れた自己検出のための既存のアプローチとシームレスに統合できる。
論文 参考訳（メタデータ） (2024-03-15T02:38:26Z) - CFMatch: Aligning Automated Answer Equivalence Evaluation with Expert Judgments For Open-Domain Question Answering [14.366087533102656]
質問応答(QA)は、答えが正しいかどうかを知る場合にのみ進行する。
回答等価性(AE)を決定するための現在の評価基準は、しばしば人間の判断と一致しない。
論文 参考訳（メタデータ） (2024-01-24T01:30:25Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳（メタデータ） (2023-09-07T01:35:24Z) - Uncertainty-Driven Action Quality Assessment [67.20617610820857]
本稿では,複数の判定スコアの多様性を捉えるために,不確実性駆動型AQA (UD-AQA) という新しい確率モデルを提案する。
我々は,AQA回帰損失の再重み付けに使用される各予測の不確かさを推定する。
提案手法は,オリンピックイベントMTL-AQAとFineDivingの3つのベンチマークと,手術スキルJIGSAWSデータセットの3つのベンチマークで比較結果を得た。
論文 参考訳（メタデータ） (2022-07-29T07:21:15Z) - A new interpretable unsupervised anomaly detection method based on
residual explanation [47.187609203210705]
本稿では,大規模システムにおけるAEベースのADの制限に対処する新しい解釈可能性手法であるRXPを提案する。
実装の単純さ、計算コストの低さ、決定論的振る舞いが特徴である。
実鉄道路線のデータを用いた実験において,提案手法はSHAPよりも優れた性能を示した。
論文 参考訳（メタデータ） (2021-03-14T15:35:45Z) - Active Feature Acquisition with Generative Surrogate Models [11.655069211977464]
本研究では,アクティブ機能獲得(AFA)を行うモデルについて検討し,未観測機能に対する環境問合せを行う。
我々の研究は、AFA問題を生成的モデリングタスクとして根底にあるマルコフ決定プロセス(MDP)を再構築する。
本稿では,入力特徴間の依存関係を捕捉し,取得から得られる潜在的な情報を評価する生成代理モデル(GSM)の学習を提案する。
論文 参考訳（メタデータ） (2020-10-06T02:10:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。