論文の概要: When Models Defer to Wrong Answers: A Robustness Audit of Source-Attributed Cues in Multiple-Choice QA
- arxiv url: http://arxiv.org/abs/2609.08934v1
- Date: Tue, 08 Sep 2026 15:57:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 20:32:02.182809
- Title: When Models Defer to Wrong Answers: A Robustness Audit of Source-Attributed Cues in Multiple-Choice QA
- Title（参考訳）: モデルが解答の誤りを負うとき:マルチコースQAにおけるソース属性キューのロバスト性監査
- Abstract要約: 言語モデルは、他のソースが答えたことについてのクレームとともに、しばしば質問を受ける。
このような主張が複数の質問応答において解答を不安定化させるかどうかを検査する。
英語,ヒンディー語,ベンガル語,タミル語,テルグ語でMMLU-ProとIndicMMLU-Proの4つの命令追従モデルを評価する。
- 参考スコア（独自算出の注目度）: 2.347309464574674
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language models often receive a question together with a claim about what another source answered. We audit whether such claims destabilize answers in multiple-choice question answering. For each item, we hold one wrong option fixed across misleading conditions and vary the cue template attached to it. We introduce \emph{neutral-conditioned misleading cue adoption rate} (NC-MCAR), which measures switches to that option only on valid cued trials where the same model first selected the gold answer under a neutral prompt. This is a measure of answer instability, not proof that the model knew the answer or that all deference is irrational. We evaluate four instruction-following models on MMLU-Pro and IndicMMLU-Pro in English, Hindi, Bengali, Tamil, and Telugu. Across 220{,}000 outputs, the expert template yields 41.1\% aggregate NC-MCAR, compared with 12.5\% for the majority template. These two conditions use the same wrong option and final instruction. Filler accuracy remains well above expert-wrong accuracy, while correct-cue prompts have high valid-response accuracy. The audit documents answer instability relevant to grounding under the tested forced-choice prompts: a bare, unverified source claim can outweigh an answer that was previously consistent with the task evidence.
- Abstract（参考訳）: 言語モデルは、他のソースが答えたことについてのクレームとともに、しばしば質問を受ける。
このような主張が複数の質問応答において解答を不安定化させるかどうかを検査する。
各項目について、誤解を招く条件で固定された1つの間違ったオプションを保持し、それに付随するキューテンプレートを変更する。
我々は,同一モデルが最初に中性的プロンプトの下で金の解答を選択した場合にのみ,そのオプションに切り替える「emph{neutral-conditioned misleading cue adoption rate}」(NC-MCAR)を導入する。
これは答えの不安定性の尺度であり、モデルが答えを知っていることや、すべての推論が不合理であることの証明ではない。
英語,ヒンディー語,ベンガル語,タミル語,テルグ語でMMLU-ProとIndicMMLU-Proの4つの命令追従モデルを評価する。
220{,}000の出力に対して、専門家テンプレートは41.1\%の集合NC-MCARを出力し、過半数テンプレートは12.5\%である。
これら2つの条件は同じ間違ったオプションと最終命令を使用する。
フィラーの精度は専門家の強い精度よりはるかに高いが、正解のプロンプトは高い有効応答精度を持つ。
監査文書は、テストされた強制選択のプロンプトの根拠に関する不安定さに答える: 素質のない、未検証のソースのクレームは、これまでタスクのエビデンスと一致していた回答を上回る可能性がある。
関連論文リスト
- When Many Answers Are Valid, Voting Fails: Symbolic Verification for Best-of-K Causal Reasoning in LLMs [42.32694162421078]
CALVERは、パールの因果基準に対して構造化されたトレースをスコアする訓練不要なシンボル検証器である。
CALVERは、複数のグラフ正解を許容するCLEAR検索1価クエリにおいて、報酬モデル、LLM審査員、モデルの信頼性が30%近く残っている42.1%に達する。
論文 参考訳（メタデータ） (2026-08-04T11:45:46Z) - Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。
ラベルを適用すれば依存性認定正当性(D-CC)が得られる
4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
論文 参考訳（メタデータ） (2026-07-29T15:55:31Z) - Who Flips? Self- and Cross-Model Counterarguments Reveal Answer Instability in LLMs [9.465306048183798]
本稿では,解答安定性を評価するための制御プロトコルを提案する。
モデルが複数の選択問題に正しく答えた後、不正確な選択肢に対する一貫性のある議論でモデルに挑戦する。
自己貢献は相変わらずフリップ率を上昇させる。
論文 参考訳（メタデータ） (2026-06-14T20:45:30Z) - Clarification Is Not Enough: Post-Clarification Answering Remains the Bottleneck in Multi-Turn QA [14.475086992410276]
課題を2つの要素に分解することで,多ターン質問応答における選好誘導の問題について検討する。
PACIFICベンチマークを用いて、教師付き微調整が明確化ポリシーを急速に改善することを示したが、モデルが正しい動作を取る場合でも、最終的な解答精度は著しく低いままである。
論文 参考訳（メタデータ） (2026-05-24T18:06:09Z) - Rethinking LLM Uncertainty: A Multi-Agent Approach to Estimating Black-Box Model Uncertainty [47.95943057892318]
ブラックボックスLSMの不確実性の定量化は、信頼性の高い応答とスケーラブルな監視に不可欠である。
本研究では,不確実性推定にマルチエージェント相互作用を用いた新しい理論的基礎手法であるDiverseAgentEntropyを紹介する。
論文 参考訳（メタデータ） (2024-12-12T18:52:40Z) - Uncertainty-aware Language Modeling for Selective Question Answering [107.47864420630923]
本稿では,不確実性を考慮したLLMを生成するLLM変換手法を提案する。
我々のアプローチはモデルとデータに依存しず、計算効率が高く、外部モデルやシステムに依存しない。
論文 参考訳（メタデータ） (2023-11-26T22:47:54Z) - Getting MoRE out of Mixture of Language Model Reasoning Experts [71.61176122960464]
多様な特殊言語モデルを組み込んだMixture-of-Reasoning-Experts (MoRE) フレームワークを提案する。
実例,マルチホップ,数学的,コモンセンス推論など,さまざまな推論カテゴリに最適化されたプロンプトを備えたバックボーン言語モデルを特化する。
人間の研究では、専門家による予測と回答の選択プロセスが、アノテータがシステムの出力を信頼するタイミングをより正確に調整するのに役立ちます。
論文 参考訳（メタデータ） (2023-05-24T02:00:51Z) - Selectively Answering Ambiguous Questions [38.83930394700588]
我々は, サンプルモデル出力における繰り返しの定量化が, 退避時期を決定する最も信頼性の高い手法であることが判明した。
その結果,サンプリングに基づく信頼度スコアは,比較的あいまいな質問に対する回答のキャリブレーションに有効であることが示唆された。
論文 参考訳（メタデータ） (2023-05-24T01:25:38Z) - Realistic Conversational Question Answering with Answer Selection based
on Calibrated Confidence and Uncertainty Measurement [54.55643652781891]
対話型質問回答モデル(ConvQA)は,会話中に複数回発生した質問文と過去の質問文のペアを用いて質問に回答することを目的としている。
本稿では,会話履歴における不正確な回答を,ConvQAモデルから推定された信頼度と不確実性に基づいてフィルタリングすることを提案する。
我々は2つの標準ConvQAデータセット上で、回答選択に基づくリアルな会話質問回答モデルの有効性を検証する。
論文 参考訳（メタデータ） (2023-02-10T09:42:07Z) - How Can We Know When Language Models Know? On the Calibration of
Language Models for Question Answering [80.82194311274694]
言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか?
我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。
次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
論文 参考訳（メタデータ） (2020-12-02T03:53:13Z) - Selective Question Answering under Domain Shift [90.021577320085]
モデルがドメイン外の入力に対して過度に信頼されているため、モデルのソフトマックス確率のみに基づくアテンションポリシーは不適切である。
キャリブレータをトレーニングして、QAモデルがアースする入力を識別し、エラーを予測した場合に停止する。
提案手法は,80%の精度を維持しながら56%の質問に回答するが,それに対してモデルの確率を直接使用する場合,80%の精度で48%しか回答しない。
論文 参考訳（メタデータ） (2020-06-16T19:13:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。