論文の概要: Who Flips? Self- and Cross-Model Counterarguments Reveal Answer Instability in LLMs
- arxiv url: http://arxiv.org/abs/2606.16011v1
- Date: Sun, 14 Jun 2026 20:45:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 18:36:04.992996
- Title: Who Flips? Self- and Cross-Model Counterarguments Reveal Answer Instability in LLMs
- Title（参考訳）: LLMにおける自己およびクロスモデル対策の解答不安定性
- Abstract要約: 本稿では,解答安定性を評価するための制御プロトコルを提案する。
モデルが複数の選択問題に正しく答えた後、不正確な選択肢に対する一貫性のある議論でモデルに挑戦する。
自己貢献は相変わらずフリップ率を上昇させる。
- 参考スコア（独自算出の注目度）: 9.465306048183798
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Standard accuracy benchmarks are designed to test how closely large language models (LLMs) approach correct answers, but are not suitable for testing whether LLMs stick with a correct answer when that answer is challenged by a plausible counter-argument. We introduce a controlled protocol for evaluating answer stability: after a model answers a multiple-choice question correctly, we challenge the model's answer with a coherent argument for an incorrect option and measure whether the model flips. The setup a) isolates argumentative content from overt social pressure and b) varies argument length, self-attribution, and cross-model source. Across seven frontier models and 57 MMLU subjects, flip rates range from 17.5% to 97.3%, revealing large differences in stability that are not captured by accuracy metrics alone. We find that self-attribution consistently increases flip rates (mean +7.1pp, up to +18.7pp). Also, pooling wrong-answer arguments across models and selecting the most effective one per question yields stronger adversarial challenges than relying on any single source model. We further construct MaxFlip, a curated challenge set that amplifies flips by up to +23.6pp over standard self-generated challenges. We release the protocol, challenge records, and MaxFlip to support stability evaluation alongside standard accuracy benchmarks. Materials are available at https://github.com/nafisenik/WhoFlips and https://hf.co/datasets/nafisehNik/WhoFlips.
- Abstract（参考訳）: 標準精度ベンチマークは、いかに大きな言語モデル(LLM)が正解に近づいたかをテストするために設計されているが、その答えが妥当な反論によって挑戦される場合、LLMが正しい解に固執するかどうかをテストするには適していない。
モデルが複数の質問に正しく答えた後、間違った選択肢の一貫性のある引数でモデルの答えに挑戦し、モデルが反転するかどうかを測定する。
設定
a) 議論的な内容が過度な社会的圧力から切り離され、
b) 引数の長さ、自己帰属、およびクロスモデルソースを変化させる。
7つのフロンティアモデルと57人のMMLU被験者にまたがって、フリップレートは17.5%から97.3%の範囲であり、精度の指標だけでは捉えられない安定性の大きな違いを示している。
自己帰属はフリップ率を常に増加させる(平均+7.1pp、最大+18.7pp)。
また、モデル間で間違った答えの議論をプールし、質問ごとに最も効果的な議論を選択することで、単一のソースモデルに依存するよりも強い敵の挑戦をもたらす。
さらに、標準的な自己生成問題に対して最大+23.6ppのフリップを増幅する、キュレートされたチャレンジセットであるMaxFlipを構築する。
我々は、標準精度ベンチマークと共に安定性評価をサポートするために、プロトコル、チャレンジレコード、MaxFlipをリリースする。
資料はhttps://github.com/nafisenik/WhoFlipsとhttps://hf.co/datasets/nafisehNik/WhoFlipsで入手できる。
関連論文リスト
- When Models Defer to Wrong Answers: A Robustness Audit of Source-Attributed Cues in Multiple-Choice QA [2.347309464574674]
言語モデルは、他のソースが答えたことについてのクレームとともに、しばしば質問を受ける。
このような主張が複数の質問応答において解答を不安定化させるかどうかを検査する。
英語,ヒンディー語,ベンガル語,タミル語,テルグ語でMMLU-ProとIndicMMLU-Proの4つの命令追従モデルを評価する。
論文 参考訳（メタデータ） (2026-09-08T15:57:24Z) - A decodability criterion predicts when hidden-state selection beats majority voting in large language models [10.860308169044679]
本稿では,解答点隠れ状態の線形ゲートを訓練し,最上位候補を選択する動的選択結合器を提案する。
その主な貢献は、解答可能性(deodability)であり、ゲートが質問の正しい候補をどれだけ正確にランクづけしているかの漏れのない尺度である。
論文 参考訳（メタデータ） (2026-08-17T21:02:10Z) - Second Guess: Detecting Uncertainty Through Abstention and Answer Stability in Small Language Models [2.5782420501870296]
大規模な言語モデルは、不確実な場合には控えるよりも、自信があるが誤った答えを生成することが多い。
マルチチョイス質問応答(MCQA)における抑止のための軽量かつパラメータフリーなプロンプト手法である_Second Guess_を提案する。
第2ギースは10.81%の複合リスク改善を達成している。
論文 参考訳（メタデータ） (2026-05-25T03:38:54Z) - Measuring short-form factuality in large language models [50.15055025275888]
本稿では,言語モデルが短い事実探索質問に答える能力を評価するベンチマークであるSimpleQAを提案する。
SimpleQAはGPT-4応答に対して逆向きに収集される。
SimpleQAの各回答は、正しいか、間違っているか、試みられていないかのどちらかとしてランク付けされる。
論文 参考訳（メタデータ） (2024-11-07T01:58:42Z) - DCR: Divide-and-Conquer Reasoning for Multi-choice Question Answering with LLMs [9.561022942046279]
大規模言語モデル(LLM)の推論能力を高めるため,DCR(Divide and Conquer Reasoning)を提案する。
まず、信頼性スコア(mathcalCS$)に基づいて質問を2つのサブセットに分類する。
特に,質問を信頼性スコア(mathcalCS$)に基づいて2つのサブセットに分類する。
論文 参考訳（メタデータ） (2024-01-10T14:38:46Z) - Do Large Language Models have Shared Weaknesses in Medical Question Answering? [1.25828876338076]
大規模言語モデル(LLM)は、医療ベンチマークで急速に改善されているが、その信頼性の欠如は、安全な現実世界の使用において永続的な課題である。
上位のLLMをベンチマークし、モデル間の一貫性のあるパターンを特定します。
質問が正しく答えるモデル間の類似性の証拠と、人間のテストテイカーとの類似性を見出した。
論文 参考訳（メタデータ） (2023-10-11T06:26:19Z) - Realistic Conversational Question Answering with Answer Selection based
on Calibrated Confidence and Uncertainty Measurement [54.55643652781891]
対話型質問回答モデル(ConvQA)は,会話中に複数回発生した質問文と過去の質問文のペアを用いて質問に回答することを目的としている。
本稿では,会話履歴における不正確な回答を,ConvQAモデルから推定された信頼度と不確実性に基づいてフィルタリングすることを提案する。
我々は2つの標準ConvQAデータセット上で、回答選択に基づくリアルな会話質問回答モデルの有効性を検証する。
論文 参考訳（メタデータ） (2023-02-10T09:42:07Z) - Enhancing Self-Consistency and Performance of Pre-Trained Language
Models through Natural Language Inference [72.61732440246954]
大規模な事前訓練された言語モデルは、テスト入力間の論理的一貫性を欠いていることが多い。
本研究では,事前学習したNLPモデルの一貫性と精度を高めるためのフレームワークであるConCoRDを提案する。
ConCoRDは、市販のクローズドブックQAおよびVQAモデルの精度と一貫性を一貫して向上することを示す。
論文 参考訳（メタデータ） (2022-11-21T21:58:30Z) - Reliable Visual Question Answering: Abstain Rather Than Answer
Incorrectly [100.60560477391732]
我々は、信頼性のある視覚的質問応答(VQA)のための問題定式化を促進する。
私たちは、彼らのカバレッジ、回答された質問の一部、そしてその部分のエラーの両方を分析します。
最高のパフォーマンスモデルは、VQA v2データセットで71%以上の精度を達成するが、そのオプションを導入することで、低いエラー(1%)のリスクを達成するために、8%未満の質問に答えることが制限されることがわかった。
これにより、マルチモーダル選択関数を用いて、予測された回答の正しさを直接推定し、例えば5.0%から16.7%のカバレッジを3倍にすることができることを示す。
論文 参考訳（メタデータ） (2022-04-28T16:51:27Z) - How Can We Know When Language Models Know? On the Calibration of
Language Models for Question Answering [80.82194311274694]
言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか?
我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。
次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
論文 参考訳（メタデータ） (2020-12-02T03:53:13Z) - Selective Question Answering under Domain Shift [90.021577320085]
モデルがドメイン外の入力に対して過度に信頼されているため、モデルのソフトマックス確率のみに基づくアテンションポリシーは不適切である。
キャリブレータをトレーニングして、QAモデルがアースする入力を識別し、エラーを予測した場合に停止する。
提案手法は,80%の精度を維持しながら56%の質問に回答するが,それに対してモデルの確率を直接使用する場合,80%の精度で48%しか回答しない。
論文 参考訳（メタデータ） (2020-06-16T19:13:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。