論文の概要: Same Question, Different Answers: Evaluating LLM Reliability Beyond Accuracy

• arxiv url: http://arxiv.org/abs/2607.22554v1
• Date: Mon, 18 May 2026 16:45:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-02 22:55:38.960844
• Title: Same Question, Different Answers: Evaluating LLM Reliability Beyond Accuracy
• Title（参考訳）: 同じ質問と異なる回答: LLMの信頼性を正確性を超えて評価する
• Abstract要約: 本研究では,現実的な質問応答や数学的推論タスクにおいて,意味保存的言い回しの下でモデル解がどう変化するかを検討する。 4つのベンチマークと13のモデルで、モデル出力はプロンプトの正確な表現に依存することが多い。 多くの質問に対して、モデルはフレーズによって正しい答えと間違った答えを交互に行い、ミスマッチ率は23%以上に達する。
• 参考スコア（独自算出の注目度）: 41.17236645999555
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) often achieve strong accuracy on benchmarks, yet it remains unclear how reliably they apply this knowledge when the same question is phrased in different but equivalent ways. In this work, we study how model answers change under meaning-preserving paraphrases across factual question answering and mathematical reasoning tasks. Across four benchmarks and 13 models, we find that model outputs frequently depend on the exact wording of the prompt. While overall accuracy typically changes only modestly across paraphrases, instance-level behavior is far less stable: for many questions, models alternate between correct and incorrect answers depending on phrasing, with mismatch rates reaching more than 23%. Conditioning on questions that are answered correctly in their original form reveals even larger failures measured by answer flip rates, showing that single-prompt correctness is often a poor indicator of reliability. At the same time, we find that models often produce a correct answer for at least one paraphrase of a question, suggesting that the underlying knowledge is present but inconsistently retrieved. Building on this observation, we show that a simple self-paraphrasing strategy can partially recover this latent knowledge and improve performance at inference time. Together, these findings suggest that standard accuracy metrics can mask substantial instability, and that evaluating consistency across equivalent inputs provides a clearer picture of LLM reliability.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、しばしばベンチマークにおいて高い精度を達成するが、同じ質問が異なるが等価な方法で表現されている場合、どの程度確実にこの知識を適用しているかは定かではない。 本研究では,現実的な質問応答や数学的推論タスクにまたがる意味保存的言い回しの下で,モデル解がどう変化するかを検討する。 4つのベンチマークと13のモデルで、モデル出力はプロンプトの正確な表現に依存することが多い。 全体的な正確性は通常、パラフレーズ間でわずかにしか変化しないが、インスタンスレベルの振る舞いははるかに安定していない。多くの質問では、誤マッチ率が23%以上に達すると、フレーズによって正しい解と間違った解の交互にモデルが変わる。 元の形式で正しく答えられる質問を条件にすると、解答フリップ率によって測定されたさらに大きな失敗が示され、シングルプロンプトの正確さが信頼性の低い指標であることがしばしば示される。 同時に、モデルが質問の少なくとも1つのパラフレーズに対して正しい解を生成することも多く、基礎となる知識は存在するが、矛盾なく回収されることが示唆される。 この結果から, 単純な自己表現戦略により, この潜伏した知識を部分的に回復し, 推論時の性能を向上させることができることを示す。 これらの結果から,標準精度測定値がかなりの不安定さを隠蔽し,等価入力間の整合性を評価することにより,LCMの信頼性がより明確になることが示唆された。

関連論文リスト

• The Illusion of Robustness: Aggregate Accuracy Hides Prediction Flips under Task-Irrelevant Context [76.36635039699112]
  大規模言語モデル(LLM)は、タスク入力に長く、部分的には関係のないコンテキストが伴うような、コンテキストに富んだ環境にますますデプロイされる。 現状のモデルはしばしば、集合レベルでのタスク非関連コンテキストに対して頑健に見える。 しかし、この集合安定性は、指数当たりの不安定性を著しくマスクする。
  論文  参考訳（メタデータ） (2026-07-14T17:01:12Z)
• Decomposed Prompting Does Not Fix Knowledge Gaps, But Helps Models Say "I Don't Know" [47.930782177987446]
  大規模言語モデルは、クローズドブックの質問応答において知識限界を認識するのに苦労することが多く、自信ある幻覚へと繋がる。 我々は、モデルスケールの異なるDirect、Assistive、Incrementalの3つのタスク等価プロンプトとマルチホップQAベンチマークを評価した。 幻覚が一致している間に事実知識が安定しているため、クロスレジームは内部の不確実性の正確なシグナルを与える。
  論文  参考訳（メタデータ） (2026-02-04T18:39:58Z)
• Mind the Gap: A Closer Look at Tokenization for Multiple-Choice Question Answering with LLMs [16.357595595062946]
  植民地の後に空間をトークン化する方法には合意がないが、しばしば自明な選択として見過ごされる。 驚いたことに、私たちは1つの特定の戦略 -- 回答のレターとともにスペースをトークン化する -- を推奨できます。 本研究は、注意深い評価設計の重要性を強調し、標準化された透明な評価プロトコルの必要性を強調した。
  論文  参考訳（メタデータ） (2025-09-18T14:47:58Z)
• Can LLMs Detect Their Confabulations? Estimating Reliability in Uncertainty-Aware Language Models [24.72990207218907]
  LLM(Large Language Models)は、畳み込み(confabulation)として知られる、流動的だが不正なコンテンツを生成する傾向にある。 本研究では、文脈内情報がモデル行動にどのように影響するか、LLMが信頼できない応答を識別できるかを検討する。
  論文  参考訳（メタデータ） (2025-08-11T16:12:36Z)
• Uncertainty Distillation: Teaching Language Models to Express Semantic Confidence [16.311538811237536]
  大規模言語モデル (LLM) は、事実質問に対する回答にますます使われている。 これらの不確実性の言葉化表現が意味を持つためには、表現された信頼度レベルでエラー率を反映すべきである。 そこで本研究では,LLMにセマンティック信頼度を校正する簡単な方法である不確かさ蒸留法を提案する。
  論文  参考訳（メタデータ） (2025-03-18T21:29:29Z)
• Rethinking LLM Uncertainty: A Multi-Agent Approach to Estimating Black-Box Model Uncertainty [47.95943057892318]
  ブラックボックスLSMの不確実性の定量化は、信頼性の高い応答とスケーラブルな監視に不可欠である。 本研究では,不確実性推定にマルチエージェント相互作用を用いた新しい理論的基礎手法であるDiverseAgentEntropyを紹介する。
  論文  参考訳（メタデータ） (2024-12-12T18:52:40Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。