論文の概要: The Consistency Dilemma in LLMs: Generator-Evaluator Agreement and Vulnerability to Mistakes

• arxiv url: http://arxiv.org/abs/2606.30653v1
• Date: Tue, 16 Jun 2026 03:39:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-05 17:01:29.608629
• Title: The Consistency Dilemma in LLMs: Generator-Evaluator Agreement and Vulnerability to Mistakes
• Title（参考訳）: LLMの一貫性ジレンマ:ジェネレータと評価器の合意と誤りに対する脆弱性
• Abstract要約: 大規模な言語モデルは、外部の検証なしに自身のアウトプットを評価するモデルに依存するエージェントパイプラインにますますデプロイされる。 そこで本研究では,この仮定を直接的に検証し,491概念を対象とするフロンティアモデル10に対して適用するための,新たな尺度であるジェネレータ-評価器の自己整合性を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are increasingly deployed in agentic pipelines that depend on the model evaluating its own outputs without external verification. The reliability of these pipelines depends on an implicit assumption: that the model applies relevant concepts the same way when it generates an output and later evaluates that output. We propose a new measure, generator-evaluator self-consistency, to test this assumption directly and apply it to 10 frontier models across 491 concepts. We find, first, that there is substantial variation in self-consistency. Second, we find that in a clinical setting with physician-validated mistakes (Proniakin et al., 2025), across models, those with higher self-consistency are linked to greater vulnerability to mistakes. Thus, even when models consistently apply concepts they may not be safe to deploy. This is evidence of a consistency dilemma in LLMs: self-consistency is operationally useful, but models that are more consistent are also more prone to mistakes.
• Abstract（参考訳）: 大規模な言語モデルは、外部の検証なしに自身のアウトプットを評価するモデルに依存するエージェントパイプラインにますますデプロイされる。 これらのパイプラインの信頼性は暗黙の仮定に依存します。モデルが出力を生成し、後にその出力を評価するのと同じ方法で関連する概念を適用します。 そこで本研究では,この仮定を直接的に検証し,491概念を対象とするフロンティアモデル10に対して適用するための,新たな尺度であるジェネレータ-評価器の自己整合性を提案する。 まず、自己整合性には相当なばらつきがあることに気付きました。 第2に,医師公認の誤り(Proniakin et al , 2025)を伴わない臨床環境では, 自己整合性が高い患者は, 誤りの脆弱性が大きいことが判明した。 したがって、モデルが一貫して概念を適用しても、デプロイは安全ではないかもしれない。 自己整合性(self-consistency)は運用上有用であるが、より一貫性のあるモデルはミスをしがちである。

関連論文リスト

• Position: It's Time to Optimize LLMs for Self-Consistency [50.68587056599734]
  多くの重要な障害は、事前および後トレーニングパイプラインの言語モデルに持続する。 これらの失敗は、パイプラインのすべての側面に浸透するモデリングの前提から生じます。 これらの失敗を理解するためのフレームワークとして,自己整合性を提案する。
  論文  参考訳（メタデータ） (2026-07-31T19:16:53Z)
• Latent Confidence Alignment for LLM Self-Assessment [8.73168195475753]
  本稿では,モデル能力と項目難易度を指標として,モデル自己評価と潜在誤り確率との整合性を測定するためのモデルベース潜在能力フレームワークとメタ認知的視点を提案する。 20モデルを用いた医療領域データセットの実験は,提案手法がモデル能力に影響を与えることなく自己評価品質を向上させることを示す。
  論文  参考訳（メタデータ） (2026-06-20T08:13:31Z)
• Incoherent Values? Probing LLM Preferences Through Parametric Variation [0.1753733541634709]
  不合理な価値観を持つ人を信用することは難しい。 大規模言語モデルは、評価コアを持たない単なるテキストジェネレータであると考える人もいる。 時間的理由のあるモデルは、思考障害のあるモデルよりも不整合性が低いことを示す。
  論文  参考訳（メタデータ） (2026-06-19T05:07:34Z)
• Does Reasoning Preserve Alignment? On the Trustworthiness of Large Reasoning Models [55.788110316999166]
  教師付き微調整, RL を用いた後訓練, および命令調整ベースラインに対する蒸留による推論モデルの比較を行った。 推論モデルはしばしば推論ベンチマークを改善するが、アライメント回帰を示す。 これらの回帰は、KL発散によって測定された命令調整ベースラインからの挙動ドリフトと一致している。
  論文  参考訳（メタデータ） (2026-06-09T16:14:27Z)
• The Illusion of Certainty: Uncertainty quantification for LLMs fails under ambiguity [48.899855816199484]
  そこで本研究では,第1の曖昧な質問応答(QA)データセットであるMAQA*とAmbigQA*を紹介する。 予測分布とアンサンブルに基づく推定器は、あいまいさの下では基本的に限定的であることを示す。
  論文  参考訳（メタデータ） (2025-11-06T14:46:35Z)
• Scalable Best-of-N Selection for Large Language Models via Self-Certainty [75.1351701045874]
  Best-of-N selectionは、Large Language Models(LLMs)の推論性能を改善するための重要なテクニックである。 本稿では, LLM出力の固有確率分布を利用して, 外部報酬モデルを必要としない応答品質を推定する, 新規で効率的な指標である自己確実性を提案する。 本研究は, LLM推論能力を向上させるための実用的で効率的な方法として, 自己確実性を確立した。
  論文  参考訳（メタデータ） (2025-02-25T19:08:07Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Beyond Accuracy: Evaluating Self-Consistency of Code Large Language Models with IdentityChain [28.71742839604069]
  本稿では、コード大言語モデル(Code LLM)の自己整合性を定義する。 次に、モデルの自己整合性と従来の精度を効果的かつ効率的に評価するフレームワーク、IdentityChainを設計する。
  論文  参考訳（メタデータ） (2023-10-21T16:14:56Z)
• Self-Consistency of Large Language Models under Ambiguity [4.141513298907867]
  本研究は,不特定の場合の自己整合性評価ベンチマークを示す。 あいまいな整数列補完タスクを用いて,OpenAIモデルスイート上で一連の動作実験を行う。 平均一貫性は67%から82%の範囲であり、モデルの一貫性がランダムであれば予測されるよりもはるかに高い。
  論文  参考訳（メタデータ） (2023-10-20T11:57:56Z)
• On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
  log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。 異なる家族間でのモデルランキングの相関はみられない。
  論文  参考訳（メタデータ） (2020-02-17T20:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。