論文の概要: Decomposing Wrong-Consensus Agreement in LLM Self-Consistency: A GPT-4.1 Case Study

• arxiv url: http://arxiv.org/abs/2608.18795v1
• Date: Wed, 19 Aug 2026 10:50:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.379783
• Title: Decomposing Wrong-Consensus Agreement in LLM Self-Consistency: A GPT-4.1 Case Study
• Title（参考訳）: LLM自己整合性におけるWrong-Consensus Agreementの分解: GPT-4.1 事例
• Abstract要約: 複数のLSMサンプルに対する多数決投票は、回答の正確性を高めるために広く用いられているが、その利得は不規則に異なる。 本稿は、この失敗を定量的に分析する。
• 参考スコア（独自算出の注目度）: 1.2716872085463884
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Majority voting over multiple LLM samples is widely used to raise answer accuracy, yet its gain varies erratically: on hard questions it can even backfire. This paper gives a quantitative account of this failure. A pluralistic agreement index Gamma is defined as the expected fraction of the samples of a wrong run that agree with the consensus, normalized by a reference scale d=(1-p)/(C-1), and is decomposed into a mechanical component (what a vote delivers given only a per-case answer preference) and a preference-unexplained residual. The mechanical null is difficulty-matched and leak-free: each case is resimulated at its own accuracy and option preference, estimated from the case's other runs, so no run predicts its own agreement. On GPT-4.1 the decomposition shows benchmark-associated direction (an observational ordering over n=4 cells per benchmark, not a significance claim). On multiple-choice GPQA-Diamond, the per-case answer preference explains 81-93% of the held-out test-run agreement index: the shared-bias-dominates account over-claims here, because a wrong but attractive option the whole cohort latches onto is captured by the per-case preference channel (whether that preference is induced by shared training bias is not identified). On open-domain AIME, the mechanical preference explains only 59-78% (21-29% if shrunk to pure noise), and a preference-unexplained residual of 1.56-2.80 Gamma units survives, which a run-level preference-heterogeneity reference more than absorbs (1.4-2.1). A self-consistency backfire on hard questions is reproduced (binned voting gap down to -0.09, coupled CI [-0.12,-0.07]), and the highest-agreement bin reaches an accuracy of only 0.42-0.83, a 1.2-3.6x lift over base rate: agreement is graded evidence, not certification. No new voting method is proposed; code and evidence are committed and reproducible.
• Abstract（参考訳）: 複数のLSMサンプルに対する多数決投票は、回答の正確性を高めるために広く利用されているが、その利得は不規則に変化している。 本稿は、この失敗を定量的に分析する。 多重一致指数ガンマは、基準スケールd=(1-p)/(C-1)で正規化される間違ったランのサンプルの期待された分数として定義され、機械的成分(各ケースごとの回答優先のみを問う投票)と好ましくない残差に分解される。 それぞれのケースは、そのケースの他の実行から推定される、自身の正確さとオプションの好みでリシミュレートされるので、実行は独自の合意を予測しません。 GPT-4.1では、分解はベンチマークに関連する方向を示す(ベンチマーク毎にn=4セルを観測するが、重要な主張ではない)。 複数の選択 GPQA-Diamond では、ケースごとの回答の選好が、保持されたテスト実行合意指数の81-93%を説明している: 共有バイアスがアカウントを過大評価している理由は、コホートラッチ全体に対する誤った選択肢が、ケースごとの選好チャネルによってキャプチャされるためである(共有トレーニングバイアスによって引き起こされる選好は特定されない)。 オープンドメインのAIMEでは、機械的嗜好は59-78%(純粋なノイズに逆らうと21-29%)しか説明できず、好ましく説明されていない1.56-2.80ガンマ単位の残基は残っており、これは吸収以上のランレベルな嗜好不均一性を参照している(1.4-2.1)。 厳しい質問に対する自己整合性のバックファイアを再現する(投票ギャップを -0.09 に減らし、CI [-0.12,-0.07])。 新たな投票法は提案されておらず、コードと証拠はコミットされ再現可能である。

関連論文リスト

• Symmetry-Aware Likelihood-Orbit Aggregation for Selective Left-Right Claim Verification [14.108900142001628]
  クローズド形式のコントラストであるRelation-Orbitを導入する。 VSRとGQAの4つの凍結された視覚言語モデルでは、Relation-Orbitは10%選択リスクキャリブレーションターゲットで平均テストカバレッジを高くする。
  論文  参考訳（メタデータ） (2026-09-15T11:19:03Z)
• Optimal Stratified Allocation for Rare-Event Onset Forecasting in Dependent Sequences [2.2632368327435732]
  我々は,K0とK1を2つの層に配置した設計の下で,サブサンプルKnから全体のリスクを推定する。 重み付きリスク推定器の厳密な有限個体群分散をクラス条件によるサンプリングで導出する。
  論文  参考訳（メタデータ） (2026-09-03T19:38:01Z)
• When Many Answers Are Valid, Voting Fails: Symbolic Verification for Best-of-K Causal Reasoning in LLMs [42.32694162421078]
  CALVERは、パールの因果基準に対して構造化されたトレースをスコアする訓練不要なシンボル検証器である。 CALVERは、複数のグラフ正解を許容するCLEAR検索1価クエリにおいて、報酬モデル、LLM審査員、モデルの信頼性が30%近く残っている42.1%に達する。
  論文  参考訳（メタデータ） (2026-08-04T11:45:46Z)
• UpliftBench: Revealing Outcome-Regime and Objective Mismatch in Uplift Evaluation [0.0]
  UpliftBenchは、外部テストで分離された多目的プロトコルの下で、12のアップリフト推定器を評価する。 この意見の相違は、モデルではなくメトリクスに関するものだと示しています。
  論文  参考訳（メタデータ） (2026-08-02T00:51:44Z)
• Knowledge before Reasoning: EC-Reason-Bench, a Training-Free Diagnostic Benchmark for LLM Enzyme Classification [36.44850004100564]
  本稿では,EC-Reason-Benchを提案する。 第一に、外部知識は決定的であり、推論に先立っていなければならない。 第二に、クローズドブックの設定では、カスケードやチェーン・オブ・シンクが役に立つか傷つくかは、モデルが控える傾向に依存する。
  論文  参考訳（メタデータ） (2026-07-29T02:16:09Z)
• K-ABENA: K-Adaptive Backpropagation with Error-based N-exclusion Algorithm : (Compensated Loss-Based Sample Exclusion with Unbiased Gradient Estimation) [0.0]
  K-ABENAK-Adaptive Backpropagation with Error-based N-exclusionは選択的な計算フレームワークである。 これは、少量の低損失("ミニ")観測を除外することで、イット当たりの計算トレーニングコストを削減する。 ラベル制限下で0.386の精度(ベースライン:0.832)、極端な不均衡下で0.53のAUCに崩壊する。
  論文  参考訳（メタデータ） (2026-07-07T06:58:51Z)
• Jury Duty: Calibration and Orientation Failures in MLLM-as-a-Judge Under Cultural Ambiguity [43.23157850664282]
  VOIR DIREは、米国と中国本土にまたがる、626の文化的にペアリングされたイメージプロンプトアーティファクトのマルチモーダルベンチマークである。 6つのMLLMにまたがって、バイアスは2つの障害に分解される。 本稿では,各参照プールに対して個別にアライメントを報告することを推奨する。
  論文  参考訳（メタデータ） (2026-06-12T15:53:40Z)
• Let the Results Speak: A Replication-First Paradigm for LLM Behavioral Benchmarking [22.825786049667602]
  本稿では,1つのヒト・ラタのコンセンサスに有効性を確保するために,複製第一パラダイムを提案する。 楽器を4つの特性で認証する - Kランの信頼性、アーキテクチャ的に異なる審査員間のクロスインストラクトレプリケーション、以前のトレーニングコホートからの審査員による歴史的フットプリントキャリブレーション、事前登録された予測。 本研究は, 自己発達型データ駆動による情緒的伴奏で, 次元は事前に決められず, 手順は9次元に安定化する。
  論文  参考訳（メタデータ） (2026-05-27T03:41:11Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Pause and Reflect: Conformal Aggregation for Chain-of-Thought Reasoning [8.024041325202612]
  自己整合性を考慮した思考の連鎖(CoT)推論は、複数のサンプル推論パスを集約することで性能を向上させる。 集約不確実性に直接対処するCoT推論のコンフォメーション手順を導入する。 提案手法は,多数決を推理経路よりも重み付けしたスコアアグリゲーションに置き換え,共形リスク制御を用いた棄権規則を校正する。
  論文  参考訳（メタデータ） (2026-05-13T20:33:59Z)
• The Verification Tax: Fundamental Limits of AI Auditing in the Rare-Error Regime [0.0]
  最も引用されているキャリブレーションの結果は、CIFAR-100上での温度スケーリング後のECEの0.012は、統計的ノイズフロアより下である。 モデル誤差率のエプシロンによるキャリブレーション誤差を推定するミニマックスレートは Theta((Lepsilon/m)2/3) であり、推定器が打ち負かせない。
  論文  参考訳（メタデータ） (2026-04-14T16:48:24Z)
• Learning from Emptiness: De-biasing Listwise Rerankers with Content-Agnostic Probability Calibration [76.08899010904652]
  CapCalは、ランキング決定から位置バイアスを機械的に分離する、トレーニング不要のフレームワークである。 シングルパス効率を保ちながら、トレーニング不要の手法で優れた性能を発揮する。
  論文  参考訳（メタデータ） (2026-04-11T10:47:22Z)
• How Independent are Large Language Models? A Statistical Framework for Auditing Behavioral Entanglement and Reweighting Verifier Ensembles [46.63622714488747]
  共有事前学習データ、蒸留、アライメントパイプラインは、隠れた振る舞い依存、潜伏絡みを誘導することができる。 実際には、これは相関した推論パターンと同期された障害として現れます。 ブラックボックス言語モデル間の行動絡みを監査するための統計的枠組みを開発する。
  論文  参考訳（メタデータ） (2026-04-08T23:32:06Z)
• From Calibration to Refinement: Seeking Certainty via Probabilistic Evidence Propagation for Noisy-Label Person Re-Identification [40.73759251488672]
  既存のノイズロスのある人物Re-ID法は、ソフトマックス出力を用いた損失補正やサンプル選択方式に依存している。 本稿では,キャリブレーションからリファインメントへ伝播する確率的証拠を通じて確実性を求める2段階フレームワークであるCARE法を提案する。 精製段階では, クリーン試料とノイズ試料をより正確に識別できるエビデンス伝搬精製法(EPR)を設計する。
  論文  参考訳（メタデータ） (2026-02-26T15:50:15Z)
• From Noisy Traces to Stable Gradients: Bias-Variance Optimized Preference Optimization for Aligning Large Reasoning Models [90.45197506653341]
  大規模推論モデルは最終回答を生成する前に中間的推論トレースを生成する。 LRMと人間の好みの整合性は、モデルデプロイメントにとって重要な前提条件であり、まだ過小評価されていない。 共通の回避策は1つのサンプル軌道を最適化し、トレースサンプリングからかなり勾配のばらつきをもたらす。
  論文  参考訳（メタデータ） (2025-10-06T17:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。