論文の概要: Not All Test-Time Compute Is Evidence: Model-Specific Bias in LLM Reasoning

• arxiv url: http://arxiv.org/abs/2610.23213v1
• Date: Fri, 16 Oct 2026 09:48:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.85796
• Title: Not All Test-Time Compute Is Evidence: Model-Specific Bias in LLM Reasoning
• Title（参考訳）: LLM推論におけるモデル特異的バイアス
• Abstract要約: 誤差は、繰り返しサンプル、推論深度、およびモデル自身の自己評価において相関していることを示す。 本稿では,中間段階と最終段階の予測の相違を推論不安定性の問合せ信号として扱うDIAを紹介する。
• 参考スコア（独自算出の注目度）: 4.223010731824652
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test-time scaling methods implicitly assume that additional computation from the same model provides independent evidence. We show that this assumption fails within a single reasoning model: errors are correlated across repeated samples, across reasoning depth, and in the model's own self-evaluation, so more compute from the same model is not more evidence. We introduce DIA (Disagreement-triggered Independent Arbitration), which treats disagreement between an intermediate-stage and the final-stage prediction as a per-question signal of reasoning instability and resolves it by asking a small panel of heterogeneous models to solve the question independently, without seeing either candidate, and aggregating their answers directly. Across seven benchmarks and two base models, DIA outperforms full chain-of-thought in 12 of 14 settings, including a 7.00% gain on MuSiQue, while activating on only $\sim 17\%$ of examples and using up to 47.2% fewer tokens than a multi-agent baseline. Ablations show that both independent solving and solver heterogeneity are necessary for these gains.
• Abstract（参考訳）: テストタイムスケーリング手法は、同じモデルから追加の計算が独立した証拠をもたらすことを暗黙的に仮定する。 この仮定は1つの推論モデル内で失敗することを示す: 繰り返しサンプル間でエラーが相関し、推論深度を越えて、モデル自身の自己評価において、同じモデルからのより多くの計算は、より証拠ではない。 本稿では,中間段階と最終段階の予測の不一致を推論不安定性の問合せ信号として扱うDIA(Disagreement-Triggered Independent Arbitration)を導入する。 7つのベンチマークと2つのベースモデルでDIAは、MuSiQueの7.00%のゲインを含む14のセッティングのうち、完全なチェーン・オブ・シークレットを上回り、サンプルの$\sim 17\%の価格でのみ動作し、マルチエージェントベースラインよりも47.2%少ないトークンを使用する。 アブレーションは、これらの利得には独立解法と解法の不均一性の両方が必要であることを示している。

関連論文リスト

• Instruction-Tuned Language Models Cannot Sample from Distributions They Can Describe [2.6646205080230536]
  シリコンサンプリングは、人間の調査回答者のプロキシとして言語モデルを使用する。 命令チューニングされたモデルは分布からサンプリングされず、単一の出力に崩壊する。 本稿では,Prompt-Perturbed Argyleを提案する。
  論文  参考訳（メタデータ） (2026-07-28T04:58:46Z)
• Disagreement-Based Cross-Model Routing for Implicit Video Question Answering [0.0]
  我々はImplicitQAベンチマークを用いて,複数選択のビデオ質問応答について検討した。 このベンチマークでは、単一のフロンティアビデオLLMが、その精度の天井付近ですでに動作している。 ラベルやトレーニングを必要とせず、純粋な推論時間である、不一致に基づくクロスモデルルーティングを提案する。
  論文  参考訳（メタデータ） (2026-05-31T05:56:27Z)
• Design and Evaluation of Multi-Agent AI Oracle Systems for Prediction Market Resolution [0.0]
  予測市場は、不確実な出来事を予測するために集合的なインテリジェンスを集約する。 既存のオラクルシステムは、高速だが不安定な自動化と、正確だがコストのかかる人間の仲裁とをトレードオフする。 マルチエージェントLLMアーキテクチャが単一モデルベースラインよりもオラクル分解能を向上できるかどうかを評価する。
  論文  参考訳（メタデータ） (2026-05-29T03:44:19Z)
• Dependence-Aware Label Aggregation for LLM-as-a-Judge via Ising Models [55.94503936470247]
  大規模なAI評価は、審査員を含む、$K$アノテータからのバイナリ判断を集約することにますます依存している。 ほとんどの古典的なメソッドは、アノテータが条件的に独立であると仮定するが、真のラベルは$Yin0,1$であり、この仮定は LLM の審査員によってしばしば違反される。 我々はIsingグラフィカルモデルと潜在因子に基づく依存認識モデルの階層構造を通してラベルアグリゲーションを研究する。
  論文  参考訳（メタデータ） (2026-01-29T21:26:50Z)
• Large Language Models Are Bad Dice Players: LLMs Struggle to Generate Random Numbers from Statistical Distributions [50.1404916337174]
  大規模言語モデル(LLM)における母国語の確率的サンプリングの大規模,統計的に活用された最初の監査について述べる。 バッチ生成は, ほぼ完全に崩壊する一方, 中央値のパスレートが13%であり, 統計的妥当性はわずかであることがわかった。 現在のLCMには機能的な内部サンプルが欠如しており、統計的保証を必要とするアプリケーションに外部ツールを使う必要があると結論付けている。
  論文  参考訳（メタデータ） (2026-01-08T22:33:12Z)
• Independence Tests for Language Models [47.0749292650885]
  2つのモデルの重みを考えると、独立してトレーニングされたかどうかテストできますか? 制約付きと制約なしの2つの設定を検討します。 本稿では,2つのモデル間の隠れアクティベーションに一致し,逆変換やモデルアーキテクチャの変更に対して堅牢な新しいテストを提案する。
  論文  参考訳（メタデータ） (2025-02-17T20:01:08Z)
• Rethinking LLM Uncertainty: A Multi-Agent Approach to Estimating Black-Box Model Uncertainty [47.95943057892318]
  ブラックボックスLSMの不確実性の定量化は、信頼性の高い応答とスケーラブルな監視に不可欠である。 本研究では,不確実性推定にマルチエージェント相互作用を用いた新しい理論的基礎手法であるDiverseAgentEntropyを紹介する。
  論文  参考訳（メタデータ） (2024-12-12T18:52:40Z)
• Self-Consistency of Large Language Models under Ambiguity [4.141513298907867]
  本研究は,不特定の場合の自己整合性評価ベンチマークを示す。 あいまいな整数列補完タスクを用いて,OpenAIモデルスイート上で一連の動作実験を行う。 平均一貫性は67%から82%の範囲であり、モデルの一貫性がランダムであれば予測されるよりもはるかに高い。
  論文  参考訳（メタデータ） (2023-10-20T11:57:56Z)
• Sharing pattern submodels for prediction with missing values [12.981974894538668]
  機械学習の多くのアプリケーションでは欠落値は避けられず、トレーニング中もテスト時にも課題が提示される。 パターンサブモデル(パターンサブモデル)と呼ばれる別の手法を提案する。これは、テスト時に欠落した値に対して、予測を堅牢にし、パターンサブモデルの予測力を維持または改善させる。
  論文  参考訳（メタデータ） (2022-06-22T15:09:40Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。