論文の概要: The α-Law of Observable Belief Revision in Large Language Model Inference

• arxiv url: http://arxiv.org/abs/2603.19262v1
• Date: Thu, 26 Feb 2026 20:52:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 02:36:12.801267
• Title: The α-Law of Observable Belief Revision in Large Language Model Inference
• Title（参考訳）: 大規模言語モデル推論における可観測的信念のα-Law
• Authors: Mike Farmer, Abhinav Kochar, Yugyung Lee,
• Abstract要約: 大規模言語モデルは、連鎖推論のようなメカニズムを通じて出力を反復的に修正する。 我々は,命令学習者が確率割当をどう修正するかを規定する一貫した乗法則を定式化する。
• 参考スコア（独自算出の注目度）: 1.3543952438735405
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) that iteratively revise their outputs through mechanisms such as chain-of-thought reasoning, self-reflection, or multi-agent debate lack principled guarantees regarding the stability of their probability updates. We identify a consistent multiplicative scaling law that governs how instruction-tuned LLMs revise probability assignments over candidate answers, expressed as a belief revision exponent that controls how prior beliefs and verification evidence are combined during updates. We show theoretically that values of the exponent below one are necessary and sufficient for asymptotic stability under repeated revision. Empirical evaluation across 4,975 problems spanning graduate-level benchmarks (GPQA Diamond, TheoremQA, MMLU-Pro, and ARC-Challenge) and multiple model families (GPT-5.2 and Claude Sonnet 4) reveals near-Bayesian update behavior, with models operating slightly above the stability boundary in single-step revisions. However, multi-step experiments demonstrate that the exponent decreases over successive revisions, producing contractive long-run dynamics consistent with theoretical stability predictions. Token-level validation using Llama-3.3-70B further confirms similar behavior across both log-probability measurements and self-reported confidence elicitation. Analysis of update components exposes architecture-specific trust-ratio patterns, with GPT-5.2 showing balanced weighting between prior and evidence, while Claude modestly favors new evidence. This work characterizes observable inference-time update behavior rather than internal Bayesian reasoning, and introduces the α-law as a principled diagnostic for monitoring update stability and reasoning quality in LLM inference systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、連鎖推論、自己回帰、マルチエージェントの議論といったメカニズムを通じて、その出力を反復的に更新するが、確率更新の安定性に関する原則的な保証は欠如している。 提案法は,事前の信念と検証証拠が更新中にどのように組み合わされるかを制御する信念修正指数として表現され,命令調整型LLMが候補解に対する確率割当をどう修正するかを規定する一貫した乗法則を定めている。 理論的には、1以下の指数の値は、反復的な修正の下での漸近安定性に十分必要であり、十分であることを示す。 大学院レベルのベンチマーク(GPQA Diamond, TheoremQA, MMLU-Pro, ARC-Challenge)と複数のモデルファミリ(GPT-5.2とClaude Sonnet 4)にまたがる4,975問題に対する実証的な評価は、一段階の修正で安定性境界より少し高いモデルでベイズに近い更新挙動を示す。 しかし、複数段階の実験では、指数が連続するリビジョンよりも減少し、理論的安定性の予測と整合した収縮長周期のダイナミクスが生じることが示されている。 Llama-3.3-70Bを用いたトークンレベルの検証は、ログ確率測定と自己報告された信頼度推論の両方で、同様の挙動を確認する。 アップデートコンポーネントの分析はアーキテクチャ固有の信頼比率パターンを公開し、GPT-5.2は事前と証拠の間にバランスの取れた重み付けを示し、クロードは新しい証拠を控えめに支持している。 本研究は、内部ベイズ推論よりも観測可能な推定時更新挙動を特徴付け、LLM推論システムにおける更新安定性と推論品質を監視するための原則的診断法としてα-lawを導入する。

関連論文リスト

• VI-CuRL: Stabilizing Verifier-Independent RL Reasoning via Confidence-Guided Variance Reduction [55.04308051033549]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、LLM(Large Language Models)推論を向上するための主要なパラダイムとして登場した。 モデル固有の信頼性を活用して外部検証から独立したカリキュラムを構築するフレームワークであるVerifier-Independent Curriculum Reinforcement Learning (VI-CuRL)を紹介する。
  論文  参考訳（メタデータ） (2026-02-13T03:40:52Z)
• Reliable Explanations or Random Noise? A Reliability Metric for XAI [6.948460965107209]
  本研究では、4つの信頼性公理の下で説明安定性を定量化する指標である説明信頼性指数(ERI)を紹介する。 ERIは、説明信頼性の原則的評価を可能にし、より信頼できるAI(XAI)システムをサポートする。
  論文  参考訳（メタデータ） (2026-02-04T22:04:07Z)
• Pushing the Boundaries of Natural Reasoning: Interleaved Bonus from Formal-Logic Verification [49.506412445511934]
  大きな言語モデル(LLM)は目覚ましい能力を示すが、その次は論理的不整合と報奨ハックを生み出す。 本稿では,自然言語生成プロセスと形式的記号的検証を動的にインターリーブする形式論理検証誘導フレームワークを提案する。 我々はこのフレームワークを,形式論理検証誘導制御による微調整とポリシー最適化の相乗効果を生かした,新しい2段階のトレーニングパイプラインを通じて運用する。
  論文  参考訳（メタデータ） (2026-01-30T07:01:25Z)
• Mitigating LLM Hallucination via Behaviorally Calibrated Reinforcement Learning [32.32593439144886]
  振舞い校正された強化学習により、小さなモデルは不確実な定量化においてフロンティアモデルを超えることができる。 当社のモデルでは,GPT-5の0.207を超える精度向上率(0.806)を挑戦的なドメイン内評価において達成している。
  論文  参考訳（メタデータ） (2025-12-22T22:51:48Z)
• Reasoning Relay: Evaluating Stability and Interchangeability of Large Language Models in Mathematical Reasoning [8.01259760303241]
  部分的に完了した推論連鎖が他のモデルによって確実に継続できるかどうかを検討する。 トークンレベルのログ確率しきい値を使用して、ベースラインモデルから推論を早期、中、後期に切り離します。 我々の研究は、推論モデルの新たな行動特性としてのインターチェンジビリティを示唆している。
  論文  参考訳（メタデータ） (2025-12-16T02:56:44Z)
• Efficient Thought Space Exploration through Strategic Intervention [54.35208611253168]
  本稿では,この知見を2つの相乗的コンポーネントを通して操作するHint-Practice Reasoning(HPR)フレームワークを提案する。 フレームワークの中核となる革新は、動的に介入点を識別する分散不整合低減(DIR)である。 算術的および常識的推論ベンチマークによる実験は、HPRの最先端の効率-精度トレードオフを実証している。
  論文  参考訳（メタデータ） (2025-11-13T07:26:01Z)
• MaP: A Unified Framework for Reliable Evaluation of Pre-training Dynamics [72.00014675808228]
  大規模言語モデルの不安定性評価プロセスは、真の学習力学を曖昧にする。 textbfMaPは、アンダーラインMergingアンダーラインとアンダーラインPass@kメトリックを統合するフレームワークです。 実験により、MaPはよりスムーズな性能曲線を示し、ラン間分散を低減し、より一貫性のあるランキングを保証する。
  論文  参考訳（メタデータ） (2025-10-10T11:40:27Z)
• Faithful and Interpretable Explanations for Complex Ensemble Time Series Forecasts using Surrogate Models and Forecastability Analysis [1.5751034894694789]
  本稿では,精度と解釈可能性のギャップを埋めるサロゲートに基づく説明手法を開発する。 スペクトル予測可能性分析を統合し,各系列固有の予測可能性の定量化を行う。 結果として得られるフレームワークは、最先端のアンサンブル予測に対する解釈可能なインスタンスレベルの説明を提供する。
  論文  参考訳（メタデータ） (2025-10-09T18:49:45Z)
• Reasoning Models Are More Easily Gaslighted Than You Think [85.84943447589511]
  我々はOpenAIのo4-mini、Claude-3.7-Sonnet、Gemini-2.5-Flashの3つの最先端推論モデルを評価する。 ガス灯消火プロンプトによる精度低下が認められた。 GaslightingBench-Rは、推論モデルの認識可能性を評価するために設計された新しい診断ベンチマークである。
  論文  参考訳（メタデータ） (2025-06-11T12:52:25Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。