論文の概要: Free Energy Heuristics: Fast-And-Frugal Cognition as Active Inference Under Uncertain Precision
- arxiv url: http://arxiv.org/abs/2606.15877v1
- Date: Sun, 14 Jun 2026 16:04:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:33.914942
- Title: Free Energy Heuristics: Fast-And-Frugal Cognition as Active Inference Under Uncertain Precision
- Title(参考訳): 自由エネルギーヒューリスティックス:不確実な精度下でのアクティブ推論としての高速・フルーガル認知
- Abstract要約: CoT(Chain-of-Thought)は、数学と記号的推論における大きな言語モデルの性能を改善する。
しかし、計画、倫理問題、モデルが自身をチェックできないタスクについて、さらなる推論は事態を悪化させます。
これはメタ不確実性(メタ不確実性)である、と我々は主張する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Chain-of-thought (CoT) improves large language models' performance in math and symbolic reasoning. But on planning, contested ethics, and tasks where the model cannot check itself, more reasoning makes things worse. Both effects are documented; what has been missing is a principled account of which property decides the outcome. We argue it is meta-uncertainty: how unsure the model is about the reliability of its own evidence. When that uncertainty is high, extra reasoning stops adding signal and starts manufacturing false confidence. We prove that the policy minimizing expected free energy under uncertain precision stops integrating cues after a finite number of high-validity ones when the precision prior is heavy-tailed (Theorem 2.6.1), and under a Descending Dominance condition, is sample-wise identical to take-the-best (Theorem 2.7.4). Fast-and-frugal heuristics and active inference are, then, two descriptions of the same computation. The prediction is that on high-meta-uncertainty items, longer CoT should degrade accuracy. We score the regime per item (simulate-and-recover rho > 0.96), build FEH-79, a benchmark of Knightian frames with matched controls, and run a pre-registered study across seven models (five open-weight 3B-32B, two frontier), five CoT lengths, and 7,875 responses. The gate, fixed before any data, required a negative interaction with posterior probability above 0.95 and an accuracy drop of more than 6 points. It held. The high-regime drop is 17.3 points (95% CI [7.7, 25.5]); matched items with definite answers show no cost. The effect is regime-dependent: decisive in capable mid-to-large models, directional in the two frontier systems, absent-to-reversed in the weakest. The framework answers when CoT helps and unifies the Bayesian and fast-and-frugal traditions: less-is-more effects are evidence about the meta-uncertainty regime, not against Bayesian cognition.
- Abstract(参考訳): CoT(Chain-of-Thought)は、数学と記号的推論における大きな言語モデルの性能を改善する。
しかし、計画、倫理問題、モデルが自身をチェックできないタスクについて、さらなる推論は事態を悪化させます。
どちらの効果も文書化されており、欠けているのは、どの特性が結果を決定するかという原則的な説明である。
これはメタ不確実性(メタ不確実性)である、と我々は主張する。
その不確実性が高ければ、余分な推論は信号の追加を中止し、偽の自信を作り始める。
不確実な精度で期待される自由エネルギーを最小化する政策は、精度前の精度を重くする(Theorem 2.6.1)とき、有限個の高原子価エネルギーの後にキューを統合するのをやめること(Theorem 2.7.4)、そしてデセッション・ドミナンス条件の下では、サンプル的にテイク・ザ・ベストと同一である(Theorem 2.7.4)。
高速かつフルーガルなヒューリスティックスとアクティブな推論は、同じ計算の2つの記述である。
予測では、高い不確かさの項目では、CoTが長くなると精度が低下する。
我々は、アイテムあたりのレジーム(simulate-and-recover rho > 0.96)をスコアし、一致したコントロールを備えたナイトフレームのベンチマークであるFEH-79を構築し、7つのモデル(5つのオープンウェイト3B-32B、2つのフロンティア、5つのCoT長、7,875応答)で事前登録した研究を実行する。
ゲートはデータの前に固定され、0.95以上の後続確率と負の相互作用が必要であり、精度は6ポイント以上低下した。
開催。
高レジムのドロップは17.3ポイント(95% CI [7.7, 25.5])で、明確な答えの一致したアイテムはコストを示さない。
この効果は政権に依存しており、能力のある中~大規模モデルでは決定的であり、2つのフロンティアシステムでは方向が決定的であり、最も弱い場合は逆転しない。
この枠組みは、CoTがベイジアンとファスト・アンド・フルガルの伝統を援助し統一するときに答える: より少ない効果は、ベイジアン認知に対してではなく、メタ不確実性体制に関する証拠である。
関連論文リスト
- Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。
共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。
このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
論文 参考訳(メタデータ) (2026-08-08T13:22:14Z) - Can We Trust LLM's Logic? Quantifying Uncertainty, Coherence, and Robustness via a Graph-Based Framework [0.6743011393792991]
GraphEVAL はグラフベースの推論フレームワークであり、不確実性定量化(UQ)を全体論的推論忠実性問題として再編成する。
推論空間の意味的構造的コンセンサスを定量化する新しいUQ測度であるグラフ推論コヒーレンススコア(GRCS)を提案する。
また,グラフ自己整合性 (GSC) も導入した。
論文 参考訳(メタデータ) (2026-07-09T00:45:26Z) - Unveiling the Entropy Dynamics of Chain-of-Thought Reasoning [81.57028614960576]
1)信頼性の高い -- 信頼性の高い -- 信頼性の高い領域での回答は高度に正確で安定したものになり、2)高冗長性 -- モデルは正しい回答に達した後ずっと経ってから不必要なトークンを生成する。
これらの特性はより効率的で信頼性の高い推論戦略を解き放つ。
論文 参考訳(メタデータ) (2026-06-01T10:11:14Z) - Understanding and Mitigating Premature Confidence for Better LLM Reasoning [76.16007941549857]
現在の言語モデルからの思考の長い連鎖(CoT)は、しばしば論理的ギャップと不正な跳躍を含んでいる。
このような信号は、モデルの信頼性が推論中にどのように進化するかを示す。
これは、モデルを早期にコミットするのではなく、理由によってモデルの信頼性を更新するように訓練する強化学習の目標です。
論文 参考訳(メタデータ) (2026-05-23T04:42:45Z) - Three Regimes of Context-Parametric Conflict: A Predictive Framework and Empirical Validation [0.0]
大規模言語モデルが学習知識と矛盾する文書の相違にどのように対処するかを考察する。
本稿では,Regime 1 (単一ソース更新),Regime 2 (競合統合),Regime 3 (タスクに適した選択)という3つの登録フレームワークを提案する。
我々はClaude Sonnet 4.6、GPT-5.5、Gemini 2.5 Flash、Llama 4 Maverick、DeepSeek V3の3つの実験段階で9,970のAPIコールを使用してフレームワークを検証する。
論文 参考訳(メタデータ) (2026-05-12T06:00:48Z) - RFEval: Benchmarking Reasoning Faithfulness under Counterfactual Reasoning Intervention in Large Reasoning Models [5.733004743054914]
大規模な推論モデル(LRM)は、強い性能を示すが、しばしば妥当に聞こえるが、真の決定過程を反映しない合理性を生み出す。
2つのテスト可能な条件で定義された忠実性を推論するための公式な枠組みを導入する。
RFEvalは、7,186インスタンスのベンチマークであり、制御された出力レベルの対実的介入を通じて忠実さを調査する。
論文 参考訳(メタデータ) (2026-02-19T03:49:37Z) - Robust Fine-tuning of Zero-shot Models via Variance Reduction [56.360865951192324]
微調整ゼロショットモデルの場合、このデシドラトゥムは細調整モデルで、分布内(ID)と分布外(OOD)の両方で優れる。
トレードオフを伴わずに最適なIDとOODの精度を同時に達成できるサンプルワイズアンサンブル手法を提案する。
論文 参考訳(メタデータ) (2024-11-11T13:13:39Z) - Faithful Chain-of-Thought Reasoning [51.21714389639417]
CoT(Chain-of-Thought)は言語モデル(LM)のパフォーマンスを様々な推論タスクで向上させる。
翻訳と問題解決という2つの段階を含む推論フレームワークであるFithful CoTを提案する。
このことは、推論連鎖が最終回答の忠実な説明を提供することを保証している。
論文 参考訳(メタデータ) (2023-01-31T03:04:26Z) - Causal Expectation-Maximisation [70.45873402967297]
ポリツリーグラフを特徴とするモデルにおいても因果推論はNPハードであることを示す。
我々は因果EMアルゴリズムを導入し、分類的表現変数のデータから潜伏変数の不確かさを再構築する。
我々は、反事実境界が構造方程式の知識なしにしばしば計算できるというトレンドのアイデアには、目立たずの制限があるように思える。
論文 参考訳(メタデータ) (2020-11-04T10:25:13Z) - PRover: Proof Generation for Interpretable Reasoning over Rules [81.40404921232192]
本稿では,ルールベース上の二項質問に応答し,対応する証明を生成するトランスフォーマーモデルを提案する。
本モデルは,効率的な制約付き学習パラダイムを用いて,証明グラフに対応するノードやエッジを予測できることを学習する。
我々は、QAと証明生成のための有望な結果を示すために、合成、手書き、人文による規則ベースの実験を行う。
論文 参考訳(メタデータ) (2020-10-06T15:47:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。