論文の概要: Intuition emerges in Maximum Caliber models at criticality
- arxiv url: http://arxiv.org/abs/2508.06477v1
- Date: Fri, 08 Aug 2025 17:27:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-11 20:39:06.323654
- Title: Intuition emerges in Maximum Caliber models at criticality
- Title（参考訳）: 臨界における最大カリバーモデルにおける直観の出現
- Authors: Lluís Arola-Fernández,
- Abstract要約: 直観は学習のメタスタブルなフェーズとして現れ、将来の経路エントロピーに対する次のトーケン予測を批判的にバランスさせる。
この研究は、学習のメタスタブルなフェーズとして出現する原始的な直観を報告し、将来の経路エントロピーに対する次のトーケン予測を批判的にバランスさせる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Whether large predictive models merely parrot their training data or produce genuine insight lacks a physical explanation. This work reports a primitive form of intuition that emerges as a metastable phase of learning that critically balances next-token prediction against future path-entropy. The intuition mechanism is discovered via mind-tuning, the minimal principle that imposes Maximum Caliber in predictive models with a control temperature-like parameter $\lambda$. Training on random walks in deterministic mazes reveals a rich phase diagram: imitation (low $\lambda$), rule-breaking hallucination (high $\lambda$), and a fragile in-between window exhibiting strong protocol-dependence (hysteresis) and multistability, where models spontaneously discover novel goal-directed strategies. These results are captured by an effective low-dimensional theory and frame intuition as an emergent property at the critical balance between memorizing what is and wondering what could be.
- Abstract（参考訳）: 大きな予測モデルが単にトレーニングデータをパーローするか、真の洞察を生み出すかは、物理的な説明を欠いている。
この研究は、学習のメタスタブルなフェーズとして出現する原始的な直観を報告し、将来の経路エントロピーに対する次のトーケン予測を批判的にバランスさせる。
直観のメカニズムはマインドチューニング(英語版)によって発見され、最大カリバーを制御温度様パラメータ$\lambda$の予測モデルに課す最小原理である。
模倣(low $\lambda$)、ルール破りの幻覚(high $\lambda$)、強力なプロトコル依存性(ヒステリシス)とマルチスタビリティを示す脆弱なin-betweenウィンドウ。
これらの結果は、実効的な低次元理論とフレーム直観によって、何が何であるかを記憶し、何ができるかを疑問視する臨界バランスにおける創発的特性として捉えられる。
関連論文リスト
- Next-Token Prediction Should be Ambiguity-Sensitive: A Meta-Learning Perspective [12.655285605773932]
我々は,トランスフォーマーがモデルサイズ全体にわたって高いあいまいさの予測に苦慮していることを示す。
予備的な結果は、キャパシティアロケーションの改善とテストタイムのスケーラブルな推論を通じて、あいまいな文脈でかなりの増加を示す。
論文 参考訳（メタデータ） (2025-06-19T13:05:12Z) - A Probabilistic Perspective on Model Collapse [9.087950471621653]
本研究の目的は,モデル崩壊の発生条件と,その緩和方法である。
軽度条件下では,モデルの崩壊を防止するために,各トレーニングステップにおけるサンプルサイズを徐々に増加させる必要があることを厳格に示す。
また, 合成データを用いた学習が, 実データのみを用いた学習よりも優れるモデルを生み出す可能性についても検討した。
論文 参考訳（メタデータ） (2025-05-20T05:25:29Z) - I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。
本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
論文 参考訳（メタデータ） (2025-03-12T01:21:17Z) - Causal Estimation of Memorisation Profiles [58.20086589761273]
言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。
覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。
本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
論文 参考訳（メタデータ） (2024-06-06T17:59:09Z) - Neural Superstatistics for Bayesian Estimation of Dynamic Cognitive
Models [2.7391842773173334]
我々は,時間変化パラメータと時間不変パラメータの両方を復元できるベイズ推論のシミュレーションに基づくディープラーニング手法を開発した。
この結果から,ディープラーニングアプローチは時間的ダイナミクスを捉える上で極めて効率的であることが示唆された。
論文 参考訳（メタデータ） (2022-11-23T17:42:53Z) - Learning Theory of Mind via Dynamic Traits Attribution [59.9781556714202]
本稿では,過去のトラジェクトリからアクターの潜在特性ベクトルを生成するニューラルToMアーキテクチャを提案する。
この特性ベクトルは、予測ニューラルネットワークの高速重み付けスキームを介して予測機構を乗法的に変調する。
実験により,高速重量はエージェントの特性をモデル化し,マインドリーディング能力を向上させるために優れた誘導バイアスを与えることが示された。
論文 参考訳（メタデータ） (2022-04-17T11:21:18Z) - Provable Benefits of Overparameterization in Model Compression: From
Double Descent to Pruning Neural Networks [38.153825455980645]
最近の実証的な証拠は、オーバライゼーションの実践が大きなモデルのトレーニングに利益をもたらすだけでなく、軽量モデルの構築を支援することも示している。
本稿では,モデル刈り込みの高次元ツールセットを理論的に特徴付けることにより,これらの経験的発見に光を当てる。
もっとも情報に富む特徴の位置が分かっていても、我々は大きなモデルに適合し、刈り取るのがよい体制を解析的に特定する。
論文 参考訳（メタデータ） (2020-12-16T05:13:30Z) - Generative Temporal Difference Learning for Infinite-Horizon Prediction [101.59882753763888]
我々は、無限確率的地平線を持つ環境力学の予測モデルである$gamma$-modelを導入する。
トレーニングタイムとテストタイムの複合的なエラーの間には、そのトレーニングが避けられないトレードオフを反映しているかについて議論する。
論文 参考訳（メタデータ） (2020-10-27T17:54:12Z) - Value-driven Hindsight Modelling [68.658900923595]
値推定は強化学習(RL)パラダイムの重要な構成要素である。
モデル学習は、観測系列に存在する豊富な遷移構造を利用することができるが、このアプローチは通常、報酬関数に敏感ではない。
この2つの極点の間に位置するRLにおける表現学習のアプローチを開発する。
これにより、タスクに直接関連し、値関数の学習を加速できる、抽出可能な予測ターゲットが提供される。
論文 参考訳（メタデータ） (2020-02-19T18:10:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。