論文の概要: A Statistical Physics of Language Model Reasoning

• arxiv url: http://arxiv.org/abs/2506.04374v1
• Date: Wed, 04 Jun 2025 18:43:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.382001
• Title: A Statistical Physics of Language Model Reasoning
• Title（参考訳）: 言語モデル推論の統計的物理
• Authors: Jack David Carson, Amir Reisizadeh,
• Abstract要約: トランスフォーマーLMは機械的理解に抵抗する創発的推論を示す。 我々は、連続時間連鎖推論力学のための統計物理学の枠組みを提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer LMs show emergent reasoning that resists mechanistic understanding. We offer a statistical physics framework for continuous-time chain-of-thought reasoning dynamics. We model sentence-level hidden state trajectories as a stochastic dynamical system on a lower-dimensional manifold. This drift-diffusion system uses latent regime switching to capture diverse reasoning phases, including misaligned states or failures. Empirical trajectories (8 models, 7 benchmarks) show a rank-40 projection (balancing variance capture and feasibility) explains ~50% variance. We find four latent reasoning regimes. An SLDS model is formulated and validated to capture these features. The framework enables low-cost reasoning simulation, offering tools to study and predict critical transitions like misaligned states or other LM failures.
• Abstract（参考訳）: トランスフォーマーLMは機械的理解に抵抗する創発的推論を示す。 我々は、連続時間連鎖推論力学のための統計物理学の枠組みを提供する。 低次元多様体上の確率力学系として文レベルの隠れ状態軌跡をモデル化する。 このドリフト拡散システムは、不整合状態や障害を含む様々な推論フェーズを捉えるために、潜時状態切替を使用する。 経験的軌跡(8モデル、7ベンチマーク)では、階数40の射影(分散キャプチャと実現可能性のバランス)が約50%の分散を説明できる。 原因は4つある。 SLDSモデルはこれらの特徴を捉えるために定式化され、検証される。 このフレームワークは、低コストの推論シミュレーションを可能にし、不整合状態や他のLM障害などの重要なトランジションを調査、予測するためのツールを提供する。

関連論文リスト

• STGDPM:Vessel Trajectory Prediction with Spatio-Temporal Graph Diffusion Probabilistic Model [0.0]
  船舶軌道予測は、海上交通の安全を確保し、衝突を避けるために重要な要素である。 船舶の挙動に固有の不確実性があるため、軌道予測システムは将来的な運動状態を正確にモデル化するためのマルチモーダルなアプローチを採用する必要がある。 本稿では, 容器の状態に依存する従来の集約型手法を置き換え, 動的グラフとしての相互作用のモデル化を提案する。
  論文  参考訳（メタデータ） (2025-03-11T05:50:27Z)
• A Stochastic Dynamical Theory of LLM Self-Adversariality: Modeling Severity Drift as a Critical Process [0.0]
  本稿では,大規模言語モデル(LLM)が自身のチェーン・オブ・シント推論を通じて,潜伏バイアスや毒性を自己増幅する方法を理解するための連続時間動的フレームワークを提案する。 このモデルは、微分方程式(SDE)の下で進化し、ドリフト項 $mu(x)$ と拡散 $sigma(x)$ の即時「重大」変数 $x(t) を仮定する。
  論文  参考訳（メタデータ） (2025-01-28T08:08:25Z)
• Stochastic Latent Transformer: Efficient Modelling of Stochastically Forced Zonal Jets [0.0]
  本稿では,SLT(Stochastic Latent Transformer)という新しい確率論的学習手法を提案する。 SLTは、様々な統合期間にわたってシステムダイナミクスを正確に再現し、定量的診断を通じて検証する。 水平平均流をエミュレートする際の5次のマグニチュードスピードアップを実現する。
  論文  参考訳（メタデータ） (2023-10-25T16:17:00Z)
• Latent State Models of Training Dynamics [51.88132043461152]
  異なるランダムなシードでモデルをトレーニングし、トレーニングを通じてさまざまなメトリクスを計算します。 次に、結果のメトリクス列に隠れマルコフモデル(HMM)を適合させる。 我々はHMM表現を用いて相転移を研究し、収束を遅くする潜伏状態(detour state)を特定する。
  論文  参考訳（メタデータ） (2023-08-18T13:20:08Z)
• Model-based Validation as Probabilistic Inference [37.61747231296097]
  障害に対する分散を推定することは、自律システムを検証するための重要なステップである。 逐次システムの故障軌道上の分布をベイズ推定として推定する。 本手法は, 逆振子制御システム, 自律走行シナリオ, 部分的に観測可能な月面着陸機で実証された。
  論文  参考訳（メタデータ） (2023-05-17T03:27:36Z)
• Logical Satisfiability of Counterfactuals for Faithful Explanations in NLI [60.142926537264714]
  本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。 これは、説明に表される論理述語に基づいて、反実仮説を生成する。 そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
  論文  参考訳（メタデータ） (2022-05-25T03:40:59Z)
• Stochastic Trajectory Prediction via Motion Indeterminacy Diffusion [88.45326906116165]
  運動不確定性拡散(MID)の逆過程として軌道予測タスクを定式化する新しい枠組みを提案する。 我々は,履歴行動情報と社会的相互作用を状態埋め込みとしてエンコードし,トランジトリの時間的依存性を捉えるためにトランスフォーマーに基づく拡散モデルを考案する。 スタンフォード・ドローンやETH/UCYデータセットなど,人間の軌道予測ベンチマーク実験により,本手法の優位性を実証した。
  論文  参考訳（メタデータ） (2022-03-25T16:59:08Z)
• Likelihood-Free Inference in State-Space Models with Unknown Dynamics [71.94716503075645]
  本研究では、状態空間モデルにおいて、観測をシミュレートすることしかできず、遷移ダイナミクスが不明な潜在状態の推測と予測を行う手法を提案する。 本研究では,限られた数のシミュレーションで状態予測と状態予測を行う手法を提案する。
  論文  参考訳（メタデータ） (2021-11-02T12:33:42Z)
• Discrete Denoising Flows [87.44537620217673]
  分類的確率変数に対する離散的フローベースモデル(DDF)を提案する。 他の離散フローベースモデルとは対照的に、我々のモデルは勾配バイアスを導入することなく局所的に訓練することができる。 そこで本研究では, DDFs が離散フローより優れていることを示し, 対数類似度で測定した2値MNIST と Cityscapes のセグメンテーションマップをモデル化した。
  論文  参考訳（メタデータ） (2021-07-24T14:47:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。