論文の概要: Architectural Proprioception in State Space Models: Thermodynamic Training Induces Anticipatory Halt Detection

• arxiv url: http://arxiv.org/abs/2603.04180v1
• Date: Wed, 04 Mar 2026 15:36:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-05 21:29:15.374792
• Title: Architectural Proprioception in State Space Models: Thermodynamic Training Induces Anticipatory Halt Detection
• Title（参考訳）: 状態空間モデルにおける建築的先入観:熱力学トレーニングによる予測ハルト検出
• Authors: Jay Noon,
• Abstract要約: 本稿では,熱力学の原理によって支配される確率多様体による計算をナビゲーションとして扱う確率ナビゲーションアーキテクチャ(PNA)を紹介する。 我々は、標準的なクロスエントロピーと共に計算廃棄物をペナルティ化する新しい熱力学的損失関数で、ステートスペースモデル(SSM)とトランスフォーマーを訓練する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce the Probability Navigation Architecture (PNA) framework, which treats neural computation as navigation through a probability manifold governed by thermodynamic principles. We train State Space Models (SSMs) and Transformers with a novel thermodynamic loss function that penalizes computational waste alongside standard cross-entropy. Across 19 experimental phases, we discover that thermodynamically-trained SSMs develop architectural proprioception: a strong anticipatory coupling between recurrent state entropy and halt confidence (r = -0.836, p < 0.001) in which the halt signal leads state entropy collapse by exactly two tokens (tau = -2.0). This Universal Stopping Signature (USS) reproduces to four decimal places across random seeds and generalizes to a structurally distinct sorting task. Critically, Transformers trained identically show no such coupling (r = -0.07), demonstrating that the phenomenon is architecture-dependent. Cross-task transfer experiments confirm that SSM halt detection reflects genuine meta-cognition (zero-shot transfer F1: SSMs 64.2% vs. Transformers 69.3%; post-adaptation: SSMs 94.5% vs. Transformers 86.4%), while Transformer halt detection relies on syntactic pattern matching. A 2D hyperparameter sweep over energy penalty (alpha) and halt supervision (beta) reveals that the anticipatory coupling is continuously controllable through training, with thermodynamic pressure serving as the primary induction mechanism and explicit halt supervision as an amplifier. Our results establish that SSMs are thermodynamically native architectures whose fixed-size recurrent states naturally support the Markovian compression that enables computational self-awareness, with implications for cost-aware inference, dynamic token budgets, and confidence-based routing in production systems.
• Abstract（参考訳）: 本稿では、熱力学の原理によって支配される確率多様体を介し、ニューラルネットワークをナビゲーションとして扱う確率ナビゲーションアーキテクチャ(PNA)フレームワークを紹介する。 我々は、標準的なクロスエントロピーと共に計算廃棄物をペナルティ化する新しい熱力学的損失関数で、ステートスペースモデル(SSM)とトランスフォーマーを訓練する。 熱力学的に訓練されたSSMは, 繰り返し状態エントロピーと停止信頼 (r = -0.836, p < 0.001) の強い予測結合によって, 完全に2つのトークン (tau = -2.0) で状態エントロピーが崩壊する。 このUniversal Stopping Signature (USS) は、ランダムな種子にまたがる4つの十進位置に複製し、構造的に異なるソートタスクに一般化する。 批判的に言えば、トランスフォーマーはそのような結合(r = -0.07)を同一に示さず、その現象がアーキテクチャに依存していることを示す。 クロスタスク転送実験は、SSM停止検出が真のメタ認知(ゼロショット転送 F1: SSMs 64.2% vs. Transformers 69.3%; 後適応: SSMs 94.5% vs. Transformers 86.4%)を反映していることを確認した。 2Dハイパーパラメーターがエネルギーペナルティ(アルファ)を網羅し、監督(ベータ)を停止すると、予想結合はトレーニングを通じて継続的に制御可能であることが明らかとなり、熱力学的圧力は一次誘導機構として機能し、増幅器として明示的に停止する。 この結果から,SSMは熱力学的にネイティブなアーキテクチャであり,固定サイズのリカレント状態は計算自己認識が可能なマルコフ圧縮を自然にサポートしていることがわかった。

関連論文リスト

• When Sensors Fail: Temporal Sequence Models for Robust PPO under Sensor Drift [64.37959940809633]
  時間的持続的なセンサ故障下でのPPOのロバスト性について検討する。 トランスフォーマーを用いたシーケンスポリシーは, センサ数が少ない場合でも高いリターンを保ちながら, 堅牢性, RNN, SSMよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2026-03-04T22:21:54Z)
• Plug-and-Play Diffusion Meets ADMM: Dual-Variable Coupling for Robust Medical Image Reconstruction [45.25461515976432]
  画像再構成のための強力なパラダイムとして,DP(Plug-and-Play diffusion prior)フレームワークが登場した。 本稿では, バイアス・ハロシン化トレードオフを解消し, 収束を著しく加速した最先端の勾配を実現するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2026-02-26T16:58:43Z)
• Function-Space Decoupled Diffusion for Forward and Inverse Modeling in Carbon Capture and Storage [65.51149575007149]
  本稿では,Fun-DDPSについて述べる。Fun-DDPSは,関数空間拡散モデルと微分可能なニューラル演算子サロゲートを結合した生成フレームワークである。 Fun-DDPSは、ジョイントステートベースラインで観察される高周波アーティファクトから、物理的に一貫した実現をもたらす。
  論文  参考訳（メタデータ） (2026-02-12T18:58:12Z)
• Analyzing and Improving Diffusion Models for Time-Series Data Imputation: A Proximal Recursion Perspective [45.713195454899875]
  拡散モデル(DM)は時系列データインプットを約束している。 DMの性能は複雑なシナリオでは相容れない。 我々はSPIRIT(Semi-proximal Transport Regularized Time-Series Imputation)と呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-01T12:11:57Z)
• When to Think Fast and Slow? AMOR: Entropy-Based Metacognitive Gate for Dynamic SSM-Attention Switching [4.238040764117957]
  ステートスペースモデル(SSM)は効率的な代替手段を提供するが、長期にわたって正確な情報検索に苦慮している。 認知の二重プロセス理論に着想を得たAMORは,SSMバックボーンが"不確か"である場合にのみ,スパークアテンションを動的に行うハイブリッドアーキテクチャである。 小規模な合成検索タスクでは、AMORはSSMのみのベースラインとトランスフォーマーのみのベースラインの両方を上回っている。
  論文  参考訳（メタデータ） (2026-01-22T17:19:58Z)
• Digital Metabolism: Decoupling Logic from Facts via Regenerative Unlearning -- Towards a Pure Neural Logic Core [4.073707521515039]
  デジタル代謝(Digital metabolism)とは、純粋な論理コアを蒸留するためには、標的となる忘れることが必要であるという仮説である。 本稿では,Regenerative Logic-Core Protocol (RLCP)を紹介した。 GSM8Kの実証分析により、「代謝」モデルが自然にシンボリック・チェーン・オブ・シンクの足場を採用することが明らかとなった。
  論文  参考訳（メタデータ） (2026-01-15T19:21:16Z)
• Closed-Loop Transformers: Autoregressive Modeling as Iterative Latent Equilibrium [0.6820746164515952]
  閉ループ予測の原理を導入し、自己整合平衡に達するまで、モデルが反復的に潜在表現を洗練することを要求する。 この原理をEquilibrium Transformerとしてインスタンス化し,標準トランス層をEquilibrium Refinement Moduleで拡張する。 バイナリパリティタスクに関する予備実験では、チャレンジシーケンスの平均改善率は+3.28%で、標準トランスフォーマーがランダムなパフォーマンスに近づくと+8.07%に達する。
  論文  参考訳（メタデータ） (2025-11-26T20:02:59Z)
• Mind Your Entropy: From Maximum Entropy to Trajectory Entropy-Constrained RL [56.085103402298905]
  本稿では,この2つの課題に対処する軌道エントロピー制約強化学習(TECRL)フレームワークを提案する。 このフレームワーク内では、まず報酬とエントロピーに関連する2つのQ-関数を個別に学習し、温度更新の影響を受けないクリーンで安定した値ターゲットを確保する。 我々は,3つの改良を加えて,最先端の分散型ソフトアクター批判を拡張して,現実的な非政治的アルゴリズムDSAC-Eを開発した。
  論文  参考訳（メタデータ） (2025-10-25T09:17:47Z)
• Finite State Automata Inside Transformers with Chain-of-Thought: A Mechanistic Study on State Tracking [41.3496135369579]
  CoT(Chain-of-Thought)は、幅広いタスクにわたる大規模言語モデル(LLM)の性能を大幅に向上させる。 Transformer+CoTが学習できるアルゴリズムの機械的理解は限られている。 我々はTransformer+CoTとその変種の状態追跡機能の評価を行い,CoTの有効性を確認した。
  論文  参考訳（メタデータ） (2025-02-27T14:24:51Z)
• Anomaly Detection in Complex Dynamical Systems: A Systematic Framework Using Embedding Theory and Physics-Inspired Consistency [0.0]
  複雑な力学系における異常検出は、産業やサイバー物理のインフラにおける信頼性、安全性、効率を確保するために不可欠である。 本稿では,古典的な埋め込み理論と物理に着想を得た一貫性原理を基礎としたシステム理論による異常検出手法を提案する。 本研究は, 異常が安定系の力学を阻害する仮説を支持し, 異常検出のためのロバストな信号を提供する。
  論文  参考訳（メタデータ） (2025-02-26T17:06:13Z)
• State Stream Transformer (SST) : Emergent Metacognitive Behaviours Through Latent State Persistence [0.0]
  State Stream Transformer (SST) は、事前訓練された重みで遅延した突発的な推論動作を示す新しいLCMアーキテクチャである。 SSTは、自己回帰世代を通して永続的な潜伏過程を維持し、進化させる重み付き崩壊を伴うスライディングウィンドウ潜伏状態(FFN)キャッシュを導入している。 SSTは、GSM-8K(0ショット)で89.01%、ARC Challenge(0ショットCoT)で91.04%の精度を達成した。
  論文  参考訳（メタデータ） (2025-01-30T14:03:36Z)
• Thermalization and Criticality on an Analog-Digital Quantum Simulator [133.58336306417294]
  本稿では,69個の超伝導量子ビットからなる量子シミュレータについて述べる。 古典的Kosterlitz-Thouless相転移のシグネチャと,Kibble-Zurekスケール予測からの強い偏差を観測する。 本システムは, 対角二量体状態でディジタル的に調製し, 熱化時のエネルギーと渦の輸送を画像化する。
  論文  参考訳（メタデータ） (2024-05-27T17:40:39Z)
• Probing eigenstate thermalization in quantum simulators via fluctuation-dissipation relations [77.34726150561087]
  固有状態熱化仮説(ETH)は、閉量子多体系の平衡へのアプローチの普遍的なメカニズムを提供する。 本稿では, ゆらぎ・散逸関係の出現を観測し, 量子シミュレータのフルETHを探索する理論に依存しない経路を提案する。 我々の研究は、量子シミュレータにおける熱化を特徴づける理論に依存しない方法を示し、凝縮物質ポンプ-プローブ実験をシミュレーションする方法を舗装する。
  論文  参考訳（メタデータ） (2020-07-20T18:00:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。