論文の概要: Port-Hamiltonian Latent Deliberation: Mitigating the Deliberation Drift Cliff in Test-Time Compute Scaling
- arxiv url: http://arxiv.org/abs/2609.37351v1
- Date: Tue, 29 Sep 2026 12:17:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.475736
- Title: Port-Hamiltonian Latent Deliberation: Mitigating the Deliberation Drift Cliff in Test-Time Compute Scaling
- Title(参考訳): Port-Hamiltonian Latent Deliberation: テスト時間計算スケーリングにおけるDeliberation Drift Cliffの緩和
- Abstract要約: より深い思考ステップに外挿した場合、制約のない潜在モデルが崩壊することを示す。
そこで我々は, 直勾配のHelmholtz-Hodge分解法(DG-HHD)を提案する。
- 参考スコア(独自算出の注目度): 3.370742258560895
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Test-time compute scaling has emerged as a cornerstone of advanced machine reasoning, yet performing iterative deliberation directly within continuous latent representation spaces reveals a catastrophic pathology: the Deliberation Drift Cliff. While unconstrained recurrent latent models achieve initial reasoning gains at short horizons (K <= 4), their reasoning collapses when extrapolated to deeper thinking steps (K >= 16), dropping by 22% to 62% across standard logical benchmarks. We resolve the trilemma among expressivity, Lyapunov stability, and computational efficiency in test-time latent reasoning through a 22-round empirical and theoretical investigation. We demonstrate that strictly conservative scalar potential gradient flows suppress long-range drift (cliff 3.40%) but bottleneck peak reasoning accuracy at 32.73%, whereas unconstrained rotational flows achieve high symbolic expressivity (82.33%) but suffer a severe 36.87% drift cliff. To resolve this geometric duality, we establish Port-Hamiltonian Latent Deliberation (PH-LD) and propose the Direct-Gradient Pure-Tensor Helmholtz-Hodge Decomposition (DG-HHD). DG-HHD parameterizes the attracting flow as a tangent projection tensor network while orthogonally decoupling non-zero circulation (Hodge machine error 1.65e-17, contraction error 5.55e-17), eliminating runtime autograd dependencies to achieve 1.84x vector field and 2.09x RK45 rollout speedups. In a 15-arm symmetrical Pareto benchmark, DG-HHD achieves 58.67% peak accuracy (+25.94% absolute gain over conservative HHD) and retains 35.27% at K=32. Transferred to small language model (SLM) multi-hop causal reasoning, DG-HHD delivers monotonic compute scaling (49.33% to 51.56%) and suppresses out-of-distribution drift (cliff -0.66%). All 30 Level 0 deterministic invariants are certified.
- Abstract(参考訳): テストタイムの計算スケーリングは先進的なマシン推論の基盤として現れてきたが、連続的な潜在表現空間内で反復的な議論を行うと、破滅的な病理(Deliberation Drift Cliff)が明らかになる。
制約のないリカレント潜在モデルは、短い水平線(K <= 4)で最初の推論ゲインを達成するが、それらの推論は、より深い思考ステップ(K >= 16)に外挿すると崩壊し、標準論理ベンチマークでは22%から62%に低下する。
我々は,22ラウンドの実験的および理論的研究を通じて,表現性,リャプノフ安定性,およびテスト時間潜時推論における計算効率の3つの問題を解決した。
厳格に保守的なスカラー電位勾配流は長距離ドリフト(クリフ3.40%)を抑制するが、ボトルネックピーク推算精度は32.73%であり、非拘束の回転流は高い記号表現率(82.33%)を得るが、36.87%の深刻なドリフト崖を被ることを示した。
この幾何学的双対性を解決するため、ポート・ハミルトンラテント・ディリベレーション(PH-LD)を確立し、直接勾配のヘルムホルツ・ホッジ分解(DG-HHD)を提案する。
DG-HHDは、非ゼロ循環(ホッジマシンエラー1.65e-17、収縮エラー5.55e-17)を直交分離しつつ、タンジェントプロジェクションテンソルネットワークとして誘引フローをパラメータ化し、1.84xベクトルフィールドと2.09xRK45ロールアウトスピードアップを達成する。
15腕対称パレートのベンチマークでは、DG-HHDは58.67%のピーク精度(+25.94%の絶対利得)を獲得し、K=32では35.27%を維持している。
小型言語モデル(SLM)のマルチホップ因果推論に変換され、DG-HHDは単調な計算スケーリング(49.33%から51.56%)を提供し、分布外ドリフト(ciff -0.66%)を抑制する。
30レベル0のすべての決定論的不変量は認定されている。
関連論文リスト
- Offline Reinforcement Learning for Distribution-Grid Protection [42.05746375597851]
我々は,CIGRE中電圧ネットワークの静的軌跡からの線選択的トリップについて検討した。
畳み込みQネットワークは、因果電圧電流ファサーおよび見かけインピーダンス特徴を受信する。
その結果,密度予測性能と終端保護挙動がモデルランキングに影響を及ぼす可能性が示唆された。
論文 参考訳(メタデータ) (2026-09-21T14:49:04Z) - State of Thought Enables Endogenous Reasoning [48.902117018115256]
大規模言語モデル(LLM)の能力向上のための主要なアプローチとして、テスト時推論が登場した。
LLMにおける内在的推論を可能にする新しい推論パラダイムであるState of Thoughtを提案する。
SoTは平均ベースライン精度を一貫して改善し,生成トークンを62.6%,エンドツーエンドのレイテンシを44.6%削減した。
論文 参考訳(メタデータ) (2026-09-13T05:55:03Z) - Criticality-Constrained Iterative Pruning for Energy-Efficient Spiking Neural Networks via Combined Importance Scoring [0.6345523830122167]
ニューロモルフィックハードウェアにスパイキングニューラルネットワーク(SNN)をデプロイするには、積極的なシナプス的プルーニングが必要である。
既存の戦略は、神経の無視的臨界性、または本質的に刈り取られる問題の凸緩和に依存する。
本稿では,PyTorchのパイプラインであるCriticality-Constrained Quadratic Pruning (CQP)について述べる。
論文 参考訳(メタデータ) (2026-06-26T08:48:01Z) - Kolmogorov Regression for Robust Diffusion Policies [0.0]
有限次元拡散政策(FD)は、離散化アーティファクトによる時間的ドリフトを示す。
我々は、キャメロン-マルティン空間への拡散ポリシを持ち上げるコルモゴロフ方程式を導入する。
デッドロック現象を96%削減するハミルトン・ヤコビ到達可能性理論を用いて派遣政策を認証する。
論文 参考訳(メタデータ) (2026-06-16T17:18:54Z) - Compositional Reasoning Depth Predicts Clinical AI Failure: Empirical Evidence Consistent with Transformer Compositionality Limits in Electronic Health Record Question Answering [0.6768558752130311]
EHR質問応答対におけるホップ数とともにモノトン減少を示す。
ホップカウント(Hop count)は、EHR質問応答における大モデル誤差の理論的動機付きクロスアーキテクチャ予測器である。
論文 参考訳(メタデータ) (2026-06-15T16:00:27Z) - When Do Autoregressive Sequence Models Forecast Physical Wavefields? A Controlled Study on Synthetic Seismograms [43.8784307709823]
物理信号の長距離自己回帰予測は誤差蓄積によって制限される。
物理的に構造化されたテストベッドとして,合成3成分地震計を用いて,このようなロールアウトが安定であるかどうかを問う。
論文 参考訳(メタデータ) (2026-06-09T13:46:14Z) - ESPO: Early-Stopping Proximal Policy Optimization [78.79610718910628]
ESPO(Early-Stopping Proximal Policy Optimization)は、軌道上の障害を検出し、ロールアウトを早期に終了する。
DeepSeek-R1-Distill-Qwen-7Bでは、ESPOはAIME2024(46.28%対45.25%)、AMC2023(85.83%対82.94%)、MATH-500(87.42%対85.43%)でPPOを上回っている。
論文 参考訳(メタデータ) (2026-05-28T12:40:22Z) - Geometric Evolution Maps: Extracting Stable Concept Probes from Transformer Residual Streams [0.0]
391 の概念 x モデル対のアブレーション実験により、GEM 抽出プローブは少なくともピーク層プローブと同程度正確であることが示されている。
方向特異性制御は、アブレーション効果が概念指向性であることを確認する。
論文 参考訳(メタデータ) (2026-05-25T13:40:15Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳(メタデータ) (2026-05-15T17:08:27Z) - Bayesian Transformer for Probabilistic Load Forecasting in Smart Grids [0.0]
本研究では,3つの相補的不確実性機構をPatchTSTバックボーンに統合したベイズ変圧器フレームワークを提案する。
7段階のマルチクエンタリーピンボールロス予測ヘッドと、訓練後の等音波回帰キャリブレーションにより、鋭く、ほぼ一意にカバーされた予測間隔が生成される。
主要なベンチマーク(PJM, H=24h)では、BTは0.0289のCRPSを達成し、Deep Ensemblesより7.4%、決定論的LSTMより29.9%改善した。
論文 参考訳(メタデータ) (2026-03-09T02:39:51Z) - BadCLIP++: Stealthy and Persistent Backdoors in Multimodal Contrastive Learning [73.46118996284888]
マルチモーダル・コントラスト学習モデルに対するバックドア攻撃の研究は、ステルスネスと永続性という2つの大きな課題に直面している。
両課題に対処する統合フレームワークであるBadCLIP++を提案する。
ステルスネスのために,タスク関連領域付近に知覚不可能なパターンを埋め込むセマンティックフュージョンQRマイクロトリガーを導入する。
持続性については、半径縮小とセントロイドアライメントによるトリガ埋め込みを安定化する。
論文 参考訳(メタデータ) (2026-02-19T08:31:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。