論文の概要: Invariant Reasoning Directions in Latent Trajectories of Language Models
- arxiv url: http://arxiv.org/abs/2606.29164v1
- Date: Sun, 28 Jun 2026 02:59:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.818142
- Title: Invariant Reasoning Directions in Latent Trajectories of Language Models
- Title（参考訳）: 言語モデルの潜在軌道における不変推論方向
- Abstract要約: 遅延推論トラジェクトリは、不安定なインスタンス固有の変動と混在する安定な不変方向を含むことを示す。
本稿では,潜伏空間における安定な推論方向を識別・操作するためのトレーニング不要な介入フレームワークTILRを紹介する。
TILRはパラフレーズ下での応答一貫性を10%向上し,推論精度を保ちながら遅延軌道のばらつきを最大50%低減する。
- 参考スコア（独自算出の注目度）: 23.0736392766448
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Latent reasoning models perform multi-step inference directly in hidden-state space, yet the structure of these latent reasoning trajectories remains poorly understood. We show that contrastive refinement signals between stronger and weaker reasoning trajectories exhibit a highly concentrated low-rank structure, while unconstrained latent updates remain sensitive to paraphrases, checkpoint choice, and trajectory perturbations. These observations suggest that latent reasoning trajectories contain stable invariant directions mixed with unstable instance-specific variation. We introduce \textbf{Trajectory-Invariant Latent Refinement (TILR)}, a training-free intervention framework for identifying and manipulating stable reasoning directions in latent space. TILR first learns a low-rank invariant subspace from contrastive trajectory differences across inputs, then constrains latent interventions to this subspace while suppressing poorly aligned updates through an adaptive alignment gate. Across six reasoning benchmarks, we find that a small number of latent directions explain most variation between strong and weak reasoning trajectories. Interventions on these directions causally improve reasoning consistency and reduce trajectory instability under paraphrases and perturbations. TILR improves answer consistency under paraphrase by ~10% and reduces latent trajectory variance by up to $50\%$ while preserving reasoning accuracy. These results support a geometric view of latent reasoning in which transferable reasoning behavior emerges from stable low-dimensional structure within hidden-state trajectories.
- Abstract（参考訳）: 潜時推論モデルは隠れ状態空間で直接多段階推論を行うが、これらの潜時推論軌道の構造はあまり理解されていない。
より強い推理軌道と弱い軌道のコントラスト信号は高濃度の低ランク構造を示すが,非拘束潜時更新はパラフレーズ,チェックポイント選択,軌跡摂動に敏感である。
これらの観測は、潜在推論軌道が不安定なインスタンス固有の変動と混合された安定な不変方向を含むことを示唆している。
Invariant Latent Refinement (TILR) は、遅延空間における安定な推論方向を識別・操作するためのトレーニング不要な介入フレームワークである。
TILRはまず、入力間の対照的な軌跡差から低階不変部分空間を学習し、その後、適応アライメントゲートを介して不整合更新を抑えながら、この部分空間への潜在的介入を制約する。
6つの推論ベンチマークで、少数の潜在方向が、強い推論軌道と弱い推論軌道のほとんどを説明できることがわかった。
これらの方向への介入は推論の一貫性を因果的に改善し、パラフレーズや摂動の下で軌道不安定性を減少させる。
TILRはパラフレーズ下での回答の一貫性を約10%改善し、推論精度を維持しながら遅延軌道のばらつきを最大50\%まで低減する。
これらの結果は、隠れ状態軌道内の安定な低次元構造から伝達可能な推論挙動が出現する潜在推論の幾何学的視点を支持する。
関連論文リスト
- Learning to Refine Hidden States for Reliable LLM Reasoning [0.21485350418225244]
大規模言語モデルは強力な推論能力を示すが、複雑な多段階設定では内部推論プロセスは不安定である。
本稿では,復号化前に隠蔽表現を反復的に更新する強化誘導潜時改善フレームワークReLARを提案する。
論文 参考訳（メタデータ） (2026-06-16T05:03:27Z) - Geometric Latent Reasoning Induces Shorter Generations in LLMs [24.29594681334716]
我々は,事前訓練されたトークン埋め込み空間内の幾何学的経路近似問題として潜在推論を定式化する。
本稿では、軽量な遷移ヘッドを用いて埋め込み空間における反復方向更新を予測するGeometric Latent Reasoning (GLR)を紹介する。
Qwen3モデルを用いた数学的推論ベンチマークの評価では、創発的な現象が明らかである。
論文 参考訳（メタデータ） (2026-06-01T13:40:55Z) - ProSR: Process-Shaped Spatial Reasoning for Reliable Chain-of-Thought in VLMs [37.068201407788884]
本稿では,空間推論のためのプロセス形成最適化フレームワークであるProSRを提案する。
ProSRは、最適化目標を単一回答の正しさから、視覚的依存と軌道安定性の2つのプロセスレベルに拡張する。
実験により、ProSRはより安定し、より視覚的証拠に依存する推論軌道を発生させながら、回答の精度を向上することが示された。
論文 参考訳（メタデータ） (2026-05-25T07:27:28Z) - GTS: Inference-Time Scaling of Latent Reasoning with a Learnable Gaussian Thought Sampler [54.10960908347221]
我々は、学習可能な密度から条件付きサンプリングとして潜在思考探索をモデル化し、このアイデアをガウス思想サンプリング(GTS)としてインスタンス化する。
GTSは、連続的推論状態における文脈依存摂動分布を予測し、バックボーンを凍結させながらGRPOスタイルのポリシー最適化を訓練する。
論文 参考訳（メタデータ） (2026-02-15T09:57:47Z) - ThinkRouter: Efficient Reasoning via Routing Thinking between Latent and Discrete Spaces [39.09794443825156]
潜在推論は、明示的な推論軌道を潜在空間における連続的な表現に置き換えることで推論効率を向上させる。
誤った回答で終わる思考軌跡には、正しい回答で終わるものよりも低い信頼度ステップが含まれていることを示す。
本稿では,推論時信頼度を考慮したルーティング機構であるThinkを提案し,高い信頼度とノイズを回避し,効率的な推論を行う。
論文 参考訳（メタデータ） (2026-02-12T08:01:01Z) - Latent Chain-of-Thought as Planning: Decoupling Reasoning from Verbalization [9.193078163792427]
CoT(Chain-of-Thought)は、大規模言語モデル(LLM)に複雑な問題に取り組む権限を与える。
最近の潜伏推論手法は、連続した隠蔽状態内で推論を行うことによって効率を最適化しようとする。
PLaTは、潜在推論を言語化から根本的に切り離すことによって計画として再構成するフレームワークである。
論文 参考訳（メタデータ） (2026-01-29T07:38:18Z) - Think Consistently, Reason Efficiently: Energy-Based Calibration for Implicit Chain-of-Thought [33.267497114389734]
大規模言語モデル(LLM)は、emphChain-of-Thought(CoT)のプロンプトを通じて、強力な推論能力を示している。
CoT法は離散トークンレベルの推論プロセスに依存しており、誤りの伝播が難しく、語彙によって制限される。
EBM-CoT(Energy-based Chain-of-Thought)フレームワークを提案する。
論文 参考訳（メタデータ） (2025-11-10T14:10:58Z) - Directional Reasoning Injection for Fine-Tuning MLLMs [51.53222423215055]
マルチモーダルな大言語モデル(MLLM)は急速に進歩しているが、その推論能力は強いテキストのみのモデルよりも遅れていることが多い。
このギャップを埋める既存の方法は、大規模マルチモーダル推論データや強化学習の監督された微調整に依存している。
この問題を解決するために,DRIFT(Directional Reasoning Injection for Fine-Tuning)を提案する。
論文 参考訳（メタデータ） (2025-10-16T18:06:46Z) - Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。
シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。
マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
論文 参考訳（メタデータ） (2025-10-09T04:48:49Z) - CTRLS: Chain-of-Thought Reasoning via Latent State-Transition [57.51370433303236]
チェーン・オブ・シント(CoT)推論は、大規模な言語モデルで複雑な問題を解釈可能な中間ステップに分解することを可能にする。
我々は,遅延状態遷移を伴うマルコフ決定プロセス(MDP)としてCoT推論を定式化するフレームワークであるgroundingSを紹介する。
我々は、ベンチマーク推論タスクにおける推論精度、多様性、探索効率の改善を示す。
論文 参考訳（メタデータ） (2025-07-10T21:32:18Z) - A Survey on Latent Reasoning [100.54120559169735]
大きな言語モデル(LLM)は印象的な推論機能を示している。
中間ステップを言語化するCoT推論は、モデルの表現帯域幅を制限する。
潜在的推論は、モデルの連続的な隠れ状態に完全にマルチステップの推論を実行することで、このボトルネックに対処する。
論文 参考訳（メタデータ） (2025-07-08T17:29:07Z) - Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
強靭性と精度のトレードオフは、敵文学において広く研究されている。
局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。
定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
論文 参考訳（メタデータ） (2022-02-21T10:36:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。