論文の概要: Latent Path Exploration via Potential-Guided Subtrajectory Balance

• arxiv url: http://arxiv.org/abs/2610.40283v1
• Date: Thu, 29 Oct 2026 15:35:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.527852
• Title: Latent Path Exploration via Potential-Guided Subtrajectory Balance
• Title（参考訳）: 電位誘導サブトラジェクトリバランスによる潜在経路探索
• Abstract要約: 連続潜時推論により、言語モデルは明確な推論トレースを生成することなく中間計算を実行できる。 本稿では,SubLATを提案する。Subtrajectory Balanceと相対解答ポテンシャルを結合して潜航探索を学習する。 このモデルは、回答の監督、CoTの監督、表現の蒸留で共同で訓練されている。
• 参考スコア（独自算出の注目度）: 6.903922328194377
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continuous latent reasoning enables language models to perform intermediate computation without generating explicit reasoning traces. Advances in stochastic latent reasoning allow multiple paths to be sampled in continuous space, but stochasticity alone does not ensure effective exploration. A key challenge is guiding stochastic transitions between intermediate latent states toward useful reasoning paths. We introduce SubLAT, which couples a relative answer potential with Subtrajectory Balance to learn stochastic latent exploration. The relative potential evaluates the answer support of sampled states against replacement states, with a correctness signal at the terminal state. Subtrajectory Balance relates potential differences to forward and backward transition densities across subtrajectories of different lengths. The model is jointly trained with answer supervision, CoT supervision, and representation distillation. Experiments on arithmetic and deductive reasoning show increasing solution coverage with larger sampling budgets across in-domain and out-of-domain benchmarks, as well as improvements on several structural OOD benchmarks. Trajectory analyses reveal progressive divergence among sampled latent paths and higher mean relative potentials for correct trajectories across arithmetic benchmarks.
• Abstract（参考訳）: 連続潜時推論により、言語モデルは明確な推論トレースを生成することなく中間計算を実行できる。 確率潜在推論の進歩は、連続空間において複数の経路をサンプリングすることを可能にするが、確率性だけでは効果的な探索を保証しない。 重要な課題は、中間潜在状態間の確率的遷移を有用な推論経路へと導くことである。 SubLATは,確率的潜伏探索を学習するために,Subtrajectory Balanceと相対的な解ポテンシャルを結合する。 相対電位は、サンプル状態の代替状態に対する応答支持を端末状態における正当性信号で評価する。 サブトラジェクトリ・バランス(Subtrajectory Balance)は、異なる長さのサブトラジェクトリ間の前方および後方遷移密度と電位差を関連付ける。 このモデルは、回答の監督、CoTの監督、表現の蒸留で共同で訓練されている。 算術的推論と帰納的推論の実験は、ドメイン内およびドメイン外のベンチマークにまたがるより大きなサンプリング予算によるソリューションカバレッジの増加と、いくつかの構造的OODベンチマークの改善を示している。 軌道解析により、検定された潜在経路と、算術ベンチマークにおける正しい軌道に対する高い平均相対ポテンシャルの間に進行的なばらつきが明らかとなる。

関連論文リスト

• Parallelizable Probabilistic Latent Reasoning for Diverse Reasoning Trajectories [12.611616081807673]
  確率潜在推論モデル(英: Probabilistic Latent Reasoning Models, PLRM)は確率潜在推論のための並列化可能な変分フレームワークである。 PLRMは単軌道データセット上で競合決定論的潜在推論モデルを実現する。
  論文  参考訳（メタデータ） (2026-10-21T08:11:52Z)
• Invariant Reasoning Directions in Latent Trajectories of Language Models [23.0736392766448]
  遅延推論トラジェクトリは、不安定なインスタンス固有の変動と混在する安定な不変方向を含むことを示す。 本稿では,潜伏空間における安定な推論方向を識別・操作するためのトレーニング不要な介入フレームワークTILRを紹介する。 TILRはパラフレーズ下での応答一貫性を10%向上し,推論精度を保ちながら遅延軌道のばらつきを最大50%低減する。
  論文  参考訳（メタデータ） (2026-06-28T02:59:08Z)
• Latent Thought Flow: Efficient Latent Reasoning in Large Language Models [23.52673819075993]
  本稿では,可変長連続軌道をモデルとした潜在思考フロー(LTF)を提案する。 微調整と転写学習による実験では、LTFは明示的なCoTおよび潜在推論基準よりも優れており、精度は9.5%向上し、推論長は平均27.2%低下している。
  論文  参考訳（メタデータ） (2026-06-15T05:02:46Z)
• Parallel Test-Time Scaling for Latent Reasoning Models [58.428340345068214]
  並列テスト時間スケーリング(TTS)は、大規模言語モデル(LLM)の拡張のための重要なアプローチである。 連続ベクトル空間において中間的推論が展開する潜在的推論の最近の進歩は、明示的なチェーン・オブ・サート(Chain-of-Thought)に対するより効率的な代替手段を提供する。 この作業は、上記の問題に対処することで、潜在推論モデルに対する並列TSを可能にする。
  論文  参考訳（メタデータ） (2025-10-09T03:33:00Z)
• Emergence of Superposition: Unveiling the Training Dynamics of Chain of Continuous Thought [64.43689151961054]
  有向グラフ到達性問題に対する簡易な2層変圧器のトレーニング力学を理論的に解析する。 分析の結果,連続的思考を用いたトレーニングでは,まずインデックスマッチングロジットが増加し,その後は軽度な仮定の下で拘束されることがわかった。
  論文  参考訳（メタデータ） (2025-09-27T15:23:46Z)
• CTRLS: Chain-of-Thought Reasoning via Latent State-Transition [57.51370433303236]
  チェーン・オブ・シント(CoT)推論は、大規模な言語モデルで複雑な問題を解釈可能な中間ステップに分解することを可能にする。 我々は,遅延状態遷移を伴うマルコフ決定プロセス(MDP)としてCoT推論を定式化するフレームワークであるgroundingSを紹介する。 我々は、ベンチマーク推論タスクにおける推論精度、多様性、探索効率の改善を示す。
  論文  参考訳（メタデータ） (2025-07-10T21:32:18Z)
• A Survey on Latent Reasoning [100.54120559169735]
  大きな言語モデル(LLM)は印象的な推論機能を示している。 中間ステップを言語化するCoT推論は、モデルの表現帯域幅を制限する。 潜在的推論は、モデルの連続的な隠れ状態に完全にマルチステップの推論を実行することで、このボトルネックに対処する。
  論文  参考訳（メタデータ） (2025-07-08T17:29:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。