論文の概要: Parallelizable Probabilistic Latent Reasoning for Diverse Reasoning Trajectories

• arxiv url: http://arxiv.org/abs/2610.29385v1
• Date: Wed, 21 Oct 2026 08:11:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.286696
• Title: Parallelizable Probabilistic Latent Reasoning for Diverse Reasoning Trajectories
• Title（参考訳）: 異種共振軌道に対する並列化確率潜在共振器
• Abstract要約: 確率潜在推論モデル(英: Probabilistic Latent Reasoning Models, PLRM)は確率潜在推論のための並列化可能な変分フレームワークである。 PLRMは単軌道データセット上で競合決定論的潜在推論モデルを実現する。
• 参考スコア（独自算出の注目度）: 12.611616081807673
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Language models relying on verbalized Chain-of-Thought (CoT) are constrained to token-by-token generation in the language space, where many tokens serve textual coherence rather than core reasoning. This entangles genuine differences in logical trajectories with superficial variations in verbalization. Moving reasoning into a compact, continuous latent space offers a promising alternative for efficiently representing and exploring diverse reasoning trajectories. However, current latent models remain largely deterministic, capturing only a single reasoning trajectory rather than modeling a distribution over multiple valid alternatives. While stochastic approaches parameterize distributions over latent reasoning steps, they frequently suffer from unstable optimization and limited empirical performance. Furthermore, their reliance on autoregressive latent prediction during training precludes effective parallelization, leading to prohibitively long training times. To overcome these bottlenecks, we propose Probabilistic Latent Reasoning Models (PLRM), a parallelizable variational framework for probabilistic latent reasoning. PLRM adopts a JEPA-style objective in which the posterior infers latent distributions in parallel from observed reasoning trajectories, while the prior learns to predict the subsequent latent distribution via teacher forcing. To model heterogeneous reasoning processes, we introduce a discrete strategy variable together with a mixture-based prior, allowing the model to preserve the Gaussian-mixture structure induced by multiple distinct reasoning trajectories rather than collapsing them into a single Gaussian. Across diverse benchmarks, PLRM achieves performance competitive with deterministic latent reasoning models on single-trajectory datasets while enabling efficient training and consistently outperforming competing stochastic baselines on multi-trajectory datasets.
• Abstract（参考訳）: 言語モデルは言語空間におけるトークン・バイ・トークン生成に制約され、多くのトークンはコア推論よりもテキスト・コヒーレンスを提供する。 これは、言語化における表面的変化を伴う論理的軌跡の真の違いを絡み合わせる。 コンパクトで連続的な潜在空間への推論の移動は、様々な推論軌道を効率的に表現し探索するための有望な代替手段を提供する。 しかし、現在の潜在モデルは決定論的であり、複数の有効な選択肢にまたがる分布をモデル化するのではなく、単一の推論軌道のみを捉えている。 確率的アプローチは遅れた推論ステップよりも分布をパラメータ化するが、不安定な最適化と限られた経験的性能に悩まされることがしばしばある。 さらに、訓練中の自己回帰的潜伏予測への依存は、効果的な並列化を妨げ、非常に長い訓練時間をもたらす。 これらのボトルネックを克服するために、確率潜在推論のための並列化可能な変分フレームワークである確率潜在推論モデル(PLRM)を提案する。 PLRMは、観察された推論軌跡から後続の潜伏分布を並列に推定するJEPAスタイルの目的を採用し、前者は教師の強制により後続の潜伏分布を予測することを学習する。 不均質な推論過程をモデル化するために、混合した前駆体と共に離散戦略変数を導入し、モデルが単一ガウスに分解するのではなく、複数の異なる推論軌道によって誘導されるガウス-混合構造を維持できるようにする。 多様なベンチマークを通じて、PLRMは単軌道データセット上の決定論的潜在推論モデルと性能を競い合うと同時に、効率的なトレーニングを可能にし、マルチ軌道データセット上で競合する確率的ベースラインを一貫して上回る性能を実現している。

関連論文リスト

• Optimal Transport Dropout for Structured Predictive Uncertainty [3.668981673085598]
  本稿では,予測写像と潜伏摂動の法則を共同で学習する最適輸送降下機について紹介する。 OTDはより正確な予測と、より良く校正され、かなり狭い間隔を得る。 これは、独立に訓練された予測者の明示的な後部推論やアンサンブルなしに、構造化された予測の不確実性を学ぶ方法を提供する。
  論文  参考訳（メタデータ） (2026-09-27T09:00:29Z)
• Learning Latent Reasoning Traces for Scalar Reward Models End-to-End [12.1879321996632]
  リワードモデル(RM)は、強化学習を通じて、大きな言語モデルと人間の好みを整合させることの中心である。 LatentRMは、下流スカラー報酬の可能性を明確に最大化するために、中間推論トレースを離散潜在変数として学習する。 LatentRMは、オープンエンド会話から複雑な推論に至るまでのタスクにおいて、選好モデリングやポリシーアライメントにおいて、スカラー、生成、ハイブリッドRMよりも優れています。
  論文  参考訳（メタデータ） (2026-07-31T09:05:58Z)
• Generative Recursive Reasoning [67.22973831501257]
  Generative Recursive ReAsoning Models (GRAM) は、潜在的推論を確率論的多軌道に変換するフレームワークである。 GRAMは$p_(y mid x)$で条件推論をサポートし、固定または欠落した入力では$p_(x)$で条件生成を行う。
  論文  参考訳（メタデータ） (2026-05-19T05:20:56Z)
• Latent Chain-of-Thought as Planning: Decoupling Reasoning from Verbalization [9.193078163792427]
  CoT(Chain-of-Thought)は、大規模言語モデル(LLM)に複雑な問題に取り組む権限を与える。 最近の潜伏推論手法は、連続した隠蔽状態内で推論を行うことによって効率を最適化しようとする。 PLaTは、潜在推論を言語化から根本的に切り離すことによって計画として再構成するフレームワークである。
  論文  参考訳（メタデータ） (2026-01-29T07:38:18Z)
• Efficient Thought Space Exploration through Strategic Intervention [54.35208611253168]
  本稿では,この知見を2つの相乗的コンポーネントを通して操作するHint-Practice Reasoning(HPR)フレームワークを提案する。 フレームワークの中核となる革新は、動的に介入点を識別する分散不整合低減(DIR)である。 算術的および常識的推論ベンチマークによる実験は、HPRの最先端の効率-精度トレードオフを実証している。
  論文  参考訳（メタデータ） (2025-11-13T07:26:01Z)
• Towards Inference-time Scaling for Continuous Space Reasoning [55.40260529506702]
  推論時間スケーリングは、大規模言語モデルにおけるテキストベースの推論に有効であることが証明されている。 本稿では,そのような確立された手法が連続空間における推論にうまく適応できるかどうかを考察する。 本研究では,ドロップアウト型サンプリングによる多種多様な推論経路の実現可能性を示す。
  論文  参考訳（メタデータ） (2025-10-14T05:53:41Z)
• Parallel Test-Time Scaling for Latent Reasoning Models [58.428340345068214]
  並列テスト時間スケーリング(TTS)は、大規模言語モデル(LLM)の拡張のための重要なアプローチである。 連続ベクトル空間において中間的推論が展開する潜在的推論の最近の進歩は、明示的なチェーン・オブ・サート(Chain-of-Thought)に対するより効率的な代替手段を提供する。 この作業は、上記の問題に対処することで、潜在推論モデルに対する並列TSを可能にする。
  論文  参考訳（メタデータ） (2025-10-09T03:33:00Z)
• CTRLS: Chain-of-Thought Reasoning via Latent State-Transition [57.51370433303236]
  チェーン・オブ・シント(CoT)推論は、大規模な言語モデルで複雑な問題を解釈可能な中間ステップに分解することを可能にする。 我々は,遅延状態遷移を伴うマルコフ決定プロセス(MDP)としてCoT推論を定式化するフレームワークであるgroundingSを紹介する。 我々は、ベンチマーク推論タスクにおける推論精度、多様性、探索効率の改善を示す。
  論文  参考訳（メタデータ） (2025-07-10T21:32:18Z)
• Uncertainty-Aware Pedestrian Trajectory Prediction via Distributional Diffusion [26.715578412088327]
  モデルに依存しない不確実性を考慮した歩行者軌道予測手法を提案する。 従来の研究とは異なり、予測性は明示的な分布に変換され、予測可能な将来の軌道を生成することができる。 私たちのフレームワークは、さまざまなニューラルネットアーキテクチャと互換性があります。
  論文  参考訳（メタデータ） (2023-03-15T04:58:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。