論文の概要: Rationale Distribution Distillation via Flow Matching for Distributional Continuous Latent Reasoning

• arxiv url: http://arxiv.org/abs/2610.19871v1
• Date: Wed, 14 Oct 2026 09:30:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.070956
• Title: Rationale Distribution Distillation via Flow Matching for Distributional Continuous Latent Reasoning
• Title（参考訳）: 連続潜時間推論のためのフローマッチングによるラテンダリー分布蒸留
• Abstract要約: 本研究では,一定の長さの潜水列上での条件流を学習するための有理分布蒸留(RDD)を提案する。 結果の分布推論器は、評価された点値潜在推論基準値よりも高い回答カバレッジを達成する。
• 参考スコア（独自算出の注目度）: 21.45784005734809
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sampling multiple chain-of-thought rationales from a language model can uncover correct solutions missed by a single attempt. However, these rationales are typically lengthy, making repeated autoregressive generation costly. Continuous latent reasoning offers a compact alternative, but point-valued methods condition repeated answer sampling on a single rationale, which can limit exploration of diverse paths and answer coverage. We thus propose rationale distribution distillation (RDD), training a conditional flow over fixed-length latent sequences by distilling from multiple textual reasoning paths. Furthermore, we expand the distillation targets through within-query mixup, interpolating between complete latent rationales for the same query. The flow nonautoregressively generates the entire latent sequence, and a frozen language model autoregressively decodes answers from sampled rationale contexts. Empirically, the resulting distributional reasoner achieves higher answer coverage than the evaluated point-valued latent reasoning baselines, particularly on advanced mathematical tasks.
• Abstract（参考訳）: 言語モデルから複数のチェーン・オブ・シークレットの論理をサンプリングすることで、単一の試みで見逃された正しい解を見つけることができる。 しかし、これらの論理は典型的には長大であり、繰り返し自己回帰生成をコストがかかる。 連続潜時推論は、コンパクトな代替手段を提供するが、点評価されたメソッド条件は、1つの理論的根拠で繰り返し答えをサンプリングし、多様な経路の探索を制限し、答えのカバレッジを制限できる。 そこで我々は,複数のテキスト推論経路からの蒸留により,一定の長さの潜伏列上の条件流を訓練する,有理分布蒸留(RDD)を提案する。 さらに, 蒸留ターゲットをクエリ内混合により拡張し, 同じクエリに対して完全潜在論理を補間する。 フローは非自己回帰的に潜在シーケンス全体を生成し、凍結言語モデルはサンプリングされた有理文脈から回答を自己回帰的にデコードする。 実験的に、結果の分布的推論は、特に高度な数学的タスクにおいて評価された点値の潜在的推論基準よりも高い答えカバレッジを達成する。

関連論文リスト

• CALR: Continuous Anchored Latent Reasoning via Render-of-Thought Compression [25.786168938213063]
  視覚的潜在推論は、レンダリングの導出をコンパクトな中間状態に圧縮し、テキスト推論のオーバーヘッドを減らした。 既存のアプローチはこれらの状態を表現する方法が異なるが、離散的な手法は有限のコードブックへの量子化によって精度を向上させる。 我々の連続的および離散的なシステムの解析は、2つの機能的要件を識別する: 答えは潜在状態に依存し、それらの状態は有効な問題固有の推論をしなければならない。 機能的アンカーを通した応答利用と潜時生成を繋ぐ連続アンコレッド潜時推論(CALR)を提案する。
  論文  参考訳（メタデータ） (2026-10-05T18:00:56Z)
• Next Thoughts Are Distributions: Generative Autoregressive Reasoning in the Latent Space [23.877410385411256]
  本稿では,次の連続的思考をマルチモーダル分布としてモデル化した自己回帰的思考フロー(ATF)を紹介する。 ATFは、コンパクトな潜在トレースと強化学習の利点により精度を向上する。 以上の結果から, 連続推論がより効果的である可能性が示唆された。
  論文  参考訳（メタデータ） (2026-09-27T06:26:32Z)
• Self-Consistency via Marginal Sharpening [7.735925614494125]
  推論時間サンプリングは、追加のトレーニングなしで言語モデルから強力な推論能力を引き出すことができる。 本稿では,数学やコーディングベンチマークにおける標準電力サンプリングよりも高い性能を示す,単純で純粋に自己回帰的な並列サンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-05-27T08:24:56Z)
• Generative Recursive Reasoning [67.22973831501257]
  Generative Recursive ReAsoning Models (GRAM) は、潜在的推論を確率論的多軌道に変換するフレームワークである。 GRAMは$p_(y mid x)$で条件推論をサポートし、固定または欠落した入力では$p_(x)$で条件生成を行う。
  論文  参考訳（メタデータ） (2026-05-19T05:20:56Z)
• Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
  本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。 ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。 トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
  論文  参考訳（メタデータ） (2026-02-26T11:08:39Z)
• IDLM: Inverse-distilled Diffusion Language Models [70.5793829229702]
  Inverse Distillation(逆蒸留)は、もともと連続拡散モデルを加速するために開発された技法で、離散的な設定に拡張する。 理論的観点からは、逆蒸留の目的には一意性保証が欠如しており、これは準最適解に繋がる可能性がある。 Inverse-distilled Diffusion Language Models (IDLM) は推論ステップ数を4x-64x削減する。
  論文  参考訳（メタデータ） (2026-02-22T06:47:04Z)
• Stop Spinning Wheels: Mitigating LLM Overthinking via Mining Patterns for Early Reasoning Exit [114.83867400179354]
  オーバーライドは、大きな言語モデル全体のパフォーマンスを低下させる可能性がある。 推論は, 探索段階の不足, 補償推論段階, 推論収束段階の3段階に分類される。 我々は,ルールに基づく軽量なしきい値設定戦略を開発し,推論精度を向上させる。
  論文  参考訳（メタデータ） (2025-08-25T03:17:17Z)
• Beyond the Last Answer: Your Reasoning Trace Uncovers More than You Think [51.0691253204425]
  我々は2つの質問に答えるために中間的推論ステップを解析する: 最終的な答えはモデルの最適結論を確実に表すか? 我々のアプローチは、推論トレースを言語的手がかりに基づくシーケンシャルなサブソートに分割することである。 これらの解答を最も頻繁な解(モード)を選択して集約すると、元の完全トレースから得られる解のみに依存するよりも、はるかに高い精度が得られることが判明した。
  論文  参考訳（メタデータ） (2025-04-29T12:39:07Z)
• HOP, UNION, GENERATE: Explainable Multi-hop Reasoning without Rationale Supervision [118.0818807474809]
  本研究は、合理的な監督なしに説明可能なマルチホップQAシステムを訓練するための原則的確率論的アプローチを提案する。 提案手法は,集合としての有理を明示的にモデル化し,文書と文間の相互作用を文書内で捉えることによって,マルチホップ推論を行う。
  論文  参考訳（メタデータ） (2023-05-23T16:53:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。