論文の概要: Unrolled Flow Models for Reasoning

• arxiv url: http://arxiv.org/abs/2610.09759v1
• Date: Wed, 07 Oct 2026 09:45:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.837629
• Title: Unrolled Flow Models for Reasoning
• Title（参考訳）: 推論のための不規則流れモデル
• Abstract要約: フローマッチングは、いくつかのステップで言語生成を可能にするが、追加の統合ステップが推論を改善するかどうかはまだ不明である。 2層変換器によってパラメータ化されたフローは,グラフの到達性を解くことができることを示す。 標準的なフロー言語モデルは、推論タスクの追加ステップの恩恵を受けられない可能性がある。
• 参考スコア（独自算出の注目度）: 7.898040854536975
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Flow matching enables language generation in few steps, but whether additional integration steps improve reasoning remains unclear. We prove that a flow parameterized by a two-layer Transformer can solve graph reachability, with the required number of integration steps increasing with the target's distance from the root. Yet, standard flow language models can fail to benefit from additional steps on reasoning tasks. We attribute this limitation to objectives that supervise each time point independently, without explicitly training successive steps to build on one another. To address this, we instead train through the model's own latent rollout over a randomly sampled subinterval of [0, 1], decoding only at the endpoint. On ProsQA, this raises accuracy to 97% and enables performance to improve with additional integration steps. For the longer rollouts required by reasoning tasks such as Sudoku and Maze, retracting the latent state onto a sphere stabilizes the dynamics and yields substantial gains over baselines with more than three times as many parameters. Sampling multiple rollouts further improves performance when paired with a parameter-free selection score, although reliable selection remains challenging for longer answers. Together, these results establish a theoretical basis for reasoning with flows and show how rollout training, stable latent dynamics, and rollout selection help realize this capacity in practice.
• Abstract（参考訳）: フローマッチングは、いくつかのステップで言語生成を可能にするが、追加の統合ステップが推論を改善するかどうかはまだ不明である。 本研究では,2層トランスによってパラメータ化されたフローが,対象の根からの距離に応じて増大する積分ステップの必要な数で,グラフ到達性を解くことができることを示す。 しかし、標準的なフロー言語モデルは推論タスクの追加ステップの恩恵を受けられない可能性がある。 この制限は、各タイムポイントを独立して監督する目的に起因しています。 これに対応するために、私たちは、[0, 1]のランダムにサンプリングされたサブインターバル上で、モデル自身の潜伏ロールアウトをトレーニングし、エンドポイントでのみデコードします。 ProsQAでは、精度が97%向上し、さらなる統合ステップでパフォーマンスが向上する。 Sudoku や Maze のようなタスクの推論に必要な長期のロールアウトでは、潜在状態を球面に引っ込めばダイナミクスが安定し、パラメータの3倍以上のベースラインよりもかなりのゲインが得られる。 複数ロールアウトをサンプリングすることで、パラメータフリーの選択スコアとペアリングした場合のパフォーマンスがさらに向上するが、信頼性の高い選択は長い答えでは難しいままである。 これらの結果はフローによる推論の理論的基礎を確立し、ロールアウトトレーニング、安定した潜水力学、ロールアウト選択が実際にこの能力を実現するのにどのように役立つかを示す。

関連論文リスト

• GradCuit: Credit-Assigned Gradient Flow Enables Robust and Interpretable Test-Time Latent Reasoning [61.67411833252235]
  本稿では,プロンプトの隠蔽表現と生成された継続の間に,選択したTransformer層に最適化可能な潜在状態を挿入するGradCuitを紹介する。 5つの命令調整されたバックボーン、3つの推論ベンチマーク、2つの回答フォーマットで、GradCuitの平均精度は64.5%である。 解釈可能性について、トークンレベルの勾配属性は、遅延の影響が推論・接続子トークンに集中していることを明らかにする一方、層解析は、初期から中間のトランスフォーマー層を最も効果的な最適化空間として認識する。
  論文  参考訳（メタデータ） (2026-08-03T17:55:24Z)
• Stop When Further Reasoning Won't Help: Attention-State Adaptive Generation in Reasoning Models [11.158010513386666]
  大規模推論モデル(LRM)は、明確な連鎖推論プロセスによって複雑な問題を解くことができる。 LRMはしばしば過大評価に悩まされ、冗長なトークン出力と劣化した精度をもたらす。 本稿では,モデルの推論状態を推定し,生成戦略を適応的に調整するASAGを提案する。
  論文  参考訳（メタデータ） (2026-06-13T02:58:29Z)
• Revitalizing the Beginning: Avoiding Storage Dependency for Model Merging in Continual Learning [57.10440766103372]
  Trajectory Regularized Merging (TRM) は、拡張されたトラジェクトリ部分空間内の最適化プロセスとしてマージフェーズを再構成するフレームワークである。 本フレームワークは,タスクアライメント,予測整合性,勾配応答性といった3つの相乗的目標を統合し,統合モデルの履歴安定性と再活性化最適化のダイナミクスを同時に保存する。
  論文  参考訳（メタデータ） (2026-05-08T14:07:32Z)
• Thinking in Latents: Adaptive Anchor Refinement for Implicit Reasoning in LLMs [3.0215547730060206]
  AdaAnchorは、入力にアタッチされた潜在アンカーベクトルのセットを精算することにより、サイレント反復計算を行う潜在推論フレームワークである。 適応停止したAdaAnchorは、固定ステップの潜伏精錬で最大5%の精度向上を達成し、最大ステップの予算で平均潜伏精錬歩数を48〜60%削減する。
  論文  参考訳（メタデータ） (2026-03-16T10:06:05Z)
• Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
  本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。 ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。 トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
  論文  参考訳（メタデータ） (2026-02-26T11:08:39Z)
• Formalizing the Sampling Design Space of Diffusion-Based Generative Models via Adaptive Solvers and Wasserstein-Bounded Timesteps [4.397130429878499]
  拡散に基づく生成モデルは、様々な領域で顕著な性能を達成してきたが、その実践的展開は、しばしば高いサンプリングコストによって制限されている。 本稿では,数値解法を拡散軌道の固有特性と整合する原理的枠組みであるSDMを提案する。 ODE のダイナミクスを解析することにより,低次解法は初期高雑音で十分であり,高次解法は後段の非線形性の増加に対応するために段階的に展開可能であることを示す。
  論文  参考訳（メタデータ） (2026-02-13T05:02:07Z)
• Internalizing LLM Reasoning via Discovery and Replay of Latent Actions [4.830503861275364]
  連鎖プロセスの隠れ状態への内部化は、テスト時間計算をスケールするための非常に効率的なパラダイムとして現れている。 動的潜在軌道制御問題として推論強化を再構築するSTIR(Self-Distilled Tools for Internal Reasoning)を提案する。
  論文  参考訳（メタデータ） (2026-02-04T08:44:57Z)
• Self-Route: Automatic Mode Switching via Capability Estimation for Efficient Reasoning [36.470695895695044]
  Self-Routeは、一般的な推論モードと推論モードを自動的に選択する動的推論フレームワークである。 トークン消費量を30～55%削減しながら,自己ルートが推論モデルに匹敵する精度を実現していることを示す。
  論文  参考訳（メタデータ） (2025-05-27T03:18:31Z)
• Fractured Chain-of-Thought Reasoning [61.647243580650446]
  完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。 フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
  論文  参考訳（メタデータ） (2025-05-19T11:30:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。