Fugu-MT 論文翻訳(概要): Latent Reasoning with Normalizing Flows

論文の概要: Latent Reasoning with Normalizing Flows

arxiv url: http://arxiv.org/abs/2606.06447v1
Date: Thu, 04 Jun 2026 17:44:17 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-05 22:39:45.004455
Title: Latent Reasoning with Normalizing Flows
Title（参考訳）: 正規化流れによる潜時推論
Authors: Guancheng Tu, Xiangjun Fu, Suhao Yu, Yao Tang, Haoqiang Kang, Lianhui Qin, Yizhe Zhang, Jiatao Gu,
Abstract要約: NF-CoTは,フローの正規化を伴う連続的な思考をモデル化することにより,利点を保った潜在的推論フレームワークである。 NF-CoT は LLM バックボーン内の TARFlow スタイルの正規化フローをインスタンス化し、明示的な CoT から蒸留したコンパクトな連続的思考に対して、抽出可能な確率モデルを定義する。コードジェネレーションベンチマークでは、NF-CoTは、明示的なCoTおよび先行潜在推論ベースラインよりもパスレートを向上し、中間推論コストを大幅に削減する。
参考スコア（独自算出の注目度）: 28.667586095105097
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models often improve reasoning by generating explicit chain-of-thought (CoT), demonstrating the importance of intermediate computation. However, textual CoT forces this computation through a discrete, serial, and communication-oriented token stream: each reasoning step must be verbalized before the model can proceed, even when the underlying update is semantic, uncertain, or only partially formed. Latent reasoning offers a higher-bandwidth alternative by performing intermediate computation in compact continuous states before committing to text. Yet existing latent-reasoning methods often sacrifice key advantages that make CoT effective in autoregressive language models, including native left-to-right generation, probabilistic sampling, compatibility with KV-cache decoding, and tractable likelihood estimation. We propose NF-CoT, a latent reasoning framework that preserves these advantages by modeling continuous thoughts with normalizing flows. NF-CoT instantiates a TARFlow-style normalizing flow inside the LLM backbone, defining a tractable probability model over compact continuous thoughts distilled from explicit CoT. Continuous-thought positions are generated by an NF head, while text positions are generated by the standard LM head within the same causal stream. This design provides exact likelihoods for latent thoughts, enables probabilistic left-to-right decoding with the original KV cache, and supports direct policy-gradient optimization in the latent reasoning space. On code-generation benchmarks, NF-CoT improves pass rates over explicit-CoT and prior latent-reasoning baselines while substantially reducing intermediate-reasoning cost.
Abstract（参考訳）: 大規模言語モデルは、しばしば、中間計算の重要性を示す明示的なチェーン・オブ・シークレット(CoT)を生成することによって推論を改善する。しかし、テキストCoTは、この計算を離散的でシリアルで通信指向のトークンストリームを通じて強制する:各推論ステップは、基礎となる更新がセマンティックで、不確実で、あるいは部分的にしか形成されていない場合でも、モデルが進行する前に言語化されなければならない。遅延推論は、テキストにコミットする前にコンパクトな連続状態で中間計算を実行することで、高帯域幅の代替手段を提供する。しかし、既存の潜在推論手法は、CoTがネイティブな左から右への生成、確率的サンプリング、KV-cacheデコーディングとの互換性、抽出可能な推定など、自動回帰言語モデルに有効になる主要な利点を犠牲にすることが多い。 NF-CoTは,フローの正規化を伴う連続的な思考をモデル化することにより,これらの優位性を保った潜在的推論フレームワークである。 NF-CoT は LLM バックボーン内の TARFlow スタイルの正規化フローをインスタンス化し、明示的な CoT から蒸留したコンパクトな連続的思考に対して、抽出可能な確率モデルを定義する。連続思考位置はNFヘッドによって生成され、テキスト位置は同じ因果ストリーム内の標準LMヘッドによって生成される。この設計は、潜伏思想の正確な可能性を提供し、元のKVキャッシュによる確率的左から右への復号化を可能にし、潜伏推論空間における直接ポリシー勾配の最適化をサポートする。コードジェネレーションベンチマークでは、NF-CoTは、明示的なCoTおよび先行潜在推論ベースラインよりもパスレートを向上し、中間推論コストを大幅に削減する。

関連論文リスト

RuPLaR : Efficient Latent Compression of LLM Reasoning Chains with Rule-Based Priors From Multi-Step to One-Step [7.647393987025467]
ルールベースプライオリティを用いた遅延推論のための新しい圧縮フレームワークであるOne-Model One-Stepを紹介する。本手法は,LSMを訓練し,単一の訓練段階において遅延推論トークンを自律的に生成する。実験の結果,既存の潜在CoT法よりも11.1%精度が向上した。
論文参考訳（メタデータ） (2026-05-10T05:55:07Z)
PLUME: Latent Reasoning Based Universal Multimodal Embedding [52.35354073629127]
ユニバーサルマルチモーダル埋め込み(UME)は、異種入力を単一のモデルで共有検索空間にマッピングする。最近のアプローチでは、埋め込みを抽出する前に明確なチェーン・オブ・シント(CoT)論理を生成することにより、UMEを改善している。 PLUMEは,言語化されたCoTを連続的潜伏状態の短時間の自己回帰ロールアウトに置き換えることで,UMEを進化させる潜在的推論フレームワークである。
論文参考訳（メタデータ） (2026-04-02T14:04:53Z)
Latent Thoughts Tuning: Bridging Context and Reasoning with Fused Information in Latent Tokens [13.653741247835091]
Latent Thoughts Tuning(LT-Tuning)は、潜在思想の構築とデプロイ方法を再定義するフレームワークである。本研究では,コンテキスト隠蔽状態と予測意味指導を協調的に活用するコンテキスト予測融合機構を提案する。提案手法は,既存の潜在推論ベースラインより優れ,機能崩壊を効果的に軽減し,頑健な推論精度を実現する。
論文参考訳（メタデータ） (2026-02-10T19:19:10Z)
DiffCoT: Diffusion-styled Chain-of-Thought Reasoning in LLMs [27.185334200898623]
CoT推論(Chain-of-Thought)は、大規模言語モデルにおける多段階の数学的問題解決を改善する。拡散型CoTフレームワークであるDiffCoTを提案する。
論文参考訳（メタデータ） (2026-01-07T03:58:42Z)
Efficient Thought Space Exploration through Strategic Intervention [54.35208611253168]
本稿では,この知見を2つの相乗的コンポーネントを通して操作するHint-Practice Reasoning(HPR)フレームワークを提案する。フレームワークの中核となる革新は、動的に介入点を識別する分散不整合低減(DIR)である。算術的および常識的推論ベンチマークによる実験は、HPRの最先端の効率-精度トレードオフを実証している。
論文参考訳（メタデータ） (2025-11-13T07:26:01Z)
SIM-CoT: Supervised Implicit Chain-of-Thought [108.30049193668083]
Implicit Chain-of-Thought(CoT)メソッドは、大規模言語モデルにおける明示的なCoT推論に代わるトークン効率の代替手段を提供する。暗黙的なCoTの計算予算をスケールする際の中核的な不安定性問題を特定する。そこで我々はSIM-CoTを提案する。SIM-CoTは,遅延推論空間を安定化・拡張するためのステップレベルの監視を実現するモジュールである。
論文参考訳（メタデータ） (2025-09-24T17:01:32Z)
READER: Retrieval-Assisted Drafter for Efficient LLM Inference [0.0386965802948046]
自己回帰言語モデルはトークンシーケンスよりも分解された確率をインスタンス化するが、その厳密なシーケンシャルなデコーディングプロセスは、遅延推論に固有の低いバウンドを課す。このボトルネックは、大規模生成モデルのスケーラブルなデプロイにおける中心的な障害として現れています。本稿では,補助的ドラフトモデルのトレーニングを回避した投機的復号化フレームワークREADERを提案する。
論文参考訳（メタデータ） (2025-08-12T16:47:48Z)
R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。 CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
論文参考訳（メタデータ） (2025-07-23T08:14:36Z)
SCOUT: Teaching Pre-trained Language Models to Enhance Reasoning via Flow Chain-of-Thought [37.53215651690168]
思考の連鎖(CoT)は、ステップ思考を奨励することで、大きな言語モデル(LLM)の推論性能を向上させる。有望ではあるが、CoTベースのアプローチは、しばしばコストのかかる事前トレーニングを必要とし、推論の進化に関する原則的なフレームワークを欠いている。プリトレーニングを必要とせずにFlow CoTスタイルの推論を可能にする軽量な微調整フレームワークSCOUTを提案する。
論文参考訳（メタデータ） (2025-05-30T03:43:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。