論文の概要: What Matters for Latent Reasoning with Flow Matching

• arxiv url: http://arxiv.org/abs/2610.06666v1
• Date: Mon, 05 Oct 2026 16:42:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 23:49:56.500221
• Title: What Matters for Latent Reasoning with Flow Matching
• Title（参考訳）: フローマッチングにおける潜時推論の意義
• Abstract要約: 潜在推論により、大きな言語モデルは連続した空間で考え、答えのみを言葉で表すことができる。 有効な潜伏思想は5つの要件を満たす必要があると我々は主張する。 FLaReは、潜伏空間がエンコードしたものと、それをどのように形成するか、フローのトレーニング場所、答えの読み方、そしてモデル自身の検証された思考に関する最終段階を含む単純なレシピである。
• 参考スコア（独自算出の注目度）: 52.62368406036621
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Latent reasoning lets a large language model (LLM) think in a continuous space and verbalize only the answer. We argue that an effective latent thought must meet five requirements: it should be useful, helping produce the correct answer rather than merely changing it, diverse, so that resampling yields different reasoning trajectories, explainable, so that a decoded chain of thought (CoT) reflects reasoning the answer actually follows, refinable with more inference compute, and efficient, costing less than an explicit CoT at comparable accuracy. Current methods rarely meet these requirements: they learn shortcuts from the question, distill the explicit CoT into their weights, or imitate it one token at a time. We focus on flow matching in a learned latent space, the family we argue is best placed to meet them, and identify the training choices that make it work. The result is Flow-based Latent Reasoning (FLaRe), a simple recipe covering what the latent space encodes and how to shape it, where to train the flow, how to read out the answer, and a final stage of training on the model's own verified thoughts. A probe for each requirement shows that FLaRe improves on prior latent methods in all five. It also compares favorably with them on arithmetic benchmarks, while reaching 97% of the accuracy of explicit CoT at a quarter of its latency.
• Abstract（参考訳）: 潜在推論は、大きな言語モデル(LLM)を連続した空間で考え、答えのみを言語化する。 効果的な潜在思考は有用であるべきであり、単に変更するのではなく、多様であり、再サンプリングが異なる推論軌道を産み出すので、デコードされた思考の連鎖(CoT)が、実際に従う推論を反映し、より推論計算で精製可能であり、より効率的で、明示的なCoTよりも高いコストがかかる。 現在の方法はこれらの要件を満たすことはめったにない:彼らは質問からショートカットを学び、明示的なCoTを重みに蒸留し、一度に1つのトークンを模倣する。 私たちは学習した潜在領域におけるフローマッチングに重点を置いています。 Flow-based Latent Reasoning (FLaRe)は、潜伏空間がエンコードしたものと、それをどのように形成するか、フローのトレーニング場所、答の読み方、モデルの検証済み思想に関するトレーニングの最終段階を含むシンプルなレシピである。 それぞれの要件に対する調査では、FLaReは5つすべてで先行しているメソッドを改善している。 また、算術的なベンチマークでそれらを好適に比較し、そのレイテンシの4分の1で明示的なCoTの精度の97%に達する。

関連論文リスト

• Think in Latent, Explain in Language: Self-Explainable Latent Reasoning [60.882997917270934]
  自己説明可能な潜在推論(SELR)のための統合フレームワークを提案する。 SELRは1つのモデルを訓練し、効率的で本質的に説明可能な潜在推論を行う。 この設計により、生成された潜在表現がタスク効果と意味論的に解釈可能であることが保証される。
  論文  参考訳（メタデータ） (2026-07-01T16:11:00Z)
• Latent Thought Flow: Efficient Latent Reasoning in Large Language Models [23.52673819075993]
  本稿では,可変長連続軌道をモデルとした潜在思考フロー(LTF)を提案する。 微調整と転写学習による実験では、LTFは明示的なCoTおよび潜在推論基準よりも優れており、精度は9.5%向上し、推論長は平均27.2%低下している。
  論文  参考訳（メタデータ） (2026-06-15T05:02:46Z)
• Latent Reasoning in LLMs as a Vocabulary-Space Superposition [80.01651003144282]
  大規模言語モデル(LLM)は、チェーン・オブ・シークレット・プロンプトによる強力な推論能力を示すが、明示的な推論は計算上のオーバーヘッドを大幅に引き起こす。 遅延推論に関する最近の研究は、明示的な監督なしに遅延空間を推論することでコストを削減するが、性能は著しく低下する。 この問題に対処するため、LLM語彙の列空間に潜伏空間を制限し、潜伏推論を語彙確率の重ね合わせとして扱う。 後続の推論が終わると、それは最終的な答えを得るために明確な推論の固有状態に崩壊する。 Latent-SFTはGSM8kに新しい状態を設定し、明示的に一致する
  論文  参考訳（メタデータ） (2025-10-17T10:51:20Z)
• Answer Convergence as a Signal for Early Stopping in Reasoning [7.51755942515969]
  大型言語モデル(LLM)における思考の連鎖(CoT)の促進 提案手法は,(1)応答整合性による早期停止,(2)終末信号発生確率の向上,(3)内部アクティベーションに基づいていつ停止するかを学習する教師付き手法である。
  論文  参考訳（メタデータ） (2025-06-03T07:20:54Z)
• Thinkless: LLM Learns When to Think [57.857534644932194]
  推論モデル(Reasoning Language Models)は、複雑な論理的推論を必要とするタスクにおいて顕著な性能を示す。 我々は,LLMが短文推論と長文推論を適応的に選択できる学習可能なフレームワークであるThinklessを提案する。 Minerva Algebra、MATH-500、GSM8Kなどのベンチマークでは、Thinklessはロングチェーン思考の使用を50%から90%削減することができる。
  論文  参考訳（メタデータ） (2025-05-19T17:24:16Z)
• Think When You Need: Self-Adaptive Chain-of-Thought Learning [20.22448368125018]
  思考の連鎖(CoT)推論は言語モデルの性能を高めるが、単純な問題では非効率な「過剰思考」につながることが多い。 推論長を直接罰する既存の手法は、様々な問題の複雑さを考慮に入れない。 提案手法は,解の正しさと簡潔さを両立させる理論的な仮定によって導かれる,長さと品質の比較を通じて報酬を構成する。
  論文  参考訳（メタデータ） (2025-04-04T07:34:01Z)
• FLARE: Faithful Logic-Aided Reasoning and Exploration [47.46564769245296]
  タスク分解を用いて問題空間をトラバースする新しい手法を提案する。 我々はLarge Language Modelsを使ってソリューションを計画し、クエリを事実に軟式化し、論理プログラミングコードを使って述語する。 提案手法は,生成したコードに対する推論プロセスの忠実度を計算し,外部の解法に頼らずにマルチホップ探索のステップを解析する。
  論文  参考訳（メタデータ） (2024-10-14T19:39:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。