論文の概要: Aha-Flow Distillation: Flow Markers Matter in LLM Reasoning
- arxiv url: http://arxiv.org/abs/2609.07036v1
- Date: Mon, 07 Sep 2026 04:44:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.362989
- Title: Aha-Flow Distillation: Flow Markers Matter in LLM Reasoning
- Title（参考訳）: Aha-Flow蒸留 : LLM推論におけるフローマーカーの意義
- Abstract要約: 本研究では,持続的,プロセス確認型言語化を特徴とする推論パターンであるフローモーメントを同定する。
本研究では,元となる推論内容を保持しつつ,元の推論トレースの談話マーカーを書き換えることで,Flow-CoTを構築する。
OPSDの2モード拡張であるtextbfAha-Flow Distillation (AFD) を提案する。
- 参考スコア（独自算出の注目度）: 20.850488435291687
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We identify the Flow Moment, a reasoning pattern characterized by sustained, process-confirming verbalizations such as I'm doing, in contrast to the revision- and backtracking-oriented Aha Moment. We refer to their corresponding linguistic expressions as Flow Markers and Aha Markers, respectively. Based on this observation, we construct Flow-CoT by rewriting the discourse markers of original reasoning traces while preserving their underlying reasoning content, and use it as auxiliary supervision for on-policy self-distillation (OPSD). We further propose \textbf{Aha-Flow Distillation (AFD)}, a dual-mode extension of OPSD that pairs different forms of privileged information with corresponding reasoning instructions. The Aha branch retains concise solution-based supervision, while the Flow branch introduces rewritten Flow-CoT under a direct and confident reasoning instruction. At inference time, the model uses only the standard reflective instruction, so Flow-style reasoning serves purely as a training signal. Experiments on AIME25 and HMMT25 show consistent improvements across Qwen3-8B and Qwen3-4B: AFD improves Avg@12 from 60.8 to 61.3 on Qwen3-8B and from 57.5 to 58.6 on Qwen3-4B over our reproduced OPSD baselines. Controlled ablations further show that, with the same Flow-CoT/Aha-CoT composition, dual-mode training improves Avg@12 from 59.5 to 60.1, indicating that the benefit comes not only from introducing heterogeneous reasoning supervision, but also from how it is organized during self-distillation. The code is available at https://github.com/Wang-Xiaodong1899/Aha-Flow-Distillation.
- Abstract（参考訳）: 本研究では,「フロー・モーメント」と「フロー・モーメント」を,「フロー・モーメント」と「フロー・モーメント」とを対比し,「フロー・モーメント」と「フロー・モーメント」と「フロー・モーメント」を対比した。
それぞれの言語表現をフローマーカー(Flow Markers)とアハマーカー(Aha Markers)と呼ぶ。
本研究は,フローCoTを基本的推論内容を保持しつつ,元の推論トレースの談話マーカーを書き換えることにより構築し,それをオンライン自己蒸留(OPSD)の補助的監視として利用する。
さらに,OPSD の2モード拡張である \textbf{Aha-Flow Distillation (AFD) を提案する。
Ahaブランチは簡潔なソリューションベースの監視を維持し、Flowブランチは直接かつ確実な推論命令の下でFlow-CoTを書き換える。
推論時、モデルは標準反射命令のみを使用するため、フロースタイルの推論は純粋に訓練信号として機能する。
AFDはQwen3-8Bで60.8から61.3に改善し、Qwen3-4Bで57.5から58.6に改善した。
さらに、フロー-CoT/Aha-CoTの同じ組成で、二重モードのトレーニングは、Avg@12を59.5から60.1に改善し、不均一な推論の監督を導入することによる利益だけでなく、自己蒸留の際の組織化からも得られることを示唆している。
コードはhttps://github.com/Wang-Xiaodong1899/Aha-Flow-Distillationで公開されている。
関連論文リスト
- FlowBender: Feedback-Aware Training for Self-Correcting Conditional Flows [18.746098727212544]
FlowBenderは3D再構成のための新しい拡散流モデルである。
FlowBenderは、標準的な教師付きアライメントトレーニングよりも一貫して優れています。
微分可能な演算子に対して、FlowBenderのいくつかの変種を提案する。
論文 参考訳（メタデータ） (2026-06-18T15:56:07Z) - ReasoningFlow: Discourse Structures for Understanding LLM Reasoning Traces [13.927941324541356]
ReasoningFlowは、LRM推論の談話構造を微粒な非巡回グラフにトレースするフレームワークである。
ReasoningFlowグラフを解析することにより、異なるベースモデルからトレーニングされているにもかかわらず、LRMは構造的に類似したトレースを示すことがわかった。
ReasoningFlowは、トレース監視性を改善するために使用できる、さまざまなきめ細かい推論動作を明らかにする。
論文 参考訳（メタデータ） (2026-06-03T20:12:26Z) - MEMENTO: Teaching LLMs to Manage Their Own Context [50.3558738319336]
推論モデルは、自身の中間状態を圧縮または整理するメカニズムのない、長い、構造化されていないストリームを思い浮かべる。
MementO: ブロックに推論を分割し、各ブロックをメメントに圧縮し、メメントにのみ参加して推論を行う方法をモデルに教える手法を紹介する。
OpenMementos上の2段階のSFTレシピは、異なるモデルファミリやスケールで有効であることを示す。
論文 参考訳（メタデータ） (2026-04-10T19:30:29Z) - CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。
静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。
LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
論文 参考訳（メタデータ） (2026-02-04T00:12:30Z) - EDIT: Early Diffusion Inference Termination for dLLMs Based on Dynamics of Training Gradients [6.736735746633275]
拡散に基づく大規模言語モデル (dLLMs) は反復的妄想を通じてトークン生成を洗練させるが、全てのステップが完了する前に答えは安定することが多い。
本稿では,トレーニング時推論に対する十分な推論安定性が検出された場合に,適応的にデノイングを停止する推論時基準であるEDITを提案する。
論文 参考訳（メタデータ） (2025-11-29T23:47:47Z) - FlowSteer: Guiding Few-Step Image Synthesis with Authentic Trajectories [82.90132015584359]
ReFlowはフローマッチングと理論的に整合性があるが、現実的なシナリオでは最適ではない。
本研究では,ReFlowをベースとした蒸留手法であるFlowSteerを提案する。
論文 参考訳（メタデータ） (2025-11-24T07:13:23Z) - FRIT: Using Causal Importance to Improve Chain-of-Thought Faithfulness [7.721663297811698]
CoT(Chain-of- Thought)推論は,複雑なタスクにおける大規模言語モデルのパフォーマンス向上のための強力なツールとして登場した。
最近の研究は、推論ステップが最終回答に因果的に影響を与えず、不安定で信頼できないアウトプットを生み出していることを示している。
本稿では、因果一貫性のある推論を生成するためにモデルをトレーニングするスケーラブルなアライメント手法であるFhithful Reasoning via Intervention Training (FRIT)を紹介する。
論文 参考訳（メタデータ） (2025-09-10T07:07:17Z) - Contrastive Flow Matching [61.60002028726023]
コントラストフローマッチング(Contrastive Flow Matching)は、全ての条件フローに対して一意性を明示するフローマッチング対象の拡張である。
提案手法は,任意のサンプル対からの予測フロー間の相違を最大化するための対照的な目的を与える。
比較フローマッチングによるトレーニングモデル(1)は最大9倍のトレーニング速度,(2)は最大5倍のノイズ除去ステップ,(3)FIDを最大8.9以下に向上させる。
論文 参考訳（メタデータ） (2025-06-05T17:59:58Z) - SCOUT: Teaching Pre-trained Language Models to Enhance Reasoning via Flow Chain-of-Thought [37.53215651690168]
思考の連鎖(CoT)は、ステップ思考を奨励することで、大きな言語モデル(LLM)の推論性能を向上させる。
有望ではあるが、CoTベースのアプローチは、しばしばコストのかかる事前トレーニングを必要とし、推論の進化に関する原則的なフレームワークを欠いている。
プリトレーニングを必要とせずにFlow CoTスタイルの推論を可能にする軽量な微調整フレームワークSCOUTを提案する。
論文 参考訳（メタデータ） (2025-05-30T03:43:24Z) - Rectified Diffusion: Straightness Is Not Your Need in Rectified Flow [65.51671121528858]
拡散モデルは、視覚生成を大幅に改善したが、生成ODEを解くという計算集約的な性質のため、生成速度の遅さによって妨げられている。
広く認識されている解である整流流は、ODEパスを直線化することで生成速度を向上させる。
本稿では,より広範な拡散モデルのカテゴリをカバーするために,設計空間と修正の応用範囲を一般化するRectified Diffusionを提案する。
論文 参考訳（メタデータ） (2024-10-09T17:43:38Z) - Self-Supervised Learning of Non-Rigid Residual Flow and Ego-Motion [63.18340058854517]
動的3次元シーンに対する非剛性残留流とエゴ運動流の連成推定によるエンドツーエンドのシーンフロー学習法を提案する。
我々は、点クラウドシーケンスの時間的一貫性性に基づいて、自己監督的な信号で教師付きフレームワークを拡張した。
論文 参考訳（メタデータ） (2020-09-22T11:39:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。