論文の概要: EvoReason: Self-Evolving Reasoning Primitive-Guided On-Policy Distillation for Latent Reasoning in Generative Recommendation
- arxiv url: http://arxiv.org/abs/2607.29010v1
- Date: Fri, 31 Jul 2026 04:24:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 14:29:40.589654
- Title: EvoReason: Self-Evolving Reasoning Primitive-Guided On-Policy Distillation for Latent Reasoning in Generative Recommendation
- Title(参考訳): EvoReason: 生成的レコメンデーションのための自己進化型プリミティブガイドオンポリシィ蒸留法
- Abstract要約: EvoReasonは、学生の潜伏推論空間と明確な推論監督を整合させる、自己進化的な潜伏推論フレームワークである。
教師にプリミティブ・アウェアの推論機能を持たせることで、冗長性を低減し、一貫性を向上し、構造化されたチェーン・オブ・シンセサイザーを生成することができる。
潜伏推論最適化において、EvoReasonは、学生の潜伏推論結果に応じて原始誘導推論プロセスが進化する自己進化型オンライン蒸留機構を導入する。
- 参考スコア(独自算出の注目度): 28.33329171247283
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative recommendation benefits from reasoning-enhanced inference, and latent reasoning offers an efficient paradigm by encoding intermediate reasoning processes into compact continuous representations for latency-sensitive deployment. Despite its efficiency, existing latent reasoning approaches typically rely on directly distilling raw chain-of-thought (CoT) trajectories into latent representations, assuming that textual reasoning traces provide sufficient supervision. However, recommendation reasoning trajectories contain diverse reasoning processes with redundant expressions and unstable reasoning paths, making raw CoT supervision suboptimal for learning transferable latent reasoning representations. To address this challenge, we propose EvoReason, a self-evolving latent reasoning framework that adaptively aligns explicit reasoning supervision with the student's latent reasoning space through primitive-guided on-policy distillation. First, EvoReason extracts reusable reasoning primitives from high-quality agentic recommendation trajectories, where each primitive captures an essential reasoning behavior and serves as a pseudo-tool for structured teacher reasoning. Then, based on these primitives, we equip the teacher with primitive-aware reasoning capabilities, enabling it to generate structured CoT supervision with reduced redundancy and improved consistency. Finally, during latent reasoning optimization, EvoReason introduces a self-evolving on-policy distillation mechanism, where the primitive-guided reasoning process evolves according to the student's latent reasoning outcomes. Through this closed-loop co-evolution, policy updates continuously improve latent reasoning behaviors is refined according to the resulting latent reasoning outcomes, enabling progressively better-aligned CoT supervision and more effective reasoning transfer.
- Abstract(参考訳): 推論の強化による生成的推奨は、遅延に敏感なデプロイメントのために中間的推論プロセスをコンパクトな連続表現に符号化することで、効率的なパラダイムを提供する。
その効率性にもかかわらず、既存の潜伏推論アプローチは典型的には、テキストの推論トレースが十分な監督を与えると仮定して、生のチェーン・オブ・シント(CoT)軌道を潜伏表現に直接蒸留することに頼っている。
しかし、レコメンデーション推論トラジェクトリには、冗長な表現と不安定な推論経路を持つ多様な推論プロセスが含まれており、トランスファー可能な潜在推論表現を学習するために、生のCoT監督が最適である。
この課題に対処するため, プリミティブ誘導型オンライン蒸留を通じて, 学生の潜伏推論空間と明示的推論監督を適応的に整合させる自己進化型潜伏推論フレームワークであるEvoReasonを提案する。
まず、EvoReasonは、高品質なエージェントレコメンデーショントラジェクトリから再利用可能な推論プリミティブを抽出し、各プリミティブが本質的な推論行動を捉え、構造化された教師推論のための擬似ツールとして機能する。
そして、これらのプリミティブに基づいて、教師にプリミティブ認識推論機能を持たせ、冗長性を低減し、一貫性を改善した構造化CoT監視を生成する。
最後に、潜伏推論最適化において、EvoReasonは、学生の潜伏推論結果に応じて原始誘導推論プロセスが進化する自己進化型オンライン蒸留機構を導入する。
このクローズドループの共進化を通じて、ポリシー更新は、結果の潜伏推論結果に従って、潜伏推論の振る舞いを継続的に改善し、徐々に整合したCoTの監督とより効果的な推論伝達を可能にします。
関連論文リスト
- Retrieval Grounding Latent Reasoning for Dense Retrieval [30.66182684102075]
推論集約的な検索は、与えられた命令の下で関連性を決定するのに必要な推論を必要とする。
本稿では,RGLT(Retrieval Grounding Latent Reasoning)を提案する。
推論集約型検索ベンチマークの実験は、RGLTが強いベースラインを一貫して上回っていることを示している。
論文 参考訳(メタデータ) (2026-08-14T09:08:03Z) - WhisperRec: Latent Reasoning for Efficient Foundation Recommendation Models [51.88075626243057]
基礎推薦モデル(FRM)のための効率的な潜在推論フレームワークであるWhisperRecを提案する。
WhisperRecは教師生成のChain-of-Thought(CoT)を学習可能な潜在推論トークンに圧縮する。
WhisperRecは明示的なCoT法と従来のベースラインを一貫して上回ることを示す。
論文 参考訳(メタデータ) (2026-07-29T08:48:35Z) - EvoThink: Evolving Thinking in Large Reasoning Models via Self-Pruning and Aha-Moment Preference Optimization [23.37325724250601]
大規模な推論モデル(LRM)は、冗長な検証ステップのために過度に検討されることが多い。
冗長な検証を減らし,新たな推論経路の探索を促すフレームワークであるEvoThinkを提案する。
論文 参考訳(メタデータ) (2026-07-22T09:40:22Z) - Learning Structured Reasoning via Tractable Trajectory Control [99.75278337895024]
Ctrl-Rは、トラクタブルな軌道制御を通じて構造化推論を学ぶためのフレームワークである。
Ctrl-Rは,従来達成できなかった推論パターンを効果的に探索し,内部化することができることを示す。
論文 参考訳(メタデータ) (2026-03-02T09:18:19Z) - ReGuLaR: Variational Latent Reasoning Guided by Rendered Chain-of-Thought [49.203970812338916]
明示的な推論連鎖は、かなりの計算冗長性をもたらす。
近年の潜時推論法は、推理過程を潜時空間に圧縮することによりこれを緩和しようとする。
我々はRendered CoT-Guided Variational Latent Reasoning (ReGuLaR)を提案する。
論文 参考訳(メタデータ) (2026-01-30T17:08:06Z) - Think Consistently, Reason Efficiently: Energy-Based Calibration for Implicit Chain-of-Thought [33.267497114389734]
大規模言語モデル(LLM)は、emphChain-of-Thought(CoT)のプロンプトを通じて、強力な推論能力を示している。
CoT法は離散トークンレベルの推論プロセスに依存しており、誤りの伝播が難しく、語彙によって制限される。
EBM-CoT(Energy-based Chain-of-Thought)フレームワークを提案する。
論文 参考訳(メタデータ) (2025-11-10T14:10:58Z) - CTRLS: Chain-of-Thought Reasoning via Latent State-Transition [57.51370433303236]
チェーン・オブ・シント(CoT)推論は、大規模な言語モデルで複雑な問題を解釈可能な中間ステップに分解することを可能にする。
我々は,遅延状態遷移を伴うマルコフ決定プロセス(MDP)としてCoT推論を定式化するフレームワークであるgroundingSを紹介する。
我々は、ベンチマーク推論タスクにおける推論精度、多様性、探索効率の改善を示す。
論文 参考訳(メタデータ) (2025-07-10T21:32:18Z) - A Survey on Latent Reasoning [100.54120559169735]
大きな言語モデル(LLM)は印象的な推論機能を示している。
中間ステップを言語化するCoT推論は、モデルの表現帯域幅を制限する。
潜在的推論は、モデルの連続的な隠れ状態に完全にマルチステップの推論を実行することで、このボトルネックに対処する。
論文 参考訳(メタデータ) (2025-07-08T17:29:07Z) - ConciseHint: Boosting Efficient Reasoning via Continuous Concise Hints during Generation [74.37307916314407]
提案するフレームワークはConciseHintと呼ばれ,推論モデルが簡潔に話すことを継続的に奨励する。
DeepSeek-R1 および Qwen-3 シリーズを含む最先端の LRM 実験により,本手法が簡潔な推論を効果的に生成できることが実証された。
論文 参考訳(メタデータ) (2025-06-23T16:20:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。