論文の概要: Distilling Long-CoT Reasoning through Collaborative Step-wise Multi-Teacher Decoding

• arxiv url: http://arxiv.org/abs/2605.02290v1
• Date: Mon, 04 May 2026 07:26:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:50.176886
• Title: Distilling Long-CoT Reasoning through Collaborative Step-wise Multi-Teacher Decoding
• Title（参考訳）: 協調的なステップワイド多教師復号による長期CoT推論
• Authors: Taewon Yun, Jisu Shin, Jeonghwan Choi, Seunghwan Bang, Hwanjun Song,
• Abstract要約: 我々は,予測パープレキシティに基づくスコアリングとビームサーチによって導かれるステップワイズ推論合成を行う,協調型マルチ教師デコーディングフレームワークであるCoRDを紹介する。 実験の結果,CoRDは質の高い推論データを生成し,教師レベルに近い成績を得られた。
• 参考スコア（独自算出の注目度）: 25.81162875653095
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distilling large reasoning models is essential for making Long-CoT reasoning practical, as full-scale inference remains computationally prohibitive. Existing curation-based approaches select complete reasoning traces post-hoc, overlooking collaboration among heterogeneous teachers and lacking dynamic exploration, which leads to redundant sampling and missed complementary reasoning. We introduce CoRD, a collaborative multi-teacher decoding framework that performs step-wise reasoning synthesis guided by predictive perplexity-based scoring and beam search. This enables heterogeneous LRMs to jointly construct coherent reasoning trajectories while efficiently preserving diverse, high-potential hypotheses. Experiments show that CoRD produces higher-quality reasoning data and achieves near teacher-level student performance with fewer, structured supervision signals, without substantial efficiency overhead. CoRD further generalizes well to out-of-domain and open-ended settings. The dataset and model are available at \href{https://github.com/DISL-Lab/CoRD}{https://github.com/DISL-Lab/CoRD}.
• Abstract（参考訳）: 大きな推論モデルを蒸留することはLong-CoT推論を実践するために必須であり、完全な推論は計算的に禁じられている。 既存のキュレーションベースのアプローチでは、ヘテロジニアスな教師間のコラボレーションを見落とし、動的探索が欠如しており、冗長なサンプリングと補足的推論の欠如につながっている。 我々は,予測パープレキシティに基づくスコアリングとビームサーチによって導かれるステップワイズ推論合成を行う,協調型マルチ教師デコーディングフレームワークであるCoRDを紹介する。 これによりヘテロジニアスLEMは、多種多様な高ポテンシャル仮説を効率的に保存しつつ、コヒーレントな推論軌道を共同で構築することができる。 実験の結果、CoRDは高品質な推論データを生成し、教師レベルに近い成績を、かなりの効率のオーバーヘッドを伴わずに、より少ない構造化された監視信号で達成していることがわかった。 CoRDはドメイン外およびオープンな設定にさらに一般化する。 データセットとモデルは \href{https://github.com/DISL-Lab/CoRD}{https://github.com/DISL-Lab/CoRD} で公開されている。

関連論文リスト

• PLUME: Latent Reasoning Based Universal Multimodal Embedding [52.35354073629127]
  ユニバーサルマルチモーダル埋め込み(UME)は、異種入力を単一のモデルで共有検索空間にマッピングする。 最近のアプローチでは、埋め込みを抽出する前に明確なチェーン・オブ・シント(CoT)論理を生成することにより、UMEを改善している。 PLUMEは,言語化されたCoTを連続的潜伏状態の短時間の自己回帰ロールアウトに置き換えることで,UMEを進化させる潜在的推論フレームワークである。
  論文  参考訳（メタデータ） (2026-04-02T14:04:53Z)
• Search-R2: Enhancing Search-Integrated Reasoning via Actor-Refiner Collaboration [49.9937230730202]
  本稿では,新たなアクター・リファイナ・コラボレーション・フレームワークであるSearch-R2を提案する。 提案手法は,生成過程をアクターに分解し,最初の推論軌道を生成する。 本稿では,検索-R2がモデルスケール全体にわたって強力なRAGとRLベースのベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-02-03T15:32:09Z)
• Latent-Space Contrastive Reinforcement Learning for Stable and Efficient LLM Reasoning [16.244366307890832]
  textbfDeepLatent Reasoning(DLR)を提案する。 このフレームワークは、試行錯誤コストを、高価なトークンレベルのフルシーケンス生成から連続潜在多様体へシフトさせる。 実験により、DLRはより安定した訓練収束を実現し、より長い水平推論チェーンをサポートし、推論能力の持続的な蓄積を促進することが示されている。
  論文  参考訳（メタデータ） (2026-01-24T03:18:22Z)
• Consistent Paths Lead to Truth: Self-Rewarding Reinforcement Learning for LLM Reasoning [87.7836502955847]
  本稿では,Large Language Model (LLM)推論を強化するための,自己回帰型強化学習フレームワークを提案する。 私たちのキーとなる洞察は、正しい応答はモデルの可能性の観点から一貫した軌道パターンを示すことが多いということです。 本稿では,安定度とボラティリティを,頑健なベクトル空間集約戦略を通じて統合する,本質的な報酬機構であるCoVoを紹介する。
  論文  参考訳（メタデータ） (2025-06-10T12:40:39Z)
• Enhancing Long-Chain Reasoning Distillation through Error-Aware Self-Reflection [64.73809794561305]
  errOr-aware self-ReflectION (ORION) は、エラー・アウェア・リフレクション(Error-Aware Reflection)プロセスを通じて教師のCoTを洗練するフレームワークである。 複数の数学的推論ベンチマークの実験では、ORIONはすべてのベースラインに対して2%以上パフォーマンスを継続的に改善している。
  論文  参考訳（メタデータ） (2025-05-28T08:57:03Z)
• TACO: Think-Answer Consistency for Optimized Long-Chain Reasoning and Efficient Data Learning via Reinforcement Learning in LVLMs [50.820065021136024]
  DeepSeek R1には、大規模言語モデル(LLM)のためのかなり高度な複雑な推論がある。 最近の手法は、R1の推論能力をマルチモーダルな設定で再現しようと試みている。 視覚推論のための新しい強化学習アルゴリズムTACOを提案する。
  論文  参考訳（メタデータ） (2025-05-27T06:30:48Z)
• Reinforced Latent Reasoning for LLM-based Recommendation [92.56166822197919]
  大きな言語モデル(LLM)は、複雑な問題解決タスクにおいて印象的な推論能力を示している。 既存の手法は通常、明示的なチェーン・オブ・シント(CoT)データによる微調整に依存している。 本研究では, 明示的なCoT推論から, コンパクトで情報密度の高い潜伏推論へ移行する代替手法について検討する。
  論文  参考訳（メタデータ） (2025-05-25T11:03:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。