論文の概要: LARK: Learnability-Grounded Trajectory Selection for Efficient Reasoning Distillation

• arxiv url: http://arxiv.org/abs/2605.30651v1
• Date: Thu, 28 May 2026 23:11:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.285098
• Title: LARK: Learnability-Grounded Trajectory Selection for Efficient Reasoning Distillation
• Title（参考訳）: LARK:効率的な推論蒸留のための学習性を考慮した軌道選択
• Abstract要約: 我々は、軌道選択を推論する学習容易化手法であるLARKを提案する。 LARKの中核は学習可能性係数$$であり、学生のトレーニング損失が減少する速度を特徴付ける。 LARKは複数のベースモデルと推論タスクでデータ選択ベースラインを一貫して上回ることを示す。
• 参考スコア（独自算出の注目度）: 33.288906333038
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study trajectory selection for reasoning distillation, where teacher-generated reasoning trajectories are selectively used as supervision for a student model. Existing methods rely on heuristics such as trajectory quality or model confidence, but they often overlook whether a trajectory is learnable by the student. In this paper, we present LARK, a learnability-grounded method for reasoning trajectory selection. LARK selects trajectories that the student can learn efficiently while preserving the generalization of the full training distribution. At the core of LARK is a learnability factor $ρ$, which characterizes the rate at which the student's training loss decreases. To estimate this rate efficiently and maintain generalization, we introduce a learnability proxy and a $χ^2$-regularized selection policy that balances learnability and distributional coverage, both with strong theoretical guarantees on their estimation error. Empirically, LARK consistently outperforms data selection baselines across multiple base models and reasoning tasks. Diagnostic analyses show that the LARK score predicts downstream training utility and that LARK-selected trajectories induce faster supervised fine-tuning loss reduction. Our code is available at https://github.com/Tianrun-Yu/LARK.
• Abstract（参考訳）: 本研究では, 学生モデルの指導として, 教師が生成した推論軌跡を選択的に活用する, 推論蒸留のための軌道選択について検討する。 既存の手法は、軌跡の品質やモデルの信頼性といったヒューリスティックな理論に依存しているが、学生が軌跡を学習できるかどうかを見落としていることが多い。 本稿では,軌道選択を推論する学習容易化手法であるLARKを提案する。 LARKは、全学習分布の一般化を保ちながら、学生が効率的に学習できる軌道を選択する。 LARKのコアとなるのは学習可能性係数$ρ$であり、学生のトレーニング損失が減少する速度を特徴付ける。 このレートを効率的に推定し、一般化を維持するために、学習可能性プロキシと、学習可能性と分布カバレッジのバランスを保ちながら、その推定誤差に関する強力な理論的保証を付与する、$ ^2$-regularized selection Policyを導入する。 実証的には、LARKは複数のベースモデルと推論タスクでデータ選択ベースラインを一貫して上回る。 診断解析により,LARKスコアは下流トレーニングユーティリティを予測し,LARK選択トラジェクトリはより高速な教師付き微調整損失低減を誘導することが示された。 私たちのコードはhttps://github.com/Tianrun-Yu/LARK.comで公開されています。

関連論文リスト

• Revisiting Complete Reasoning Traces for Post-Training [61.76889440384448]
  大規模言語モデル(LLM)は、しばしば推論能力を改善するために、事前コンパイルされた推論軌道上で後から訓練される。 フルトラジェクトリは限られた利益しか得られないが, 部分トラジェクトリは重いトラジェクトリの下でも有効である。
  論文  参考訳（メタデータ） (2026-09-07T06:46:17Z)
• When Teacher Guidance Misleads: Reward-Aligned On-Policy Distillation [21.86522736658343]
  本稿では, 教師指導の誤りを軽減するために, Reward-Aligned On-Policy Distillation (RA-OPD)を提案する。 RA-OPDは、さらなる計算コストを必要とせずに、より信頼性の高い軌道を選択し、生徒モデルの性能を向上させる。 我々は,Qwen3ファミリーとDeepSeek-R1ファミリーのモデルを用いて,数学とコードベンチマークのRA-OPDを評価する。
  論文  参考訳（メタデータ） (2026-08-28T06:05:50Z)
• Post-Training at the Edge of Detectability: A Game-Theoretic Approach to Fine-Tuning [58.088509347353465]
  強化学習(Reinforcement Learning, RL)は、言語モデルトレーニングにおいて広く使われている。 我々は,このトレードオフに明確な統計的解釈を与えるゲーム理論の枠組みを提案する。
  論文  参考訳（メタデータ） (2026-07-29T00:19:09Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)
• Which Reasoning Trajectories Teach Students to Reason Better? A Simple Metric of Informative Alignment [82.00769536768509]
  Rank-Surprisal Ratioは、推論軌道の適合性を評価するためにアライメントとインフォメーションの両方をキャプチャする単純な計量である。 軌道選択と教師選択の両方において,その実用性を実証する。
  論文  参考訳（メタデータ） (2026-01-20T18:58:10Z)
• HINT: Helping Ineffective Rollouts Navigate Towards Effectiveness [49.72591739116668]
  強化学習(RL)は、大規模言語モデル(LLM)の長いチェーン・オブ・シント(CoT)推論能力を高めるための重要な要因となっている。 しかし、GRPOのような一般的な手法は、タスクの難しさがモデルの能力を超えると失敗し、スパーシリティと非効率なトレーニングに報いる。 我々は、適応的なヒントフレームワークであるHINT: Helping In Effective Rollouts Navigate Towards Effectiveを提案する。
  論文  参考訳（メタデータ） (2025-10-10T13:42:03Z)
• Off-Trajectory Reasoning: Can LLMs Collaborate on Reasoning Trajectory? [13.980638430366625]
  推論 LLM は推論プロセスの言語化のために訓練され、複雑なタスクに対して強い利益をもたらす。 重要な前提条件は、他のモデルの部分的思考に基づいて有用性を評価し、構築する能力である。 本稿では,標準の単調訓練パイプラインが望ましい軌道外行動を提供できるか,という課題を考察する。
  論文  参考訳（メタデータ） (2025-10-07T19:42:50Z)
• Consistent Paths Lead to Truth: Self-Rewarding Reinforcement Learning for LLM Reasoning [87.7836502955847]
  本稿では,Large Language Model (LLM)推論を強化するための,自己回帰型強化学習フレームワークを提案する。 私たちのキーとなる洞察は、正しい応答はモデルの可能性の観点から一貫した軌道パターンを示すことが多いということです。 本稿では,安定度とボラティリティを,頑健なベクトル空間集約戦略を通じて統合する,本質的な報酬機構であるCoVoを紹介する。
  論文  参考訳（メタデータ） (2025-06-10T12:40:39Z)
• Beyond Markovian: Reflective Exploration via Bayes-Adaptive RL for LLM Reasoning [55.36978389831446]
  我々はベイズ適応RLフレームワークにおける反射探査を再放送する。 我々のアルゴリズムであるBARLは、観測結果に基づいて戦略を縫い替えるようにLLMに指示する。
  論文  参考訳（メタデータ） (2025-05-26T22:51:00Z)
• Dynamic Learning Rate for Deep Reinforcement Learning: A Bandit Approach [2.743898388459522]
  深層強化学習(RL)では、学習速度は安定性と性能の両方に重大な影響を及ぼすが、環境と政策が進化するにつれて、トレーニング中に最適な価値がシフトする。 標準崩壊スケジューラは単調収束を仮定し、しばしばこれらのダイナミクスと不一致し、早めまたは遅れた調整をもたらす。 LRRLは、学習手順ではなく、政策性能に基づいて動的に学習率を選択するメタ学習手法である。
  論文  参考訳（メタデータ） (2024-10-16T14:15:28Z)
• Out-of-Distribution Detection with Hilbert-Schmidt Independence Optimization [114.43504951058796]
  異常検出タスクはAIの安全性において重要な役割を担っている。 ディープニューラルネットワーク分類器は通常、アウト・オブ・ディストリビューション(OOD)の入力を、信頼性の高いイン・ディストリビューション・クラスに誤って分類する傾向がある。 我々は,OOD検出タスクにおいて実用的かつ理論的に有効な代替確率論的パラダイムを提案する。
  論文  参考訳（メタデータ） (2022-09-26T15:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。