論文の概要: Understanding Curriculum Learning in Large Language Models via Cross-Difficulty Optimization Dynamics

• arxiv url: http://arxiv.org/abs/2608.17268v1
• Date: Tue, 18 Aug 2026 01:51:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.180631
• Title: Understanding Curriculum Learning in Large Language Models via Cross-Difficulty Optimization Dynamics
• Title（参考訳）: クロスディフルティ最適化ダイナミクスを用いた大規模言語モデルにおけるカリキュラム学習の理解
• Abstract要約: 異なる難易度間の伝達関係は,カリキュラム学習によって引き起こされる最適化のダイナミクスを特徴付けることを示す。 我々の研究は、クロスディフルティー・トランスファーによるカリキュラム学習の統一的な最適化に基づく説明を提供する。
• 参考スコア（独自算出の注目度）: 5.2200534546273465
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Curriculum learning has been widely adopted in the post-training of large language models by organizing training data from easy to hard. However, its effectiveness varies substantially across reasoning tasks, suggesting that no single curriculum is universally optimal and raising a fundamental question: what determines when curriculum learning works? In this paper, we answer this question by analyzing the optimization dynamics induced by different curriculum schedules. We show that the transfer relationship between different difficulty levels characterizes the optimization dynamics induced by curriculum learning, which in turn explains the effectiveness of different curriculum schedules, and formalize this relationship as Relative Transfer, a principled measure of cross-difficulty knowledge transfer. Based on this measurement, we derive Transfer-aware Dynamic Curriculum Sampling (TDCS), which dynamically adjusts the sampling distribution according to the estimated transfer relationship throughout training. Extensive experiments on multiple reasoning benchmarks demonstrate that TDCS consistently outperforms representative scheduling strategies across different tasks, model scales, and training paradigms. More importantly, our work provides a unified optimization-based explanation of curriculum learning through cross-difficulty transfer.
• Abstract（参考訳）: カリキュラム学習は、訓練データを簡単から困難に整理することで、大規模言語モデルの訓練後において広く採用されている。 しかし、その効果は推論タスクによって大きく異なり、1つのカリキュラムが普遍的に最適ではなく、基本的な疑問を提起している。 本稿では,カリキュラムのスケジュールによって引き起こされる最適化のダイナミクスを解析することによって,この問題に答える。 異なる難易度間の伝達関係は、カリキュラム学習によって引き起こされる最適化のダイナミクスを特徴付け、それによって異なるカリキュラムスケジュールの有効性を説明し、この関係を、クロスディフルティーな知識伝達の原則的尺度である相対的伝達として定式化することを示す。 この測定に基づいて, トレーニング中の推定転送関係に応じて, サンプリング分布を動的に調整するTDCS(Transfer-aware Dynamic Curriculum Smpling)を導出する。 複数の推論ベンチマークに関する大規模な実験は、TDCSが様々なタスク、モデルスケール、トレーニングパラダイムで代表的スケジューリング戦略を一貫して上回っていることを示している。 さらに、我々の研究は、クロスディフルティー・トランスファーによるカリキュラム学習の統一的な最適化に基づく説明を提供する。

関連論文リスト

• SPARD: Self-Paced Curriculum for RL Alignment via Integrating Reward Dynamics and Data Utility [71.76390626651254]
  本研究では,学習の進捗を把握し,多目的報酬重み付けとデータ重要度を動的に調整し,自己完結型カリキュラムを構築するフレームワークであるSPARDを提案する。 複数のベンチマークにわたる大規模な実験により、SPARDはすべてのドメインにわたるモデル機能を大幅に強化することが示された。
  論文  参考訳（メタデータ） (2026-04-09T05:37:22Z)
• Data Organization Matters in Multimodal Instruction Tuning: A Controlled Study of Capability Trade-offs [0.0]
  我々は,データ構造が一般理解,構造化推論,微粒化OCR/文書理解のトレードオフに与える影響について検討した。 直接混合、カリキュラムトレーニング、バランスの取れたサンプリング、リバースカリキュラムの4つの戦略を比較した。
  論文  参考訳（メタデータ） (2026-03-29T15:54:06Z)
• Level Up: Defining and Exploiting Transitional Problems for Curriculum Learning [11.76670314650204]
  本稿では,与えられたモデルの能力に対して,個々の問題インスタンスの難易度を直接測定する新しい手法を提案する。 より簡単からより難しいトランザクショナルな問題まで"レベルアップ"するカリキュラムでのトレーニングは、モデルを次のレベルの能力レベルに最も効率的に改善します。
  論文  参考訳（メタデータ） (2026-03-14T05:17:45Z)
• Scaling and Transferability of Annealing Strategies in Large Language Model Training [59.443651879173025]
  我々はWarmup-Steady-Decay (WSD)スケジューラのアニーリング戦略を最適化するための予測フレームワークを改良する。 改良されたフレームワークは、トレーニングステップ、最大学習率、アニール動作を取り入れ、学習率スケジュールのより効率的な最適化を可能にする。 我々は,Dense と Mixture-of-Experts (MoE) モデルを用いて実験を行った。
  論文  参考訳（メタデータ） (2025-12-05T16:38:33Z)
• What Makes a Good Curriculum? Disentangling the Effects of Data Ordering on LLM Mathematical Reasoning [47.10036442634749]
  大規模言語モデル(LLMs)における推論改善戦略として,カリキュラム学習(CL)が普及している。 しかし、以前の作業では、異なる難易度メトリクスとトレーニングのセットアップを採用しており、オープンな根本的な疑問を残している。 我々は,カリキュラムの難易度を5つの相補的な次元に分解する統合されたオフライン評価フレームワークを通じて,これらの疑問に対処する。
  論文  参考訳（メタデータ） (2025-10-21T21:43:38Z)
• Teaching According to Talents! Instruction Tuning LLMs with Competence-Aware Curriculum Learning [64.92967672226534]
  本稿では,CAMPUS と呼ばれるコンピテンス・アウェア・マルチパースペクティブ cUrriculum instruction のチューニングフレームワークを提案する。 CAMPUSには、サブカリキュラムの動的選択、カリキュラムスケジュールの能力を考慮した調整、複数の困難ベースのスケジューリングなど、いくつかの利点がある。
  論文  参考訳（メタデータ） (2025-09-17T07:58:59Z)
• FAST: Similarity-based Knowledge Transfer for Efficient Policy Learning [57.4737157531239]
  Transfer Learningは、タスク間で知識を伝達することで学習を加速する能力を提供する。 これは、負の転送、ドメイン適応、ソリッドソースポリシーの選択における非効率といった重要な課題に直面します。 本研究では,知識伝達の改善,タスク間のパフォーマンスの促進,計算コストの削減など,TLの課題に挑戦する。
  論文  参考訳（メタデータ） (2025-07-27T22:21:53Z)
• Your Pretrained Model Tells the Difficulty Itself: A Self-Adaptive Curriculum Learning Paradigm for Natural Language Understanding [53.63482987410292]
  本稿では,事前学習言語モデルにより予測される難易度に基づいて,微調整例を優先する自己適応型カリキュラム学習パラダイムを提案する。 本手法は,4つの自然言語理解(NLU)データセットを用いて,二項分類と多項分類の両方を対象とする手法について検討した。
  論文  参考訳（メタデータ） (2025-07-13T19:36:17Z)
• Beyond Random Sampling: Efficient Language Model Pretraining via Curriculum Learning [23.900888224619]
  カリキュラム学習は,初等・中等教育段階におけるコンバージェンスを継続的に改善することを示す。 圧縮比、語彙の多様性、可読性は、設定間の効果的な難易度信号として同定する。
  論文  参考訳（メタデータ） (2025-06-12T21:06:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。