論文の概要: Disentangling Curriculum Learning in NLP: Towards a Unifying Taxonomy

• arxiv url: http://arxiv.org/abs/2607.18984v1
• Date: Tue, 21 Jul 2026 11:18:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.401206
• Title: Disentangling Curriculum Learning in NLP: Towards a Unifying Taxonomy
• Title（参考訳）: NLPにおけるカリキュラム学習の遠ざけ方 : 統合分類学を目指して
• Abstract要約: 訓練スケジュールから難易度評価を分離する微粒な分類法を提案する。 難易度評価のために、帰属源とタスク依存を区別する。 スケジューリングでは,期待されるトレーニングコントリビューションの観点から,CLスケジューラの最初の形式化を行う。
• 参考スコア（独自算出の注目度）: 2.551572177315068
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Despite more than a decade of curriculum learning (CL) research in NLP, the field lacks a principled account of which difficulty function or scheduler to use for a given problem. To understand what has hindered progress towards this account, we propose a fine-grained taxonomy separating difficulty evaluation from training scheduling to enable systematic analysis of CL strategies. For difficulty evaluation, we distinguish attribution source and task dependence, revealing difficulty as a perspectival concept encoding different assumptions about what makes an instance hard to learn. For scheduling, we provide the first formalisation of CL schedulers in terms of expected training contribution, enabling comparison across implementations by introducing retention regimes and monotonicity properties. Applied in a dedicated analysis of CL works in NLP, our taxonomy reveals a systematic incomparability problem: prior works conflate distinct notions of difficulty and scheduling, often pursuing different objectives under the same CL label -- hindering comparison and the accumulation of a coherent evidence base. Beyond diagnosis, the taxonomy supports the design, analysis, and comparison of CL strategies, and motivates evaluation practices that disentangle the sources of observed improvement.
• Abstract（参考訳）: NLPにおける10年以上にわたるカリキュラム学習(CL)研究にもかかわらず、この分野は与えられた問題に使用する難易度関数やスケジューラの原則的な説明が欠けている。 そこで本研究では,CL戦略の体系的分析を可能にするため,学習スケジュールから難易度評価を分離した細粒度分類法を提案する。 難易度評価のために、帰属源とタスク依存を区別し、難易度をインスタンスの学習を困難にする要因について異なる仮定を符号化するパースペクティカルな概念として明らかにする。 スケジューリングでは,CLスケジューラのトレーニングコントリビューションに関する最初の形式化を行い,保持条件と単調性特性を導入することで,実装間の比較を可能にする。 我々の分類学は、NLPにおけるCLの専門的な研究に応用され、体系的な非互換性の問題を明らかにしている: 先行研究は、困難とスケジューリングの異なる概念を、しばしば同じCLラベルの下で異なる目的を追求し、しばしば比較と一貫性のあるエビデンスベースの蓄積を妨げる。 診断以外にも、分類学はCL戦略の設計、分析、比較をサポートし、観察された改善の源を混乱させる評価プラクティスを動機付けている。

関連論文リスト

• Rethinking Easy-to-Hard: Limits of Curriculum Learning in Post-Training for Deductive Reasoning [61.81622271655058]
  本稿では,カリキュラムに基づく大規模言語モデルのポストトレーニングに関する体系的な実証的研究について述べる。 精度と応答長のいずれにおいても、標準的なランダムサンプリングよりも難易度に基づくシークエンシングにおいて、ロバストな優位性は見つからない。 本研究は, 帰納的推論の文脈において, 学習例の特定の順序付けは, 構成的一般化の達成において無視できる役割を担っていることを示唆している。
  論文  参考訳（メタデータ） (2026-03-28T10:43:36Z)
• From Efficiency to Adaptivity: A Deeper Look at Adaptive Reasoning in Large Language Models [17.96350700093472]
  現在の大規模言語モデル(LLM)は、タスクの複雑さに関わらず一様推論戦略を適用し、簡単な問題に対して長いトレースを生成しながら、困難なタスクに対する推論の拡張に失敗する。 この調査は、適応性のレンズを通して推論を再構成し、難易度や不確実性といった入力特性に基づいて推論の労力を割り当てる能力について考察する。
  論文  参考訳（メタデータ） (2025-11-13T20:25:04Z)
• AdaCuRL: Adaptive Curriculum Reinforcement Learning with Invalid Sample Mitigation and Historical Revisiting [23.630999806649914]
  強化学習は大規模言語モデル(LLM)における推論を強化する 既存の方法は、難易度が混ざったサンプルで直接トレーニングを行う際に、グラディエント飢餓と政策劣化に悩まされる。 AdaCuRLは、粗大な難易度推定と適応的なカリキュラムスケジューリングを統合する。
  論文  参考訳（メタデータ） (2025-11-12T16:50:16Z)
• Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training [76.12556589212666]
  学習後のカリキュラムは指数関数的複雑性のボトルネックを回避していることを示す。 結果のみの報酬信号の下では、強化学習の微調整は、サンプルの複雑さを高い精度で達成する。 カリキュラムを意識したクエリにより、報奨託書の呼び出しとサンプリングコストの両方を指数関数的に削減するテストタイムスケーリングの保証を確立する。
  論文  参考訳（メタデータ） (2025-11-10T18:29:54Z)
• CurES: From Gradient Analysis to Efficient Curriculum Learning for Reasoning LLMs [53.749193998004166]
  カリキュラム学習は,大規模言語モデルの学習効率を高める上で重要な役割を担っている。 収束を加速し,計算オーバーヘッドを最小限に抑えるためにベイズ後続推定を用いた効率的な学習法であるCurESを提案する。
  論文  参考訳（メタデータ） (2025-10-01T15:41:27Z)
• Continual Learning Should Move Beyond Incremental Classification [51.23416308775444]
  連続学習(Continuous Learning, CL)は、動的環境における知識の蓄積に関わる機械学習のサブフィールドである。 ここでは、このような焦点を維持することは、CL法の理論的発展と実践的適用性の両方を制限すると論じる。 C1) 学習課題における連続性の性質,(C2) 類似性を測定するための適切な空間とメトリクスの選択,(C3) 学習目標が分類を超えた役割である。
  論文  参考訳（メタデータ） (2025-02-17T15:40:13Z)
• Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
  本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-01-10T04:55:24Z)
• Improving Imbalanced Text Classification with Dynamic Curriculum Learning [32.731900584216724]
  不均衡テキスト分類のための自己評価動的カリキュラム学習手法を提案する。 我々のSPDCLは、適応的なペースからハードペースに適応することで、トレーニングデータの再注文と再サンプル化が困難である。 いくつかの分類タスクの実験は、SPDCL戦略、特に不均衡データセットの有効性を示している。
  論文  参考訳（メタデータ） (2022-10-25T07:57:59Z)
• Using Representation Expressiveness and Learnability to Evaluate Self-Supervised Learning Methods [61.49061000562676]
  本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。 CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。 CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
  論文  参考訳（メタデータ） (2022-06-02T19:05:13Z)
• Off-Policy Imitation Learning from Observations [78.30794935265425]
  観察からの学習(lfo)は、多くのアプリケーションが利用できる実用的な強化学習シナリオである。 オフポリシ最適化を原則的に実現するサンプル効率の高いLfOアプローチを提案する。 我々のアプローチは、サンプル効率と性能の両面で最先端のロコモーションに匹敵する。
  論文  参考訳（メタデータ） (2021-02-25T21:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。