論文の概要: Curriculum Learning as Transport: Understanding Curricula with Wasserstein Geodesics
- arxiv url: http://arxiv.org/abs/2609.09099v1
- Date: Tue, 08 Sep 2026 17:39:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.706853
- Title: Curriculum Learning as Transport: Understanding Curricula with Wasserstein Geodesics
- Title(参考訳): 輸送としてのカリキュラム学習:ワッサーシュタイン測地学によるカリキュラム理解
- Abstract要約: We present Wasserstein curriculum paths, a simple framework that decouples factors by representation curricula as trajectories of training distributions overdisdiscience difficulty levels。
12のタスクと33の難易度を持つ校正合成スイートにおいて、このフレームワークを用いて、一定のトレーニング予算下での注文、一致した露出、エンドポイントの滑らかさ、ペーシングの効果を分離する。
- 参考スコア(独自算出の注目度): 11.91720769864227
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Curriculum learning is governed by several coupled design choices---how difficulty is defined, how examples are ordered, how much exposure each level receives, and how quickly training moves across levels---making it hard to isolate what actually helps. We present Wasserstein curriculum paths, a simple transport-based framework that decouples these factors by representing curricula as trajectories of training distributions over discrete difficulty levels. Across a calibrated synthetic suite with 12 tasks and 33 difficulty axes, we use this framework to isolate the effects of ordering, matched exposure, endpoint smoothness, and pacing under fixed training budgets. We find that curriculum effects are strongly context-dependent: no single strategy dominates across tasks, difficulty axes, and budgets, and curricula mainly change where a fixed budget is spent most effectively. Within this framework, easy-to-hard ordering improves hard-level performance relative to exposure-matched static sampling, showing that the benefit is not explained by cumulative exposure alone. We further show that endpoint smoothness and pacing substantially affect where along the difficulty spectrum a curriculum is effective. Finally, we show that the same transport view naturally supports extensions to learned pacing through geometry and to structured difficulty spaces beyond one-dimensional orderings.
- Abstract(参考訳): いかに難しいか、どのように注文されるか、各レベルがどれだけ露出するか、どのくらいの速さでレベルをまたいでトレーニングを行うか、そして実際に何が役に立つのかを区別することが困難になる。
We present Wasserstein curriculum paths, a simple transport-based framework that decouples these factors by presented curricula as trajectories of training distributions over discrete difficulty levels。
12のタスクと33の難易度を持つ校正合成スイートにおいて、このフレームワークを用いて、一定のトレーニング予算下での注文、一致した露出、エンドポイントの滑らかさ、ペーシングの効果を分離する。
ひとつの戦略がタスク、難易度、予算をまたいで支配されることはなく、カリキュラムは主に固定予算が最も効果的に費やされている場所で変化します。
このフレームワークでは、露光マッチングされた静的サンプリングと比較してハードレベルのパフォーマンスが向上し、累積露光だけではその利点を説明できない。
さらに,エンドポイントのスムーズさとペーシングが,カリキュラムが有効である難易度に大きく影響を及ぼすことを示す。
最後に、同じトランスポートビューは、幾何学を通して学習したペーシングの拡張と、1次元の順序付けを超えた構造化された難易度空間を自然にサポートすることを示す。
関連論文リスト
- Trajectory-Level Automatic Curriculum Learning for Legged Locomotion on Unstructured Terrain [30.327576375647663]
textbfournameは、非構造地形地図から直接トレーニングタスクを生成する。
本手法は,カリキュラムなしの直接学習よりも成功率を56.3%向上させる。
論文 参考訳(メタデータ) (2026-08-17T06:30:45Z) - Rethinking Easy-to-Hard: Limits of Curriculum Learning in Post-Training for Deductive Reasoning [61.81622271655058]
本稿では,カリキュラムに基づく大規模言語モデルのポストトレーニングに関する体系的な実証的研究について述べる。
精度と応答長のいずれにおいても、標準的なランダムサンプリングよりも難易度に基づくシークエンシングにおいて、ロバストな優位性は見つからない。
本研究は, 帰納的推論の文脈において, 学習例の特定の順序付けは, 構成的一般化の達成において無視できる役割を担っていることを示唆している。
論文 参考訳(メタデータ) (2026-03-28T10:43:36Z) - Level Up: Defining and Exploiting Transitional Problems for Curriculum Learning [11.76670314650204]
本稿では,与えられたモデルの能力に対して,個々の問題インスタンスの難易度を直接測定する新しい手法を提案する。
より簡単からより難しいトランザクショナルな問題まで"レベルアップ"するカリキュラムでのトレーニングは、モデルを次のレベルの能力レベルに最も効率的に改善します。
論文 参考訳(メタデータ) (2026-03-14T05:17:45Z) - Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training [76.12556589212666]
学習後のカリキュラムは指数関数的複雑性のボトルネックを回避していることを示す。
結果のみの報酬信号の下では、強化学習の微調整は、サンプルの複雑さを高い精度で達成する。
カリキュラムを意識したクエリにより、報奨託書の呼び出しとサンプリングコストの両方を指数関数的に削減するテストタイムスケーリングの保証を確立する。
論文 参考訳(メタデータ) (2025-11-10T18:29:54Z) - What Makes a Good Curriculum? Disentangling the Effects of Data Ordering on LLM Mathematical Reasoning [47.10036442634749]
大規模言語モデル(LLMs)における推論改善戦略として,カリキュラム学習(CL)が普及している。
しかし、以前の作業では、異なる難易度メトリクスとトレーニングのセットアップを採用しており、オープンな根本的な疑問を残している。
我々は,カリキュラムの難易度を5つの相補的な次元に分解する統合されたオフライン評価フレームワークを通じて,これらの疑問に対処する。
論文 参考訳(メタデータ) (2025-10-21T21:43:38Z) - Your Pretrained Model Tells the Difficulty Itself: A Self-Adaptive Curriculum Learning Paradigm for Natural Language Understanding [53.63482987410292]
本稿では,事前学習言語モデルにより予測される難易度に基づいて,微調整例を優先する自己適応型カリキュラム学習パラダイムを提案する。
本手法は,4つの自然言語理解(NLU)データセットを用いて,二項分類と多項分類の両方を対象とする手法について検討した。
論文 参考訳(メタデータ) (2025-07-13T19:36:17Z) - When Do Curricula Work in Federated Learning? [56.88941905240137]
カリキュラム学習は非IID性を大幅に軽減する。
クライアント間でデータ配布を多様化すればするほど、学習の恩恵を受けるようになる。
本稿では,クライアントの現実的格差を生かした新しいクライアント選択手法を提案する。
論文 参考訳(メタデータ) (2022-12-24T11:02:35Z) - Let the Model Decide its Curriculum for Multitask Learning [22.043291547405545]
モデルに基づくアプローチによって計算される難易度に基づく学習カリキュラムにトレーニングインスタンスを配置する手法を2種類提案する。
インスタンスレベルとデータセットレベルの技術は、それぞれのベースラインに対して平均4.17%と3.15%のパフォーマンス向上をもたらすため、強い表現をもたらすことを示す。
論文 参考訳(メタデータ) (2022-05-19T23:34:22Z) - CurricularFace: Adaptive Curriculum Learning Loss for Deep Face
Recognition [79.92240030758575]
本稿では,カリキュラム学習の概念を損失関数に組み込んだ適応型カリキュラム学習損失(CurricularFace)を提案する。
我々のCurricularFaceは、異なるトレーニング段階における簡単なサンプルとハードサンプルの相対的重要性を適応的に調整する。
論文 参考訳(メタデータ) (2020-04-01T08:43:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。