論文の概要: On the Statistical Benefits of Curriculum Learning

• arxiv url: http://arxiv.org/abs/2111.07126v1
• Date: Sat, 13 Nov 2021 14:51:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-16 14:05:00.656687
• Title: On the Statistical Benefits of Curriculum Learning
• Title（参考訳）: カリキュラム学習の統計的便益について
• Authors: Ziping Xu and Ambuj Tewari
• Abstract要約: 本研究では,マルチタスク線形回帰問題におけるカリキュラム学習(CL)の利点について,構造化と非構造化の両方の条件下で検討する。 その結果,適応学習は,非構造化環境でのオラクル学習よりも根本的に困難であることが判明した。
• 参考スコア（独自算出の注目度）: 33.94130046391917
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Curriculum learning (CL) is a commonly used machine learning training strategy. However, we still lack a clear theoretical understanding of CL's benefits. In this paper, we study the benefits of CL in the multitask linear regression problem under both structured and unstructured settings. For both settings, we derive the minimax rates for CL with the oracle that provides the optimal curriculum and without the oracle, where the agent has to adaptively learn a good curriculum. Our results reveal that adaptive learning can be fundamentally harder than the oracle learning in the unstructured setting, but it merely introduces a small extra term in the structured setting. To connect theory with practice, we provide justification for a popular empirical method that selects tasks with highest local prediction gain by comparing its guarantees with the minimax rates mentioned above.
• Abstract（参考訳）: カリキュラム学習(Curriculum Learning, CL)は、機械学習のトレーニング戦略である。 しかし、CLの利点に関する明確な理論的理解はいまだに欠けている。 本稿では,マルチタスク線形回帰問題におけるCLの利点について,構造化および非構造化条件下で検討する。 両方の設定において、最適なカリキュラムを提供するオラクルと、適切なカリキュラムをエージェントが適応的に学習しなければならない託宣なしでCLのミニマックスレートを導出する。 その結果、アダプティブ・ラーニングは、非構造化環境ではオラクルの学習よりも基本的に難しくなりますが、単に構造化された設定で少し余分な用語を導入するだけです。 理論と実践をつなぐために,先述のミニマックス率と比較し,局所予測利得の高いタスクを選択する一般的な経験的手法の正当性を示す。

関連論文リスト

• Accurate Forgetting for Heterogeneous Federated Continual Learning [89.08735771893608]
  提案手法は,フェデレーションネットワークにおける従来の知識を選択的に活用する新しい生成再生手法である。 我々は,従来の知識の信頼性を定量化するために,正規化フローモデルに基づく確率的フレームワークを用いる。
  論文  参考訳（メタデータ） (2025-02-20T02:35:17Z)
• Technical Debt in In-Context Learning: Diminishing Efficiency in Long Context [13.796664304274643]
  我々は、スタイル化された設定における学習アルゴリズムとして、ICLの最適性を定量化する新しいフレームワークを導入する。 ICLは最初,ベイズ最適推定器の効率と一致したが,その効率は長期に渡り著しく低下する。 これらの結果は、ICLを普遍的な問題解決手段として採用する際のトレードオフを明らかにし、新しい世代のオンザフライ適応手法を動機付けている。
  論文  参考訳（メタデータ） (2025-02-07T00:26:45Z)
• Active Learning for Continual Learning: Keeping the Past Alive in the Present [17.693559751968742]
  本稿では,累積情報量に基づくアクティブ連続学習であるAccuACLを提案する。 我々は、AcuACLが様々なCLアルゴリズムでALベースラインを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2025-01-24T06:46:58Z)
• Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods [69.36397993451742]
  In this work introduced Context-aware Prompt Tuning (CPT) - ICL, PT, and adversarial attack。 入力および出力フォーマットのユニークな構造を考慮して、特定のコンテキストトークンを変更する。 敵の攻撃にインスパイアされた我々は、損失を最大化するのではなく、最小化に焦点をあてて、コンテキストに存在するラベルに基づいて入力を調整する。
  論文  参考訳（メタデータ） (2024-10-22T17:45:47Z)
• Is Efficient PAC Learning Possible with an Oracle That Responds 'Yes' or 'No'? [26.334900941196082]
  本研究では,与えられたデータセットに対する経験的リスクを最小化する仮説を計算したERMの実行能力が,効率的な学習に必要かどうかを検討する。 バイナリ分類のためのPACの実際の設定において、概念クラスは1ビットしか返さないオラクルを用いて学習可能であることを示す。 また,本研究の結果は,オラクルを少し強化した学習環境や,部分的な概念,マルチクラス,実価値の学習環境にまで及んでいる。
  論文  参考訳（メタデータ） (2024-06-17T15:50:08Z)
• AMU-Tuning: Effective Logit Bias for CLIP-based Few-shot Learning [50.78033979438031]
  まず、ログバイアスの観点から、CLIPに基づく数ショット学習手法を統一的な定式化して分析する。 本稿では,鍵成分の分析に基づいて,CLIPに基づく複数ショット分類のための効果的なロジットバイアスを学習するための新しいAMU-Tuning法を提案する。
  論文  参考訳（メタデータ） (2024-04-13T10:46:11Z)
• Online Iterative Reinforcement Learning from Human Feedback with General Preference Model [20.81421550138371]
  本稿では,人間のフィードバックからの強化学習(RLHF)について,一般的な嗜好のオラクルの文脈で検討する。 我々は、RLHFの2つのLLM間の逆KL正規化ミニマックスゲームである標準的な数学的定式化を考える。 このフレームワークは報酬ベースよりも厳密に汎用的であり,事前選択された選好データセットからオフライン学習を行うためのサンプル効率のよいアルゴリズムとオンライン学習を提案する。
  論文  参考訳（メタデータ） (2024-02-11T21:44:21Z)
• Density Distribution-based Learning Framework for Addressing Online Continual Learning Challenges [4.715630709185073]
  オンライン連続学習のための密度分布に基づく学習フレームワークを提案する。 我々のフレームワークは、より優れた平均精度と時間空間効率を実現する。 提案手法は, CL のアプローチにおいて, 有意な差で優れる。
  論文  参考訳（メタデータ） (2023-11-22T09:21:28Z)
• Multiclass Boosting: Simple and Intuitive Weak Learning Criteria [72.71096438538254]
  実現可能性の仮定を必要としない,単純かつ効率的なブースティングアルゴリズムを提案する。 本稿では,リスト学習者の向上に関する新たな結果と,マルチクラスPAC学習の特徴付けのための新しい証明を提案する。
  論文  参考訳（メタデータ） (2023-07-02T19:26:58Z)
• A Study of Continual Learning Methods for Q-Learning [78.6363825307044]
  本稿では、強化学習(RL)シナリオにおける継続学習(CL)手法の使用に関する実証的研究について述べる。 この結果から,専用CL法は「経験的再生」のベースライン手法と比較して学習を著しく改善できることがわかった。
  論文  参考訳（メタデータ） (2022-06-08T14:51:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。