論文の概要: HuCurl: Human-induced Curriculum Discovery

• arxiv url: http://arxiv.org/abs/2307.07412v1
• Date: Fri, 14 Jul 2023 15:41:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-17 13:35:47.521546
• Title: HuCurl: Human-induced Curriculum Discovery
• Title（参考訳）: HuCurl:人間によるカリキュラム発見
• Authors: Mohamed Elgaar, Hadi Amiri
• Abstract要約: 既存の文献では単調なキュリキュラとは対照的に,与えられたモデルやデータセットの最高性能のキュリキュラは非単調であることが示されている。 提案フレームワークは,既存のカリキュラム学習のアプローチを包含し,複数のNLPタスクにまたがってそれらを上回るキュリキュラを発見できる。
• 参考スコア（独自算出の注目度）: 13.960152426268767
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce the problem of curriculum discovery and describe a curriculum learning framework capable of discovering effective curricula in a curriculum space based on prior knowledge about sample difficulty. Using annotation entropy and loss as measures of difficulty, we show that (i): the top-performing discovered curricula for a given model and dataset are often non-monotonic as opposed to monotonic curricula in existing literature, (ii): the prevailing easy-to-hard or hard-to-easy transition curricula are often at the risk of underperforming, and (iii): the curricula discovered for smaller datasets and models perform well on larger datasets and models respectively. The proposed framework encompasses some of the existing curriculum learning approaches and can discover curricula that outperform them across several NLP tasks.
• Abstract（参考訳）: 本稿では,カリキュラム発見の問題を紹介し,サンプルの難易度に関する事前知識に基づいて,カリキュラム空間で有効なカリキュラムを発見できるカリキュラム学習フレームワークについて述べる。 アノテーションのエントロピーと損失を困難さの尺度として使うと (i)あるモデルとデータセットで発見された最高パフォーマンスのカリキュラムは、既存の文献における単調のカリキュラムとは対照的に、しばしば非単調である。 (ii)一般的に普及している難易度または難易度の高い遷移曲線は、しばしば過度なパフォーマンスのリスクに晒される。 (iii)より小さなデータセットとモデルで発見されたカリキュラムは、より大きなデータセットとモデルでそれぞれうまく機能する。 提案フレームワークは,既存のカリキュラム学習のアプローチを包含し,複数のNLPタスクにまたがってそれらを上回るキュリキュラを発見できる。

関連論文リスト

• Enhancing Spatio-temporal Quantile Forecasting with Curriculum Learning: Lessons Learned [11.164896279040379]
  問題時間データ(ST)データのトレーニングモデルは、データ自体の複雑で多様な性質のため、オープンな積み重ねとなる。 モデルの性能が元のSTデータに基づいて直接訓練されることを保証することは困難である。 本稿では,空間的,時間的,定量的な視点を対象とする3種類のカリキュラム学習を取り入れた革新的パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-06-18T15:23:10Z)
• Scalable Language Model with Generalized Continual Learning [58.700439919096155]
  The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。 提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
  論文  参考訳（メタデータ） (2024-04-11T04:22:15Z)
• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Curriculum Learning and Imitation Learning for Model-free Control on Financial Time-series [0.6562256987706128]
  カリキュラム学習と模倣学習は、ロボット分野において広く活用されている。 我々は、複雑な時系列データに対する代表制御タスクにおいて、これらのアプローチを理論的かつ経験的に探索する。 この結果から,カリキュラム学習は制御タスク性能向上の新たな方向性であると考えられた。
  論文  参考訳（メタデータ） (2023-11-22T11:42:50Z)
• A Survey of Learning on Small Data: Generalization, Optimization, and Challenge [101.27154181792567]
  ビッグデータの一般化能力を近似した小さなデータについて学ぶことは、AIの究極の目的の1つである。 この調査はPACフレームワークの下でのアクティブサンプリング理論に従い、小さなデータにおける学習の一般化誤差とラベルの複雑さを分析した。 効率的な小さなデータ表現の恩恵を受けるかもしれない複数のデータアプリケーションについて調査する。
  論文  参考訳（メタデータ） (2022-07-29T02:34:19Z)
• What Makes Good Contrastive Learning on Small-Scale Wearable-based Tasks? [59.51457877578138]
  本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。 本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
  論文  参考訳（メタデータ） (2022-02-12T06:10:15Z)
• Do Data-based Curricula Work? [0.17188280334580194]
  現在の最先端のNLPシステムは、トレーニングに多くの計算リソースを必要とする大規模なニューラルネットワークを使用している。 人間の知識獲得にインスパイアされた研究者は、カリキュラム学習、タスク(タスクベースのカリキュラム)のシークエンシング、トレーニングを容易にするデータセット(データベースのカリキュラム)の順序付けとサンプリングを提案している。 本研究では,BERT や T5 などの大規模現代言語モデルに対するデータに基づくカリキュラム学習のメリットについて検討する。
  論文  参考訳（メタデータ） (2021-12-13T09:42:32Z)
• Curriculum Learning: A Survey [65.31516318260759]
  カリキュラム学習戦略は、機械学習のあらゆる分野で成功している。 我々は,様々な分類基準を考慮して,カリキュラム学習アプローチの分類を手作業で構築する。 集約型クラスタリングアルゴリズムを用いて,カリキュラム学習手法の階層木を構築する。
  論文  参考訳（メタデータ） (2021-01-25T20:08:32Z)
• When Do Curricula Work? [26.072472732516335]
  規則学習はI. I. I. D. トレーニングの改善として提案されている。 我々は、カリキュラム、反カリキュラム、ランダムカリキュラムの3種類の学習にまたがる何千もの注文実験を行った。 キュリキュラは限界的な利点しか持たず、ランダムに順序づけられたサンプルはキュリキュラや反キュリキュラと同等以上の性能を示す。
  論文  参考訳（メタデータ） (2020-12-05T19:41:30Z)
• Curriculum Learning for Reinforcement Learning Domains: A Framework and Survey [53.73359052511171]
  強化学習(Reinforcement Learning, RL)は、エージェントが限られた環境フィードバックしか持たないシーケンシャルな意思決定タスクに対処するための一般的なパラダイムである。 本稿では、RLにおけるカリキュラム学習(CL)の枠組みを提案し、既存のCLメソッドを仮定、能力、目標の観点から調査・分類する。
  論文  参考訳（メタデータ） (2020-03-10T20:41:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。