Fugu-MT 論文翻訳(概要): Dynamic Data Selection for Curriculum Learning via Ability Estimation

論文の概要: Dynamic Data Selection for Curriculum Learning via Ability Estimation

arxiv url: http://arxiv.org/abs/2011.00080v1
Date: Fri, 30 Oct 2020 20:01:56 GMT
ステータス: 処理完了
システム内更新日: 2022-10-01 16:09:42.788204
Title: Dynamic Data Selection for Curriculum Learning via Ability Estimation
Title（参考訳）: 能力推定によるカリキュラム学習のための動的データ選択
Authors: John P. Lalor and Hong Yu
Abstract要約: 難易度を学習難易度パラメータで置き換えることを提案する。また,能力推定によるカリキュラム学習のための動的選択を提案する。 GLUE分類タスクにおいて、学習難易度および/または能力を用いたモデルは、データに基づくカリキュラム学習モデルより優れていることを示す。
参考スコア（独自算出の注目度）: 6.255759848576057
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Curriculum learning methods typically rely on heuristics to estimate the difficulty of training examples or the ability of the model. In this work, we propose replacing difficulty heuristics with learned difficulty parameters. We also propose Dynamic Data selection for Curriculum Learning via Ability Estimation (DDaCLAE), a strategy that probes model ability at each training epoch to select the best training examples at that point. We show that models using learned difficulty and/or ability outperform heuristic-based curriculum learning models on the GLUE classification tasks.
Abstract（参考訳）: カリキュラム学習法は通常、訓練例の難しさやモデルの能力を評価するためにヒューリスティックスに依存する。本研究では,難易度を学習難易度パラメータに置き換えることを提案する。また、各トレーニングエポックにおけるモデル能力を調査し、その時点で最高のトレーニング例を選択する戦略であるDDaCLAE(Dynamic Data selection for Curriculum Learning via Ability Estimation)を提案する。学習難易度と能力を用いたモデルがGLUE分類タスクにおけるヒューリスティックなカリキュラム学習モデルより優れていることを示す。

関連論文リスト

Accelerating Deep Learning with Fixed Time Budget [2.190627491782159]
本稿では,一定時間内に任意のディープラーニングモデルを学習するための効果的な手法を提案する。提案手法はコンピュータビジョンにおける分類タスクと回帰タスクの両方において広範囲に評価される。
論文参考訳（メタデータ） (2024-10-03T21:18:04Z)
Complementary Learning for Real-World Model Failure Detection [15.779651238128562]
そこでは、異なる訓練パラダイムから学習特性を用いてモデルエラーを検出する。我々は,制御的かつ自己管理的な方法で,点群における意味的および予測的動作ラベルを学習することにより,我々のアプローチを実証する。大規模定性解析を行い、ライダー点雲にラベル付き異常を持つ最初のデータセットであるLidarCODAを提示する。
論文参考訳（メタデータ） (2024-07-19T13:36:35Z)
EfficientTrain++: Generalized Curriculum Learning for Efficient Visual Backbone Training [79.96741042766524]
訓練カリキュラムをソフトセレクション機能として再構築する。自然画像の内容の露光は,データ拡張の強度によって容易に達成できることを示す。結果のメソッドであるEfficientTrain++は単純で汎用的だが驚くほど効果的である。
論文参考訳（メタデータ） (2024-05-14T17:00:43Z)
Unlearnable Algorithms for In-context Learning [36.895152458323764]
本稿では,事前訓練された大規模言語モデルのタスク適応フェーズに対する効率的なアンラーニング手法に着目した。タスク適応のための文脈内学習を行うLLMの能力は、タスク適応トレーニングデータの効率的なアンラーニングを可能にする。本稿では,様々な推論コストを考慮に入れた非学習コストの包括的尺度を提案する。
論文参考訳（メタデータ） (2024-02-01T16:43:04Z)
Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文参考訳（メタデータ） (2023-12-07T07:17:24Z)
Strategies and impact of learning curve estimation for CNN-based image classification [0.2678472239880052]
学習曲線は、一定の量のトレーニングデータによって機械学習モデルのパフォーマンスが向上する尺度である。様々な応用やモデルにおいて、学習曲線は ― 大部分が ― 権力法的な行動に従うことが観察された。モデルの学習曲線を、データの小さなサブセットでのトレーニングから推定することにより、完全なデータセットでのトレーニングに最適なモデルのみを考慮する必要がある。
論文参考訳（メタデータ） (2023-10-12T16:28:25Z)
Learning Objective-Specific Active Learning Strategies with Attentive Neural Processes [72.75421975804132]
学びアクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。能動学習問題の対称性と独立性を利用した新しい分類法を提案する。私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
論文参考訳（メタデータ） (2023-09-11T14:16:37Z)
Curriculum Learning: A Survey [65.31516318260759]
カリキュラム学習戦略は、機械学習のあらゆる分野で成功している。我々は,様々な分類基準を考慮して,カリキュラム学習アプローチの分類を手作業で構築する。集約型クラスタリングアルゴリズムを用いて,カリキュラム学習手法の階層木を構築する。
論文参考訳（メタデータ） (2021-01-25T20:08:32Z)
A Competence-aware Curriculum for Visual Concepts Learning via Question Answering [95.35905804211698]
本稿では,視覚概念学習のための質問応答型カリキュラムを提案する。視覚概念を学習するためのニューラルシンボリックな概念学習者と学習プロセスを導くための多次元項目応答理論(mIRT)モデルを設計する。 CLEVRの実験結果から,コンピテンスを意識したカリキュラムにより,提案手法は最先端のパフォーマンスを実現することが示された。
論文参考訳（メタデータ） (2020-07-03T05:08:09Z)
Meta-Reinforcement Learning Robust to Distributional Shift via Model Identification and Experience Relabeling [126.69933134648541]
本稿では,テスト時にアウト・オブ・ディストリビューション・タスクに直面した場合に,効率よく外挿できるメタ強化学習アルゴリズムを提案する。我々の手法は単純な洞察に基づいており、動的モデルが非政治データに効率的かつ一貫して適応可能であることを認識している。
論文参考訳（メタデータ） (2020-06-12T13:34:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。