論文の概要: Prioritized training on points that are learnable, worth learning, and not yet learned

• arxiv url: http://arxiv.org/abs/2107.02565v1
• Date: Tue, 6 Jul 2021 12:08:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-07 20:31:12.963657
• Title: Prioritized training on points that are learnable, worth learning, and not yet learned
• Title（参考訳）: 学習し、学習し、まだ学べない点の優先訓練
• Authors: S\"oren Mindermann, Muhammed Razzak, Winnie Xu, Andreas Kirsch, Mrinank Sharma, Adrien Morisot, Aidan N. Gomez, Sebastian Farquhar, Jan Brauner, Yarin Gal
• Abstract要約: Goldilocks Selectionは、"正しい"トレーニングポイントのシーケンスを選択する、より高速なモデルトレーニングのためのテクニックである。 我々は,情報理論獲得関数,すなわち再現可能なバリデーション損失を提案し,それを小さなプロキシモデルであるGoldiProxで計算する。
• 参考スコア（独自算出の注目度）: 22.899668803957997
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Goldilocks Selection, a technique for faster model training which selects a sequence of training points that are "just right". We propose an information-theoretic acquisition function -- the reducible validation loss -- and compute it with a small proxy model -- GoldiProx -- to efficiently choose training points that maximize information about a validation set. We show that the "hard" (e.g. high loss) points usually selected in the optimization literature are typically noisy, while the "easy" (e.g. low noise) samples often prioritized for curriculum learning confer less information. Further, points with uncertain labels, typically targeted by active learning, tend to be less relevant to the task. In contrast, Goldilocks Selection chooses points that are "just right" and empirically outperforms the above approaches. Moreover, the selected sequence can transfer to other architectures; practitioners can share and reuse it without the need to recreate it.
• Abstract（参考訳）: 我々は,"正しい"トレーニングポイントのシーケンスを選択する,より高速なモデルトレーニングのための手法であるgoldilocks selectionを紹介する。 検証セットに関する情報を最大化するトレーニングポイントを効率的に選択するために、情報理論的な取得関数 -- 還元可能な検証損失 -- を提案し、小さなプロキシモデル -- goldiprox -- で計算する。 ハード”(例えば、ハード)を示す。 通常最適化文学で選択される)ポイントはノイズが多いが、"easy"(例えば)はノイズが多い。 低いノイズ) カリキュラム学習のために 優先されるサンプルは 少ない情報を与える さらに、アクティブラーニングを対象とする不確実なラベルを持つポイントは、タスクにはあまり関連しない傾向にある。 対照的に、Goldilocks Selectionは「正しい」点を選択し、上記のアプローチを経験的に上回っている。 さらに、選択されたシーケンスは他のアーキテクチャに転送できる。

関連論文リスト

• Probably Approximately Precision and Recall Learning [62.912015491907994]
  精度とリコールは機械学習の基本的な指標である。 一方的なフィードバック – トレーニング中にのみ肯定的な例が観察される – は,多くの実践的な問題に固有のものだ。 PAC学習フレームワークでは,各仮説をグラフで表現し,エッジは肯定的な相互作用を示す。
  論文  参考訳（メタデータ） (2024-11-20T04:21:07Z)
• One-bit Supervision for Image Classification: Problem, Solution, and Beyond [114.95815360508395]
  本稿では,ラベルの少ない新しい学習環境である,画像分類のための1ビット監督について述べる。 多段階学習パラダイムを提案し、負ラベル抑圧を半教師付き半教師付き学習アルゴリズムに組み込む。 複数のベンチマークにおいて、提案手法の学習効率は、フルビットの半教師付き監視手法よりも優れている。
  論文  参考訳（メタデータ） (2023-11-26T07:39:00Z)
• From Weakly Supervised Learning to Active Learning [1.52292571922932]
  この論文は、教師付き学習よりも汎用的なフレームワークを導き出せるか? 私たちは、ユニークなターゲットではなく、ターゲット候補のセットを与えるものとして、弱い監督をモデル化します。 我々は、ほとんどの観測値と一致する楽観的な'関数を求めるべきだと論じる。これにより、部分ラベルを曖昧にするための原則を導出できる。
  論文  参考訳（メタデータ） (2022-09-23T14:55:43Z)
• Prioritized Training on Points that are Learnable, Worth Learning, and Not Yet Learnt [26.60669599874686]
  我々は、Webスケールデータのトレーニングを高速化するために、Reduceible Holdout Loss Selection (RHO-LOSS)を導入する。 RHO-LOSSは学習可能で、学習価値があり、まだ学習されていないポイントを選択する。 大規模なウェブスクレイプ画像データセットであるClathing-1Mでは、RHO-LOSSは18倍のステップでトレーニングを行い、均一なデータシャッフルよりも2%高い最終精度を達成した。
  論文  参考訳（メタデータ） (2022-06-14T19:49:52Z)
• ALLSH: Active Learning Guided by Local Sensitivity and Hardness [98.61023158378407]
  本稿では,局所感度と硬度認識獲得機能を備えたラベル付きサンプルの検索を提案する。 本手法は,様々な分類タスクにおいてよく用いられるアクティブラーニング戦略よりも一貫した利得が得られる。
  論文  参考訳（メタデータ） (2022-05-10T15:39:11Z)
• Online Coreset Selection for Rehearsal-based Continual Learning [65.85595842458882]
  継続的な学習では、後に再生されるトレーニング例(コアセット)のサブセットを格納し、破滅的な忘れを軽減します。 提案するオンラインコアセット選択(OCS, Online Coreset Selection)は, 各イテレーションにおいて最も代表的で情報性の高いコアセットを選択するシンプルで効果的な方法である。 提案手法は,過去のタスクに対して高親和性サンプルを選択しながら,目標データセットへのモデル適応を最大化し,破滅的忘れを直接的に抑制する。
  論文  参考訳（メタデータ） (2021-06-02T11:39:25Z)
• Selecting the Points for Training using Graph Centrality [1.0705399532413615]
  トレーニングのためのグラフデータセット内のノードを選択する方法を説明し、トレーニング目的で他のポイントを選択した場合、選択したポイントで訓練されたモデルがより良いものになるようにします。 最初にラベル付けとトレーニングのためのノードを選択するためにGraph Centralityの概念を使用する方法を思いつき、トレーニングは一度だけ実行する必要があります。
  論文  参考訳（メタデータ） (2021-04-29T05:43:39Z)
• Partial Is Better Than All: Revisiting Fine-tuning Strategy for Few-shot Learning [76.98364915566292]
  一般的なプラクティスは、まずベースセット上でモデルをトレーニングし、その後、微調整によって新しいクラスに移行することである。 本稿では,基本モデル内の特定の層を凍結あるいは微調整することにより,部分的知識の伝達を提案する。 提案手法の有効性を実証するために, CUB と mini-ImageNet の広範な実験を行った。
  論文  参考訳（メタデータ） (2021-02-08T03:27:05Z)
• Multi-Stage Transfer Learning with an Application to Selection Process [5.933303832684138]
  多段階プロセスでは、決定は順序付けられた段階の順序で行われる。 本研究では,早期に訓練された単純な分類器からの知識を利用するテキスト・マルチ・スタゲ・トランスファー・ラーニング(MSGTL)手法を提案する。 簡単な確率写像を用いて,知識の保存と微調整のトレードオフを制御可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-01T21:27:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。