論文の概要: Improving Generalization via Meta-Learning on Hard Samples

• arxiv url: http://arxiv.org/abs/2403.12236v2
• Date: Fri, 29 Mar 2024 06:41:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-01 17:53:05.079341
• Title: Improving Generalization via Meta-Learning on Hard Samples
• Title（参考訳）: ハードサンプルのメタラーニングによる一般化の改善
• Authors: Nishant Jain, Arun S. Suggala, Pradeep Shenoy,
• Abstract要約: 検証集合における難しい分類インスタンスの使用は、理論上の関係と、一般化の強い経験的証拠の両方を持つことを示す。 我々は,このメタ最適化モデルを訓練するための効率的なアルゴリズムと,注意深い比較研究のための簡単なトレインツースを提供する。
• 参考スコア（独自算出の注目度）: 8.96835934244022
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learned reweighting (LRW) approaches to supervised learning use an optimization criterion to assign weights for training instances, in order to maximize performance on a representative validation dataset. We pose and formalize the problem of optimized selection of the validation set used in LRW training, to improve classifier generalization. In particular, we show that using hard-to-classify instances in the validation set has both a theoretical connection to, and strong empirical evidence of generalization. We provide an efficient algorithm for training this meta-optimized model, as well as a simple train-twice heuristic for careful comparative study. We demonstrate that LRW with easy validation data performs consistently worse than LRW with hard validation data, establishing the validity of our meta-optimization problem. Our proposed algorithm outperforms a wide range of baselines on a range of datasets and domain shift challenges (Imagenet-1K, CIFAR-100, Clothing-1M, CAMELYON, WILDS, etc.), with ~1% gains using VIT-B on Imagenet. We also show that using naturally hard examples for validation (Imagenet-R / Imagenet-A) in LRW training for Imagenet improves performance on both clean and naturally hard test instances by 1-2%. Secondary analyses show that using hard validation data in an LRW framework improves margins on test data, hinting at the mechanism underlying our empirical gains. We believe this work opens up new research directions for the meta-optimization of meta-learning in a supervised learning context.
• Abstract（参考訳）: 教師付き学習に対する学習再重み付け(LRW)アプローチでは、代表検証データセットのパフォーマンスを最大化するために、最適化基準を使用してトレーニングインスタンスの重み付けを割り当てる。 LRWトレーニングで使用される検証セットを最適化し、分類器の一般化を改善する。 特に、検証集合における分類の難しいインスタンスの使用は、理論上の関係と、一般化の強い経験的証拠の両方を持つことを示す。 このメタ最適化モデルを学習するための効率的なアルゴリズムと、注意深い比較研究のための単純なトレインツースヒューリスティックを提供する。 簡単な検証データを持つLRWは、ハードな検証データを持つLRWよりも一貫して悪い性能を示し、メタ最適化問題の妥当性を確立した。 提案アルゴリズムは,データセットやドメインシフトの課題(Imagenet-1K, CIFAR-100, Clothing-1M, CAMELYON, WILDSなど)に対して,VIT-BをImagenet上で使用する場合の約1%のゲインで,幅広いベースラインを達成している。 また、LRWトレーニングにおける検証のための自然なハード例(Imagenet-R / Imagenet-A)を使用することで、クリーンかつ自然なテストインスタンスの性能が1-2%向上することを示す。 2次解析により、LRWフレームワークにおけるハード検証データを使用することで、テストデータのマージンが向上し、経験的ゲインの基礎となるメカニズムが示唆された。 本研究は,メタ学習を教師付き学習コンテキストでメタ学習に最適化するための新たな研究の方向性を開くと信じている。

関連論文リスト

• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)
• Better Practices for Domain Adaptation [62.70267990659201]
  ドメイン適応(DA)は、ラベルを使わずに、モデルを配置データに適用するためのフレームワークを提供することを目的としている。 DAの明確な検証プロトコルは、文献の悪い実践につながっている。 ドメイン適応手法の3つの分野にまたがる課題を示す。
  論文  参考訳（メタデータ） (2023-09-07T17:44:18Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• To be Critical: Self-Calibrated Weakly Supervised Learning for Salient Object Detection [95.21700830273221]
  弱教師付き有色物体検出(WSOD)は,画像レベルのアノテーションを用いた有色度モデルの開発を目的としている。 擬似ラベルとネットワーク予測の相互校正ループを明確に設定し,自己校正学習戦略を提案する。 十分に整合したアノテーションを持つはるかに小さなデータセットであっても、モデルがより優れたパフォーマンスと一般化性を達成するのに役立ちます。
  論文  参考訳（メタデータ） (2021-09-04T02:45:22Z)
• Selective Output Smoothing Regularization: Regularize Neural Networks by Softening Output Distributions [5.725228891050467]
  畳み込みニューラルネットワーク(CNN)を学習するための新しい正規化手法であるSelective Output Smoothing Regularizationを提案する。 異なるサンプルからのトレーニングに対する多様な影響にインスパイアされたSelective Output Smoothing Regularizationは、モデルに不正なクラスで同等のロジットを生成するように促すことによって、パフォーマンスを改善する。 このプラグアンドプレイ正規化方法は、余分な手間をかけずに、ほぼすべてのCNNベースのプロジェクトに便利に組み込むことができる。
  論文  参考訳（メタデータ） (2021-03-29T07:21:06Z)
• Adaptive Consistency Regularization for Semi-Supervised Transfer Learning [31.66745229673066]
  我々は,半教師付き学習と移動学習を共同で検討し,より実践的で競争的なパラダイムへと導いた。 事前学習した重みとラベルなしの目標サンプルの両方の価値をよりよく活用するために、適応整合正則化を導入する。 提案手法は,Pseudo Label,Mean Teacher,MixMatchといった,最先端の半教師付き学習技術より優れた適応整合性正規化を実現する。
  論文  参考訳（メタデータ） (2021-03-03T05:46:39Z)
• Generalized Reinforcement Meta Learning for Few-Shot Optimization [3.7675996866306845]
  本稿では, 汎用的かつ柔軟な強化学習(RL)に基づくメタラーニングフレームワークを提案する。 我々のフレームワークは簡単にネットワークアーキテクチャ検索に拡張できる。
  論文  参考訳（メタデータ） (2020-05-04T03:21:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。