論文の概要: Towards Understanding Feature Learning in Out-of-Distribution
Generalization
- arxiv url: http://arxiv.org/abs/2304.11327v1
- Date: Sat, 22 Apr 2023 05:57:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-25 19:06:07.773828
- Title: Towards Understanding Feature Learning in Out-of-Distribution
Generalization
- Title(参考訳): out-of-distribution generalizationにおける特徴学習の理解に向けて
- Authors: Yongqiang Chen, Wei Huang, Kaiwen Zhou, Yatao Bian, Bo Han, James
Cheng
- Abstract要約: 我々は、既に学習済みの機能を保持し、複数のラウンドで新しい機能を増強することによって、すべての有用な機能を学ぶためにモデルを強制する機能強化トレーニングを提案する。
実験により、FATはよりリッチな特徴を効果的に学習し、様々な目的に適用した場合のOOD性能を一貫して改善することが示された。
- 参考スコア(独自算出の注目度): 31.08067292733182
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: A common explanation for the failure of out-of-distribution (OOD)
generalization is that the model trained with empirical risk minimization (ERM)
learns spurious features instead of the desired invariant features. However,
several recent studies challenged this explanation and found that deep networks
may have already learned sufficiently good features for OOD generalization. The
debate extends to the in-distribution and OOD performance correlations along
with training or fine-tuning neural nets across a variety of OOD generalization
tasks. To understand these seemingly contradicting phenomena, we conduct a
theoretical investigation and find that ERM essentially learns both spurious
features and invariant features. On the other hand, the quality of learned
features during ERM pre-training significantly affects the final OOD
performance, as OOD objectives rarely learn new features. Failing to capture
all the underlying useful features during pre-training will further limit the
final OOD performance. To remedy the issue, we propose Feature Augmented
Training (FAT ), to enforce the model to learn all useful features by retaining
the already learned features and augmenting new ones by multiple rounds. In
each round, the retention and augmentation operations are performed on
different subsets of the training data that capture distinct features.
Extensive experiments show that FAT effectively learns richer features and
consistently improves the OOD performance when applied to various objectives.
- Abstract(参考訳): out-of-distribution (ood) 一般化の失敗に対する一般的な説明は、経験的リスク最小化 (erm) で訓練されたモデルは、所望の不変な特徴ではなく、散発的な特徴を学ぶことである。
しかし、最近のいくつかの研究は、この説明に異議を唱え、深層ネットワークがOODの一般化に十分な良い特徴を既に学んでいたかもしれないことを見出した。
この議論は、様々なOOD一般化タスクにわたるトレーニングや微調整ニューラルネットとともに、分配内およびOODパフォーマンスの相関にも及んでいる。
これらの矛盾する現象を理解するため、理論的研究を行い、ERMが本質的に急激な特徴と不変な特徴の両方を学習していることを見出した。
一方,ERM事前学習における学習機能の品質は,OOD目標が新しい機能をほとんど学習しないため,最終的なOOD性能に大きな影響を及ぼす。
事前トレーニング中に基盤となるすべての有用な機能をキャプチャできないと、最終的なOODパフォーマンスがさらに制限される。
この問題を改善するため,我々は,すでに学習済みの機能を保持し,新たな機能を複数ラウンドで強化することにより,すべての有用な機能を学ぶようモデルに強制する機能拡張トレーニング(fat)を提案する。
各ラウンドにおいて、保持および拡張操作は、異なる特徴をキャプチャするトレーニングデータの異なるサブセットで実行される。
大規模な実験により、FATはよりリッチな特徴を効果的に学習し、様々な目的に適用した場合のOOD性能を継続的に改善することが示された。
関連論文リスト
- Overcoming the Pitfalls of Vision-Language Model Finetuning for OOD Generalization [11.140366256534474]
既存の視覚言語モデルは、様々な視覚領域やタスクに対して強力な一般化を示す。
本稿では,OOD ゲネラリゼーションを改良するための新しいアプローチである OGEN を提案する。
具体的には、未知のクラスのクラス名のみを使用して、OOD機能を合成するために、クラス条件フィーチャジェネレータが導入された。
論文 参考訳(メタデータ) (2024-01-29T06:57:48Z) - MOODv2: Masked Image Modeling for Out-of-Distribution Detection [57.17163962383442]
本研究は,様々なOODスコア関数を用いて,個別の事前学習課題について検討する。
当社のフレームワークMOODv2は,14.30%のAUROCをImageNetで95.68%に向上し,CIFAR-10で99.98%を達成した。
論文 参考訳(メタデータ) (2024-01-05T02:57:58Z) - Mitigating Simplicity Bias in Deep Learning for Improved OOD
Generalization and Robustness [5.976013616522926]
モデルに対して,より多様な機能セットを使用して予測を行うように促すフレームワークを提案する。
まず、簡単なモデルを訓練し、その上で条件付き相互情報を規則化し、最終的なモデルを得る。
様々な問題設定や実世界のアプリケーションにおいて,このフレームワークの有効性を実証する。
論文 参考訳(メタデータ) (2023-10-09T21:19:39Z) - Spurious Feature Diversification Improves Out-of-distribution
Generalization [45.73116618895293]
アウト・オブ・ディストリビューション(OOD)データへの一般化は、機械学習において重要な課題である。
トレーニング済みモデルと微調整済みモデルの間を補間する一般的な重量空間アンサンブル法であるWiSE-FTについて検討する。
論文 参考訳(メタデータ) (2023-09-29T13:29:22Z) - LINe: Out-of-Distribution Detection by Leveraging Important Neurons [15.797257361788812]
本稿では,分布内データとOODデータ間のモデル出力の差を解析するための新しい側面を紹介する。
本稿では,分布検出のポストホックアウトのための新しい手法であるLINe( Leveraging Important Neurons)を提案する。
論文 参考訳(メタデータ) (2023-03-24T13:49:05Z) - Models Out of Line: A Fourier Lens on Distribution Shift Robustness [29.12208822285158]
分散外(OOD)データに対するディープニューラルネットワーク(DNN)の精度向上は、現実世界の応用におけるディープラーニング(DL)の受容に不可欠である。
近年、OODの堅牢性を改善するためにいくつかの有望なアプローチが開発されている。
効果的なロバスト性を監視するために必要なOODデータとモデル特性の条件について、いまだに明確な理解が得られていない。
論文 参考訳(メタデータ) (2022-07-08T18:05:58Z) - Agree to Disagree: Diversity through Disagreement for Better
Transferability [54.308327969778155]
本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。
我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
論文 参考訳(メタデータ) (2022-02-09T12:03:02Z) - Evading the Simplicity Bias: Training a Diverse Set of Models Discovers
Solutions with Superior OOD Generalization [93.8373619657239]
SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。
この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。
単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
論文 参考訳(メタデータ) (2021-05-12T12:12:24Z) - ATOM: Robustifying Out-of-distribution Detection Using Outlier Mining [51.19164318924997]
インフォメーション・アウトリエ・マイニングによるアドリアトレーニングは、OOD検出の堅牢性を向上させる。
ATOMは,古典的,敵対的なOOD評価タスクの幅広いファミリーの下で,最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2020-06-26T20:58:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。