論文の概要: Towards Understanding Feature Learning in Out-of-Distribution Generalization

• arxiv url: http://arxiv.org/abs/2304.11327v1
• Date: Sat, 22 Apr 2023 05:57:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 19:06:07.773828
• Title: Towards Understanding Feature Learning in Out-of-Distribution Generalization
• Title（参考訳）: out-of-distribution generalizationにおける特徴学習の理解に向けて
• Authors: Yongqiang Chen, Wei Huang, Kaiwen Zhou, Yatao Bian, Bo Han, James Cheng
• Abstract要約: 我々は、既に学習済みの機能を保持し、複数のラウンドで新しい機能を増強することによって、すべての有用な機能を学ぶためにモデルを強制する機能強化トレーニングを提案する。 実験により、FATはよりリッチな特徴を効果的に学習し、様々な目的に適用した場合のOOD性能を一貫して改善することが示された。
• 参考スコア（独自算出の注目度）: 31.08067292733182
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: A common explanation for the failure of out-of-distribution (OOD) generalization is that the model trained with empirical risk minimization (ERM) learns spurious features instead of the desired invariant features. However, several recent studies challenged this explanation and found that deep networks may have already learned sufficiently good features for OOD generalization. The debate extends to the in-distribution and OOD performance correlations along with training or fine-tuning neural nets across a variety of OOD generalization tasks. To understand these seemingly contradicting phenomena, we conduct a theoretical investigation and find that ERM essentially learns both spurious features and invariant features. On the other hand, the quality of learned features during ERM pre-training significantly affects the final OOD performance, as OOD objectives rarely learn new features. Failing to capture all the underlying useful features during pre-training will further limit the final OOD performance. To remedy the issue, we propose Feature Augmented Training (FAT ), to enforce the model to learn all useful features by retaining the already learned features and augmenting new ones by multiple rounds. In each round, the retention and augmentation operations are performed on different subsets of the training data that capture distinct features. Extensive experiments show that FAT effectively learns richer features and consistently improves the OOD performance when applied to various objectives.
• Abstract（参考訳）: out-of-distribution (ood) 一般化の失敗に対する一般的な説明は、経験的リスク最小化 (erm) で訓練されたモデルは、所望の不変な特徴ではなく、散発的な特徴を学ぶことである。 しかし、最近のいくつかの研究は、この説明に異議を唱え、深層ネットワークがOODの一般化に十分な良い特徴を既に学んでいたかもしれないことを見出した。 この議論は、様々なOOD一般化タスクにわたるトレーニングや微調整ニューラルネットとともに、分配内およびOODパフォーマンスの相関にも及んでいる。 これらの矛盾する現象を理解するため、理論的研究を行い、ERMが本質的に急激な特徴と不変な特徴の両方を学習していることを見出した。 一方,ERM事前学習における学習機能の品質は,OOD目標が新しい機能をほとんど学習しないため,最終的なOOD性能に大きな影響を及ぼす。 事前トレーニング中に基盤となるすべての有用な機能をキャプチャできないと、最終的なOODパフォーマンスがさらに制限される。 この問題を改善するため,我々は,すでに学習済みの機能を保持し,新たな機能を複数ラウンドで強化することにより,すべての有用な機能を学ぶようモデルに強制する機能拡張トレーニング(fat)を提案する。 各ラウンドにおいて、保持および拡張操作は、異なる特徴をキャプチャするトレーニングデータの異なるサブセットで実行される。 大規模な実験により、FATはよりリッチな特徴を効果的に学習し、様々な目的に適用した場合のOOD性能を継続的に改善することが示された。

関連論文リスト

• Out-of-Distribution Learning with Human Feedback [26.398598663165636]
  本稿では,人的フィードバックによるOOD学習のための新しい枠組みを提案する。 当社のフレームワークは、無償で利用可能な未ラベルデータに便乗しています。 人間のフィードバックを利用して、機械学習モデルの堅牢性と信頼性を高める。
  論文  参考訳（メタデータ） (2024-08-14T18:49:27Z)
• CRoFT: Robust Fine-Tuning with Concurrent Optimization for OOD Generalization and Open-Set OOD Detection [42.33618249731874]
  トレーニングデータにおけるエネルギースコアの最大化は、ドメイン一貫性のあるヘッセンの分類損失につながることを示す。 我々は,両タスクの同時最適化を可能にする統合された微調整フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-05-26T03:28:59Z)
• Overcoming the Pitfalls of Vision-Language Model Finetuning for OOD Generalization [11.140366256534474]
  既存の視覚言語モデルは、様々な視覚領域やタスクに対して強力な一般化を示す。 本稿では,OOD ゲネラリゼーションを改良するための新しいアプローチである OGEN を提案する。 具体的には、未知のクラスのクラス名のみを使用して、OOD機能を合成するために、クラス条件フィーチャジェネレータが導入された。
  論文  参考訳（メタデータ） (2024-01-29T06:57:48Z)
• MOODv2: Masked Image Modeling for Out-of-Distribution Detection [57.17163962383442]
  本研究は,様々なOODスコア関数を用いて,個別の事前学習課題について検討する。 当社のフレームワークMOODv2は,14.30%のAUROCをImageNetで95.68%に向上し,CIFAR-10で99.98%を達成した。
  論文  参考訳（メタデータ） (2024-01-05T02:57:58Z)
• Mitigating Simplicity Bias in Deep Learning for Improved OOD Generalization and Robustness [5.976013616522926]
  モデルに対して,より多様な機能セットを使用して予測を行うように促すフレームワークを提案する。 まず、簡単なモデルを訓練し、その上で条件付き相互情報を規則化し、最終的なモデルを得る。 様々な問題設定や実世界のアプリケーションにおいて,このフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2023-10-09T21:19:39Z)
• Spurious Feature Diversification Improves Out-of-distribution Generalization [43.84284578270031]
  アウト・オブ・ディストリビューション(OOD)データへの一般化は、機械学習において重要な課題である。 トレーニング済みモデルと微調整済みモデルの間を補間する一般的な重量空間アンサンブル法であるWiSE-FTについて検討する。 We observed an unexpected FalseFalseTrue, where WiSE-FT successfully corrects many case that each each model makes wrong corrects。
  論文  参考訳（メタデータ） (2023-09-29T13:29:22Z)
• Agree to Disagree: Diversity through Disagreement for Better Transferability [54.308327969778155]
  本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。 我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
  論文  参考訳（メタデータ） (2022-02-09T12:03:02Z)
• Confounder Identification-free Causal Visual Feature Learning [84.28462256571822]
  本稿では,創始者を特定する必要性を排除した,創始者同定自由因果視覚特徴学習(CICF)手法を提案する。 CICFは、フロントドア基準に基づいて異なるサンプル間の介入をモデル化し、インスタンスレベルの介入に対するグローバルスコープ干渉効果を近似する。 我々は,CICFと一般的なメタラーニング戦略MAMLの関係を明らかにするとともに,MAMLが理論的観点から機能する理由を解釈する。
  論文  参考訳（メタデータ） (2021-11-26T10:57:47Z)
• Evading the Simplicity Bias: Training a Diverse Set of Models Discovers Solutions with Superior OOD Generalization [93.8373619657239]
  SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。 この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。 単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
  論文  参考訳（メタデータ） (2021-05-12T12:12:24Z)
• ATOM: Robustifying Out-of-distribution Detection Using Outlier Mining [51.19164318924997]
  インフォメーション・アウトリエ・マイニングによるアドリアトレーニングは、OOD検出の堅牢性を向上させる。 ATOMは,古典的,敵対的なOOD評価タスクの幅広いファミリーの下で,最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-06-26T20:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。