論文の概要: Understanding and Improving Feature Learning for Out-of-Distribution Generalization

• arxiv url: http://arxiv.org/abs/2304.11327v2
• Date: Sun, 29 Oct 2023 05:20:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 22:53:20.232761
• Title: Understanding and Improving Feature Learning for Out-of-Distribution Generalization
• Title（参考訳）: out-of-distribution generalizationにおける特徴学習の理解と改善
• Authors: Yongqiang Chen, Wei Huang, Kaiwen Zhou, Yatao Bian, Bo Han, James Cheng
• Abstract要約: 我々は、OODの一般化に備えたよりリッチな特徴を学習するために、モデルを強制するためのFeAT(Feature Augmented Training)を提案する。 反復的にモデルを拡張して、すでに学んだ機能を維持しながら、新しい機能を学習する。 実験により、FeATはよりリッチな特徴を効果的に学習し、様々なOOD目標の性能を高めることが示されている。
• 参考スコア（独自算出の注目度）: 41.06375309780553
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: A common explanation for the failure of out-of-distribution (OOD) generalization is that the model trained with empirical risk minimization (ERM) learns spurious features instead of invariant features. However, several recent studies challenged this explanation and found that deep networks may have already learned sufficiently good features for OOD generalization. Despite the contradictions at first glance, we theoretically show that ERM essentially learns both spurious and invariant features, while ERM tends to learn spurious features faster if the spurious correlation is stronger. Moreover, when fed the ERM learned features to the OOD objectives, the invariant feature learning quality significantly affects the final OOD performance, as OOD objectives rarely learn new features. Therefore, ERM feature learning can be a bottleneck to OOD generalization. To alleviate the reliance, we propose Feature Augmented Training (FeAT), to enforce the model to learn richer features ready for OOD generalization. FeAT iteratively augments the model to learn new features while retaining the already learned features. In each round, the retention and augmentation operations are performed on different subsets of the training data that capture distinct features. Extensive experiments show that FeAT effectively learns richer features thus boosting the performance of various OOD objectives.
• Abstract（参考訳）: アウト・オブ・ディストリビューション(OOD)の一般化の失敗に関する一般的な説明は、経験的リスク最小化(ERM)で訓練されたモデルは、不変の特徴ではなく刺激的な特徴を学ぶことである。 しかし、最近のいくつかの研究は、この説明に異議を唱え、深層ネットワークがOODの一般化に十分な良い特徴を既に学んでいたかもしれないことを見出した。 一見の矛盾にもかかわらず、理論上、ermは基本的にスプリアスと不変な特徴の両方を学習するが、ermはスプリアス相関が強ければスプリアスの特徴をより早く学習する傾向がある。 さらに,ERMが学習した特徴をOODの目的に与えると,その不変な特徴学習品質はOODの最終的な性能に大きく影響する。 したがって、erm機能学習はood一般化のボトルネックとなりうる。 信頼性を緩和するため,OODの一般化に備えたよりリッチな特徴を学習するためのFeAT(Feature Augmented Training)を提案する。 反復的にモデルを拡張して、すでに学んだ機能を維持しながら、新しい機能を学ぶ。 各ラウンドにおいて、保持および拡張操作は、異なる特徴をキャプチャするトレーニングデータの異なるサブセットで実行される。 大規模な実験により、FeATはよりリッチな特徴を効果的に学習し、様々なOOD目標の性能を高めることが示されている。

関連論文リスト

• CRoFT: Robust Fine-Tuning with Concurrent Optimization for OOD Generalization and Open-Set OOD Detection [42.33618249731874]
  トレーニングデータにおけるエネルギースコアの最大化は、ドメイン一貫性のあるヘッセンの分類損失につながることを示す。 我々は,両タスクの同時最適化を可能にする統合された微調整フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-05-26T03:28:59Z)
• Overcoming the Pitfalls of Vision-Language Model Finetuning for OOD Generalization [11.140366256534474]
  既存の視覚言語モデルは、様々な視覚領域やタスクに対して強力な一般化を示す。 本稿では,OOD ゲネラリゼーションを改良するための新しいアプローチである OGEN を提案する。 具体的には、未知のクラスのクラス名のみを使用して、OOD機能を合成するために、クラス条件フィーチャジェネレータが導入された。
  論文  参考訳（メタデータ） (2024-01-29T06:57:48Z)
• MOODv2: Masked Image Modeling for Out-of-Distribution Detection [57.17163962383442]
  本研究は,様々なOODスコア関数を用いて,個別の事前学習課題について検討する。 当社のフレームワークMOODv2は,14.30%のAUROCをImageNetで95.68%に向上し,CIFAR-10で99.98%を達成した。
  論文  参考訳（メタデータ） (2024-01-05T02:57:58Z)
• Mitigating Simplicity Bias in Deep Learning for Improved OOD Generalization and Robustness [5.976013616522926]
  モデルに対して,より多様な機能セットを使用して予測を行うように促すフレームワークを提案する。 まず、簡単なモデルを訓練し、その上で条件付き相互情報を規則化し、最終的なモデルを得る。 様々な問題設定や実世界のアプリケーションにおいて,このフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2023-10-09T21:19:39Z)
• Spurious Feature Diversification Improves Out-of-distribution Generalization [43.84284578270031]
  アウト・オブ・ディストリビューション(OOD)データへの一般化は、機械学習において重要な課題である。 トレーニング済みモデルと微調整済みモデルの間を補間する一般的な重量空間アンサンブル法であるWiSE-FTについて検討する。 We observed an unexpected FalseFalseTrue, where WiSE-FT successfully corrects many case that each each model makes wrong corrects。
  論文  参考訳（メタデータ） (2023-09-29T13:29:22Z)
• Models Out of Line: A Fourier Lens on Distribution Shift Robustness [29.12208822285158]
  分散外(OOD)データに対するディープニューラルネットワーク(DNN)の精度向上は、現実世界の応用におけるディープラーニング(DL)の受容に不可欠である。 近年、OODの堅牢性を改善するためにいくつかの有望なアプローチが開発されている。 効果的なロバスト性を監視するために必要なOODデータとモデル特性の条件について、いまだに明確な理解が得られていない。
  論文  参考訳（メタデータ） (2022-07-08T18:05:58Z)
• Agree to Disagree: Diversity through Disagreement for Better Transferability [54.308327969778155]
  本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。 我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
  論文  参考訳（メタデータ） (2022-02-09T12:03:02Z)
• Confounder Identification-free Causal Visual Feature Learning [84.28462256571822]
  本稿では,創始者を特定する必要性を排除した,創始者同定自由因果視覚特徴学習(CICF)手法を提案する。 CICFは、フロントドア基準に基づいて異なるサンプル間の介入をモデル化し、インスタンスレベルの介入に対するグローバルスコープ干渉効果を近似する。 我々は,CICFと一般的なメタラーニング戦略MAMLの関係を明らかにするとともに,MAMLが理論的観点から機能する理由を解釈する。
  論文  参考訳（メタデータ） (2021-11-26T10:57:47Z)
• Evading the Simplicity Bias: Training a Diverse Set of Models Discovers Solutions with Superior OOD Generalization [93.8373619657239]
  SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。 この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。 単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
  論文  参考訳（メタデータ） (2021-05-12T12:12:24Z)
• ATOM: Robustifying Out-of-distribution Detection Using Outlier Mining [51.19164318924997]
  インフォメーション・アウトリエ・マイニングによるアドリアトレーニングは、OOD検出の堅牢性を向上させる。 ATOMは,古典的,敵対的なOOD評価タスクの幅広いファミリーの下で,最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-06-26T20:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。