論文の概要: Spurious Feature Diversification Improves Out-of-distribution
Generalization
- arxiv url: http://arxiv.org/abs/2309.17230v1
- Date: Fri, 29 Sep 2023 13:29:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 13:42:53.164246
- Title: Spurious Feature Diversification Improves Out-of-distribution
Generalization
- Title(参考訳): Spurious Feature Diversificationは配布外一般化を改善する
- Authors: Yong Lin, Lu Tan, Yifan Hao, Honam Wong, Hanze Dong, Weizhong Zhang,
Yujiu Yang, Tong Zhang
- Abstract要約: アウト・オブ・ディストリビューション(OOD)データへの一般化は、機械学習において重要な課題である。
トレーニング済みモデルと微調整済みモデルの間を補間する一般的な重量空間アンサンブル法であるWiSE-FTについて検討する。
- 参考スコア(独自算出の注目度): 45.73116618895293
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generalization to out-of-distribution (OOD) data is a critical challenge in
machine learning. Ensemble-based methods, like weight space ensembles that
interpolate model parameters, have been shown to achieve superior OOD
performance. However, the underlying mechanism for their effectiveness remains
unclear. In this study, we closely examine WiSE-FT, a popular weight space
ensemble method that interpolates between a pre-trained and a fine-tuned model.
We observe an unexpected phenomenon, in which WiSE-FT successfully corrects
many cases where each individual model makes incorrect predictions, which
contributes significantly to its OOD effectiveness. To gain further insights,
we conduct theoretical analysis in a multi-class setting with a large number of
spurious features. Our analysis predicts the above phenomenon and it further
shows that ensemble-based models reduce prediction errors in the OOD settings
by utilizing a more diverse set of spurious features. Contrary to the
conventional wisdom that focuses on learning invariant features for better OOD
performance, our findings suggest that incorporating a large number of diverse
spurious features weakens their individual contributions, leading to improved
overall OOD generalization performance. Empirically we demonstrate the
effectiveness of utilizing diverse spurious features on a MultiColorMNIST
dataset, and our experimental results are consistent with the theoretical
analysis. Building upon the new theoretical insights into the efficacy of
ensemble methods, we further identify an issue of WiSE-FT caused by the
overconfidence of fine-tuned models in OOD situations. This overconfidence
magnifies the fine-tuned model's incorrect prediction, leading to deteriorated
OOD ensemble performance. To remedy this problem, we propose a novel method
called BAlaNced averaGing (BANG), which significantly enhances the OOD
performance of WiSE-FT.
- Abstract(参考訳): out-of-distribution(ood)データへの一般化は、機械学習における重要な課題である。
モデルパラメータを補間する重み空間アンサンブルのようなアンサンブルに基づく手法は、優れたOOD性能を実現することが示されている。
しかし、その効果の根底にあるメカニズムは不明である。
本研究では,事前学習モデルと微調整モデルの間を補間する一般的な重量空間アンサンブル法であるWiSE-FTを詳しく検討する。
wise-ftは各モデルが不正確な予測を行う多くのケースをうまく修正し、それがoodの有効性に大きく寄与する予期せぬ現象を観察した。
さらなる知見を得るため、我々は多数の突発的な特徴を持つ多クラス設定で理論的解析を行う。
本解析では,上記の現象を予測し,さらに,アンサンブルに基づくモデルにより,より多様なスプリアス特徴を用いて,ood設定における予測誤差を低減できることを示す。
OOD性能を改善するために不変な特徴を学習することに焦点を当てた従来の知恵とは対照的に,多種多様な突発的特徴を取り入れることで個人の貢献が弱まり,OOD全体の一般化性能が向上することが示唆された。
実験により,MultiColorMNISTデータセットにおける多様な特徴の活用の有効性を実証し,実験結果と理論解析との整合性を示した。
アンサンブル法の有効性に関する新たな理論的知見に基づいて,OOD状況における微調整モデルの過度な信頼に起因するWiSE-FTの問題をさらに特定する。
この過信は、微調整されたモデルの誤った予測を拡大し、OODアンサンブル性能を低下させる。
この問題を解決するため, BAlaNced averaGing (BANG) と呼ばれる新しい手法を提案し, WiSE-FTのOOD性能を大幅に向上させる。
関連論文リスト
- A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳(メタデータ) (2023-11-13T01:48:08Z) - Mitigating Simplicity Bias in Deep Learning for Improved OOD
Generalization and Robustness [5.976013616522926]
モデルに対して,より多様な機能セットを使用して予測を行うように促すフレームワークを提案する。
まず、簡単なモデルを訓練し、その上で条件付き相互情報を規則化し、最終的なモデルを得る。
様々な問題設定や実世界のアプリケーションにおいて,このフレームワークの有効性を実証する。
論文 参考訳(メタデータ) (2023-10-09T21:19:39Z) - Graph Neural Networks for Forecasting Multivariate Realized Volatility
with Spillover Effects [16.260673340556135]
提案モデルでは, マルチホップ近傍からの流出効果を取り入れ, 非線形関係を捉え, 損失関数の異なるフレキシブルなトレーニングを行う。
この結果から,擬似的損失によるトレーニングがモデル性能の大幅な向上につながることが示唆された。
論文 参考訳(メタデータ) (2023-08-01T14:39:03Z) - Adaptive Contextual Perception: How to Generalize to New Backgrounds and
Ambiguous Objects [75.15563723169234]
本研究では,視覚モデルが分布外一般化の文脈をどのように適応的に利用するかを検討する。
1つの設定で優れているモデルは、もう1つの設定で苦労する傾向があります。
生物学的視覚の一般化能力を再現するためには、コンピュータビジョンモデルは背景表現に対して分解対象を持つ必要がある。
論文 参考訳(メタデータ) (2023-06-09T15:29:54Z) - Understanding and Improving Feature Learning for Out-of-Distribution
Generalization [41.06375309780553]
我々は、OODの一般化に備えたよりリッチな特徴を学習するために、モデルを強制するためのFeAT(Feature Augmented Training)を提案する。
反復的にモデルを拡張して、すでに学んだ機能を維持しながら、新しい機能を学習する。
実験により、FeATはよりリッチな特徴を効果的に学習し、様々なOOD目標の性能を高めることが示されている。
論文 参考訳(メタデータ) (2023-04-22T05:57:00Z) - Improving Out-of-Distribution Generalization by Adversarial Training
with Structured Priors [17.936426699670864]
サンプルワイド・アドバイザリ・トレーニング (AT) では, アウト・オブ・ディストリビューション (OOD) の一般化が限定的に改善されていることを示す。
OOD-robustモデルのトレーニングのために,低ランク構造をもつ2つのAT変種を提案する。
提案手法は,経験的リスク最小化(ERM)とサンプルワイドATより優れている。
論文 参考訳(メタデータ) (2022-10-13T07:37:42Z) - Design Amortization for Bayesian Optimal Experimental Design [70.13948372218849]
予測情報ゲイン(EIG)のバウンダリに関してパラメータ化された変分モデルを最適化する。
実験者が1つの変分モデルを最適化し、潜在的に無限に多くの設計に対してEIGを推定できる新しいニューラルアーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-10-07T02:12:34Z) - Models Out of Line: A Fourier Lens on Distribution Shift Robustness [29.12208822285158]
分散外(OOD)データに対するディープニューラルネットワーク(DNN)の精度向上は、現実世界の応用におけるディープラーニング(DL)の受容に不可欠である。
近年、OODの堅牢性を改善するためにいくつかの有望なアプローチが開発されている。
効果的なロバスト性を監視するために必要なOODデータとモデル特性の条件について、いまだに明確な理解が得られていない。
論文 参考訳(メタデータ) (2022-07-08T18:05:58Z) - Learned ISTA with Error-based Thresholding for Adaptive Sparse Coding [58.73333095047114]
学習用ISTA(LISTA)のためのエラーベースのしきい値設定機構を提案する。
提案手法は, 縮小関数の学習可能なパラメータを再構成誤差からよく切り離していることを示す。
論文 参考訳(メタデータ) (2021-12-21T05:07:54Z) - Improved OOD Generalization via Adversarial Training and Pre-training [49.08683910076778]
本稿では,入力摂動に頑健なモデルがOODデータによく一般化されることを理論的に示す。
従来, 対人訓練が入力難聴の改善に有効であったことが示唆され, 対人訓練モデルがOODデータに過剰なリスクを集中していることが示唆された。
論文 参考訳(メタデータ) (2021-05-24T08:06:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。