論文の概要: Spurious Feature Diversification Improves Out-of-distribution Generalization

• arxiv url: http://arxiv.org/abs/2309.17230v2
• Date: Sun, 14 Jul 2024 08:02:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 04:48:58.651528
• Title: Spurious Feature Diversification Improves Out-of-distribution Generalization
• Title（参考訳）: Spurious Feature Diversificationはアウト・オブ・ディストリビューションの一般化を改善する
• Authors: Yong Lin, Lu Tan, Yifan Hao, Honam Wong, Hanze Dong, Weizhong Zhang, Yujiu Yang, Tong Zhang,
• Abstract要約: アウト・オブ・ディストリビューション(OOD)データへの一般化は、機械学習において重要な課題である。 トレーニング済みモデルと微調整済みモデルの間を補間する一般的な重量空間アンサンブル法であるWiSE-FTについて検討する。 We observed an unexpected FalseFalseTrue, where WiSE-FT successfully corrects many case that each each model makes wrong corrects。
• 参考スコア（独自算出の注目度）: 43.84284578270031
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generalization to out-of-distribution (OOD) data is a critical challenge in machine learning. Ensemble-based methods, like weight space ensembles that interpolate model parameters, have been shown to achieve superior OOD performance. However, the underlying mechanism for their effectiveness remains unclear. In this study, we closely examine WiSE-FT, a popular weight space ensemble method that interpolates between a pre-trained and a fine-tuned model. We observe an unexpected ``FalseFalseTrue" phenomenon, in which WiSE-FT successfully corrects many cases where each individual model makes incorrect predictions, which contributes significantly to its OOD effectiveness. To gain further insights, we conduct theoretical analysis in a multi-class setting with a large number of spurious features. Our analysis predicts the above phenomenon and it further shows that ensemble-based models reduce prediction errors in the OOD settings by utilizing a more diverse set of spurious features. Contrary to the conventional wisdom that focuses on learning invariant features for better OOD performance, our findings suggest that incorporating a large number of diverse spurious features weakens their individual contributions, leading to improved overall OOD generalization performance. Additionally, our findings provide the first explanation for the mysterious phenomenon of weight space ensembles outperforming output space ensembles in OOD. Empirically we demonstrate the effectiveness of utilizing diverse spurious features on a MultiColorMNIST dataset, and our experimental results are consistent with the theoretical analysis. Building upon the new theoretical insights into the efficacy of ensemble methods, we further propose a novel averaging method called BAlaNced averaGing (BANG) which significantly enhances the OOD performance of WiSE-FT.
• Abstract（参考訳）: アウト・オブ・ディストリビューション(OOD)データへの一般化は、機械学習において重要な課題である。 モデルパラメータを補間する重み空間アンサンブルのようなアンサンブルに基づく手法は、優れたOOD性能を実現することが示されている。 しかし、その効果の根底にあるメカニズムはいまだ不明である。 本研究では,事前学習モデルと微調整モデルの間で補間を行う一般的な重量空間アンサンブル法であるWiSE-FTを詳しく検討する。 We observed an unexpected `FalseFalseTrue" phenomenon, where WiSE-FT successfully corrects many case that each model makes wrongrect predictions, which contribute to its OOD effectiveness。 さらなる知見を得るため、我々は多数の突発的な特徴を持つ多クラス設定で理論的解析を行う。 以上の現象を予測し,さらに,アンサンブルに基づくモデルによってOOD設定における予測誤差を低減できることを示す。 OOD性能を改善するために不変な特徴を学習することに焦点を当てた従来の知恵とは対照的に,多種多様な突発的特徴を取り入れることで個人の貢献が弱まり,OOD全体の一般化性能が向上することが示唆された。 さらに,本研究では,OODの出力空間のアンサンブルがOODの出力空間のアンサンブルより優れているという謎の現象を初めて説明する。 実験により,MultiColorMNISTデータセットにおける多様なスプリアス機能の利用の有効性を実証し,実験結果と理論解析との整合性を示した。 さらに, アンサンブル法の有効性に関する新たな理論的知見に基づいて, BAlaNced averaGing (BANG) と呼ばれる, WiSE-FTのOOD性能を大幅に向上させる新しい平均化手法を提案する。

関連論文リスト

• See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition [56.87609859444084]
  パラメータ効率の細かいチューニング(PEFT)は、パラメータの選択したサブセットを最適化し、残りを固定し、計算とストレージのオーバーヘッドを大幅に削減することに焦点を当てている。 分解の観点からそれらを分離することで、すべてのアプローチを統一する第一歩を踏み出します。 本稿では,PEFT技術の性能向上を目的とした,単純かつ効果的なフレームワークとともに,新しい2つのPEFT手法を提案する。
  論文  参考訳（メタデータ） (2024-07-07T15:44:42Z)
• Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
  視覚言語モデル(VLM)におけるOOD精度と校正誤差の両方を改善する頑健な微調整法を提案する。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-03T05:41:25Z)
• Mitigating Simplicity Bias in Deep Learning for Improved OOD Generalization and Robustness [5.976013616522926]
  モデルに対して,より多様な機能セットを使用して予測を行うように促すフレームワークを提案する。 まず、簡単なモデルを訓練し、その上で条件付き相互情報を規則化し、最終的なモデルを得る。 様々な問題設定や実世界のアプリケーションにおいて,このフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2023-10-09T21:19:39Z)
• Adaptive Contextual Perception: How to Generalize to New Backgrounds and Ambiguous Objects [75.15563723169234]
  本研究では,視覚モデルが分布外一般化の文脈をどのように適応的に利用するかを検討する。 1つの設定で優れているモデルは、もう1つの設定で苦労する傾向があります。 生物学的視覚の一般化能力を再現するためには、コンピュータビジョンモデルは背景表現に対して分解対象を持つ必要がある。
  論文  参考訳（メタデータ） (2023-06-09T15:29:54Z)
• Understanding and Improving Feature Learning for Out-of-Distribution Generalization [41.06375309780553]
  我々は、OODの一般化に備えたよりリッチな特徴を学習するために、モデルを強制するためのFeAT(Feature Augmented Training)を提案する。 反復的にモデルを拡張して、すでに学んだ機能を維持しながら、新しい機能を学習する。 実験により、FeATはよりリッチな特徴を効果的に学習し、様々なOOD目標の性能を高めることが示されている。
  論文  参考訳（メタデータ） (2023-04-22T05:57:00Z)
• Joint Training of Deep Ensembles Fails Due to Learner Collusion [61.557412796012535]
  機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。 伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。 アンサンブルの損失を最小化することは、実際にはほとんど適用されないことを示す。
  論文  参考訳（メタデータ） (2023-01-26T18:58:07Z)
• Improving Out-of-Distribution Generalization by Adversarial Training with Structured Priors [17.936426699670864]
  サンプルワイド・アドバイザリ・トレーニング (AT) では, アウト・オブ・ディストリビューション (OOD) の一般化が限定的に改善されていることを示す。 OOD-robustモデルのトレーニングのために,低ランク構造をもつ2つのAT変種を提案する。 提案手法は,経験的リスク最小化(ERM)とサンプルワイドATより優れている。
  論文  参考訳（メタデータ） (2022-10-13T07:37:42Z)
• Design Amortization for Bayesian Optimal Experimental Design [70.13948372218849]
  予測情報ゲイン(EIG)のバウンダリに関してパラメータ化された変分モデルを最適化する。 実験者が1つの変分モデルを最適化し、潜在的に無限に多くの設計に対してEIGを推定できる新しいニューラルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-10-07T02:12:34Z)
• Models Out of Line: A Fourier Lens on Distribution Shift Robustness [29.12208822285158]
  分散外(OOD)データに対するディープニューラルネットワーク(DNN)の精度向上は、現実世界の応用におけるディープラーニング(DL)の受容に不可欠である。 近年、OODの堅牢性を改善するためにいくつかの有望なアプローチが開発されている。 効果的なロバスト性を監視するために必要なOODデータとモデル特性の条件について、いまだに明確な理解が得られていない。
  論文  参考訳（メタデータ） (2022-07-08T18:05:58Z)
• Demarcating Endogenous and Exogenous Opinion Dynamics: An Experimental Design Approach [27.975266406080152]
  本稿では,実験的な設計手法に基づく教師なし分類手法のスイートを設計する。 平均推定誤差の異なる測度を最小化するイベントのサブセットを選択することを目的としている。 我々の実験は、不衛生事象や衛生事象に対する予測性能の検証から、様々な大きさの最適なサブセットを選択する効果の検証まで多岐にわたる。
  論文  参考訳（メタデータ） (2021-02-11T11:38:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。