論文の概要: Spurious Feature Diversification Improves Out-of-distribution Generalization

• arxiv url: http://arxiv.org/abs/2309.17230v1
• Date: Fri, 29 Sep 2023 13:29:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-02 13:42:53.164246
• Title: Spurious Feature Diversification Improves Out-of-distribution Generalization
• Title（参考訳）: Spurious Feature Diversificationは配布外一般化を改善する
• Authors: Yong Lin, Lu Tan, Yifan Hao, Honam Wong, Hanze Dong, Weizhong Zhang, Yujiu Yang, Tong Zhang
• Abstract要約: アウト・オブ・ディストリビューション(OOD)データへの一般化は、機械学習において重要な課題である。 トレーニング済みモデルと微調整済みモデルの間を補間する一般的な重量空間アンサンブル法であるWiSE-FTについて検討する。
• 参考スコア（独自算出の注目度）: 45.73116618895293
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generalization to out-of-distribution (OOD) data is a critical challenge in machine learning. Ensemble-based methods, like weight space ensembles that interpolate model parameters, have been shown to achieve superior OOD performance. However, the underlying mechanism for their effectiveness remains unclear. In this study, we closely examine WiSE-FT, a popular weight space ensemble method that interpolates between a pre-trained and a fine-tuned model. We observe an unexpected phenomenon, in which WiSE-FT successfully corrects many cases where each individual model makes incorrect predictions, which contributes significantly to its OOD effectiveness. To gain further insights, we conduct theoretical analysis in a multi-class setting with a large number of spurious features. Our analysis predicts the above phenomenon and it further shows that ensemble-based models reduce prediction errors in the OOD settings by utilizing a more diverse set of spurious features. Contrary to the conventional wisdom that focuses on learning invariant features for better OOD performance, our findings suggest that incorporating a large number of diverse spurious features weakens their individual contributions, leading to improved overall OOD generalization performance. Empirically we demonstrate the effectiveness of utilizing diverse spurious features on a MultiColorMNIST dataset, and our experimental results are consistent with the theoretical analysis. Building upon the new theoretical insights into the efficacy of ensemble methods, we further identify an issue of WiSE-FT caused by the overconfidence of fine-tuned models in OOD situations. This overconfidence magnifies the fine-tuned model's incorrect prediction, leading to deteriorated OOD ensemble performance. To remedy this problem, we propose a novel method called BAlaNced averaGing (BANG), which significantly enhances the OOD performance of WiSE-FT.
• Abstract（参考訳）: out-of-distribution(ood)データへの一般化は、機械学習における重要な課題である。 モデルパラメータを補間する重み空間アンサンブルのようなアンサンブルに基づく手法は、優れたOOD性能を実現することが示されている。 しかし、その効果の根底にあるメカニズムは不明である。 本研究では,事前学習モデルと微調整モデルの間を補間する一般的な重量空間アンサンブル法であるWiSE-FTを詳しく検討する。 wise-ftは各モデルが不正確な予測を行う多くのケースをうまく修正し、それがoodの有効性に大きく寄与する予期せぬ現象を観察した。 さらなる知見を得るため、我々は多数の突発的な特徴を持つ多クラス設定で理論的解析を行う。 本解析では,上記の現象を予測し,さらに,アンサンブルに基づくモデルにより,より多様なスプリアス特徴を用いて,ood設定における予測誤差を低減できることを示す。 OOD性能を改善するために不変な特徴を学習することに焦点を当てた従来の知恵とは対照的に,多種多様な突発的特徴を取り入れることで個人の貢献が弱まり,OOD全体の一般化性能が向上することが示唆された。 実験により,MultiColorMNISTデータセットにおける多様な特徴の活用の有効性を実証し,実験結果と理論解析との整合性を示した。 アンサンブル法の有効性に関する新たな理論的知見に基づいて,OOD状況における微調整モデルの過度な信頼に起因するWiSE-FTの問題をさらに特定する。 この過信は、微調整されたモデルの誤った予測を拡大し、OODアンサンブル性能を低下させる。 この問題を解決するため, BAlaNced averaGing (BANG) と呼ばれる新しい手法を提案し, WiSE-FTのOOD性能を大幅に向上させる。

関連論文リスト

• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition [56.87609859444084]
  パラメータ効率の細かいチューニング(PEFT)は、パラメータの選択したサブセットを最適化し、残りを固定し、計算とストレージのオーバーヘッドを大幅に削減することに焦点を当てている。 分解の観点からそれらを分離することで、すべてのアプローチを統一する第一歩を踏み出します。 本稿では,PEFT技術の性能向上を目的とした,単純かつ効果的なフレームワークとともに,新しい2つのPEFT手法を提案する。
  論文  参考訳（メタデータ） (2024-07-07T15:44:42Z)
• Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
  本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-03T05:41:25Z)
• Mitigating Simplicity Bias in Deep Learning for Improved OOD Generalization and Robustness [5.976013616522926]
  モデルに対して,より多様な機能セットを使用して予測を行うように促すフレームワークを提案する。 まず、簡単なモデルを訓練し、その上で条件付き相互情報を規則化し、最終的なモデルを得る。 様々な問題設定や実世界のアプリケーションにおいて,このフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2023-10-09T21:19:39Z)
• Adaptive Contextual Perception: How to Generalize to New Backgrounds and Ambiguous Objects [75.15563723169234]
  本研究では,視覚モデルが分布外一般化の文脈をどのように適応的に利用するかを検討する。 1つの設定で優れているモデルは、もう1つの設定で苦労する傾向があります。 生物学的視覚の一般化能力を再現するためには、コンピュータビジョンモデルは背景表現に対して分解対象を持つ必要がある。
  論文  参考訳（メタデータ） (2023-06-09T15:29:54Z)
• Understanding and Improving Feature Learning for Out-of-Distribution Generalization [41.06375309780553]
  我々は、OODの一般化に備えたよりリッチな特徴を学習するために、モデルを強制するためのFeAT(Feature Augmented Training)を提案する。 反復的にモデルを拡張して、すでに学んだ機能を維持しながら、新しい機能を学習する。 実験により、FeATはよりリッチな特徴を効果的に学習し、様々なOOD目標の性能を高めることが示されている。
  論文  参考訳（メタデータ） (2023-04-22T05:57:00Z)
• Joint Training of Deep Ensembles Fails Due to Learner Collusion [61.557412796012535]
  機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。 伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。 アンサンブルの損失を最小化することは、実際にはほとんど適用されないことを示す。
  論文  参考訳（メタデータ） (2023-01-26T18:58:07Z)
• Improving Out-of-Distribution Generalization by Adversarial Training with Structured Priors [17.936426699670864]
  サンプルワイド・アドバイザリ・トレーニング (AT) では, アウト・オブ・ディストリビューション (OOD) の一般化が限定的に改善されていることを示す。 OOD-robustモデルのトレーニングのために,低ランク構造をもつ2つのAT変種を提案する。 提案手法は,経験的リスク最小化(ERM)とサンプルワイドATより優れている。
  論文  参考訳（メタデータ） (2022-10-13T07:37:42Z)
• Models Out of Line: A Fourier Lens on Distribution Shift Robustness [29.12208822285158]
  分散外(OOD)データに対するディープニューラルネットワーク(DNN)の精度向上は、現実世界の応用におけるディープラーニング(DL)の受容に不可欠である。 近年、OODの堅牢性を改善するためにいくつかの有望なアプローチが開発されている。 効果的なロバスト性を監視するために必要なOODデータとモデル特性の条件について、いまだに明確な理解が得られていない。
  論文  参考訳（メタデータ） (2022-07-08T18:05:58Z)
• Demarcating Endogenous and Exogenous Opinion Dynamics: An Experimental Design Approach [27.975266406080152]
  本稿では,実験的な設計手法に基づく教師なし分類手法のスイートを設計する。 平均推定誤差の異なる測度を最小化するイベントのサブセットを選択することを目的としている。 我々の実験は、不衛生事象や衛生事象に対する予測性能の検証から、様々な大きさの最適なサブセットを選択する効果の検証まで多岐にわたる。
  論文  参考訳（メタデータ） (2021-02-11T11:38:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。