論文の概要: SFP: Spurious Feature-targeted Pruning for Out-of-Distribution Generalization

• arxiv url: http://arxiv.org/abs/2305.11615v2
• Date: Fri, 2 Jun 2023 04:29:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 19:08:19.356410
• Title: SFP: Spurious Feature-targeted Pruning for Out-of-Distribution Generalization
• Title（参考訳）: sfp: 分散一般化のためのスプリアス機能目標プルーニング
• Authors: Yingchun Wang, Jingcai Guo, Yi Liu, Song Guo, Weizhan Zhang, Xiangyong Cao, Qinghua Zheng
• Abstract要約: 本研究では,不均一な部分構造を自動探索するために,SFPと呼ばれる新しいSpurious Feature-targeted Model Pruningフレームワークを提案する。 SFP は構造ベースおよび非構造ベース OOD 一般化 SOTA をそれぞれ4.72% と 23.35% に向上させることができる。
• 参考スコア（独自算出の注目度）: 38.37530720506389
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model substructure learning aims to find an invariant network substructure that can have better out-of-distribution (OOD) generalization than the original full structure. Existing works usually search the invariant substructure using modular risk minimization (MRM) with fully exposed out-domain data, which may bring about two drawbacks: 1) Unfairness, due to the dependence of the full exposure of out-domain data; and 2) Sub-optimal OOD generalization, due to the equally feature-untargeted pruning on the whole data distribution. Based on the idea that in-distribution (ID) data with spurious features may have a lower experience risk, in this paper, we propose a novel Spurious Feature-targeted model Pruning framework, dubbed SFP, to automatically explore invariant substructures without referring to the above drawbacks. Specifically, SFP identifies spurious features within ID instances during training using our theoretically verified task loss, upon which, SFP attenuates the corresponding feature projections in model space to achieve the so-called spurious feature-targeted pruning. This is typically done by removing network branches with strong dependencies on identified spurious features, thus SFP can push the model learning toward invariant features and pull that out of spurious features and devise optimal OOD generalization. Moreover, we also conduct detailed theoretical analysis to provide the rationality guarantee and a proof framework for OOD structures via model sparsity, and for the first time, reveal how a highly biased data distribution affects the model's OOD generalization. Experiments on various OOD datasets show that SFP can significantly outperform both structure-based and non-structure-based OOD generalization SOTAs, with accuracy improvement up to 4.72% and 23.35%, respectively
• Abstract（参考訳）: モデルサブストラクチャ学習は、元の完全構造よりもより良いアウト・オブ・ディストリビューション(ood)一般化をもたらす不変ネットワークサブストラクチャを見つけることを目的としている。 既存の作業は通常、モジュラーリスク最小化(MRM)を使用して不変部分構造を、完全に露出したドメイン外データで探索する。 1) ドメイン外データの完全な露出の依存による不公平 2)データ分布全体における等しく特徴のないプルーニングのため,OODの準最適一般化を行う。 本稿では, 突発的特徴を持つ内分布(ID)データが, 経験リスクを低く抑えるという考え方に基づいて, SFPと呼ばれる新規なSpurious Feature-targeted Model Pruningフレームワークを提案し, 上記の欠点に言及することなく, 不変部分構造を自動探索する。 具体的には、SFPは、理論的に検証されたタスク損失を用いて、訓練中のIDインスタンス内の素早い特徴を特定し、それに基づいてモデル空間内の対応する特徴投影を減衰させ、いわゆる素早い特徴目標プルーニングを実現する。 これは典型的には、特定されたスプリアス機能に強い依存を持つネットワークブランチを削除することで実現されるため、SFPはモデル学習を不変機能へと押し上げ、スプリアス機能から抽出し、最適なOOD一般化を考案することができる。 さらに,モデル空間によるOOD構造の合理性保証と証明フレームワークを提供するための詳細な理論的解析を行い,モデル空間の偏りがOODの一般化にどのように影響するかを初めて明らかにした。 様々なOODデータセットの実験により、SFPは構造ベースと非構造ベースの両方のOOD一般化SOTAを著しく上回り、精度は4.72%と23.35%に向上した。

関連論文リスト

• On the Benefits of Over-parameterization for Out-of-Distribution Generalization [28.961538657831788]
  本稿では,過度なオーバーフィット条件下でのアウト・オブ・ディストリビューション(OOD)損失を考慮した機械学習モデルの性能について検討する。 モデルパラメータ化のさらなる増大はOOD損失を著しく減少させることを示した。 これらの知見は、モデルアンサンブルによるOOD一般化の実証的な現象を説明する。
  論文  参考訳（メタデータ） (2024-03-26T11:01:53Z)
• Exploring Optimal Substructure for Out-of-distribution Generalization via Feature-targeted Model Pruning [23.938392334438582]
  本研究では,不均一な部分構造を自動探索するために,SFPと呼ばれる新しいSpurious Feature-targeted Model Pruningフレームワークを提案する。 SFP は構造ベースおよび非構造 OOD 一般化 SOTA をそれぞれ4.72% と 23.35% に向上させることができる。
  論文  参考訳（メタデータ） (2022-12-19T13:51:06Z)
• SimSCOOD: Systematic Analysis of Out-of-Distribution Generalization in Fine-tuned Source Code Models [58.78043959556283]
  本研究は,Low-Rank Adaptation (LoRA)ファインチューニング手法を含む,異なる微調整手法によるモデルの挙動について検討する。 解析の結果、LoRAファインチューニングは様々なシナリオにおけるフルファインチューニングよりも、OODの一般化性能が大幅に向上していることが判明した。
  論文  参考訳（メタデータ） (2022-10-10T16:07:24Z)
• Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring [104.19414150171472]
  属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。 本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。 実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
  論文  参考訳（メタデータ） (2022-06-14T13:12:12Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Explaining a Series of Models by Propagating Local Feature Attributions [9.66840768820136]
  複数の機械学習モデルを含むパイプラインは、多くの領域でパフォーマンスが向上するが、理解が難しい。 Shapley値への接続に基づいて、モデルの複雑なパイプラインを通じてローカル機能属性を伝播させるフレームワークを紹介します。 本フレームワークにより,アルツハイマー病および乳癌の組織学的診断における遺伝子発現特徴群に基づく高次結論の導出が可能となった。
  論文  参考訳（メタデータ） (2021-04-30T22:20:58Z)
• FSPN: A New Class of Probabilistic Graphical Model [37.80683263600885]
  確率的グラフィカルモデル(PGM)の新しいクラスである分解和分割積ネットワーク(FSPN)を導入する。 FSPNは推定精度と推定効率の点で既存のPGMの欠点を克服するように設計されている。 本研究では、FSPNに対する効率的な確率推定と構造学習アルゴリズムと、理論解析と広範囲な評価証拠について述べる。
  論文  参考訳（メタデータ） (2020-11-18T01:11:55Z)
• Posterior Differential Regularization with f-divergence for Improving Model Robustness [95.05725916287376]
  クリーン入力とノイズ入力のモデル後部差を規則化する手法に着目する。 後微分正則化を$f$-divergencesの族に一般化する。 実験の結果, 後方微分を$f$-divergenceで正規化することで, モデルロバスト性の向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2020-10-23T19:58:01Z)
• Out-of-distribution Generalization via Partial Feature Decorrelation [72.96261704851683]
  本稿では,特徴分解ネットワークと対象画像分類モデルとを協調的に最適化する,PFDL(Partial Feature Deorrelation Learning)アルゴリズムを提案する。 実世界のデータセットを用いた実験により,OOD画像分類データセットにおけるバックボーンモデルの精度が向上することを示した。
  論文  参考訳（メタデータ） (2020-07-30T05:48:48Z)
• DessiLBI: Exploring Structural Sparsity of Deep Networks via Differential Inclusion Paths [45.947140164621096]
  逆スケール空間の差分包摂に基づく新しい手法を提案する。 DessiLBIが早期に「優勝チケット」を発表することを示す。
  論文  参考訳（メタデータ） (2020-07-04T04:40:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。