論文の概要: Exploring Optimal Substructure for Out-of-distribution Generalization via Feature-targeted Model Pruning

• arxiv url: http://arxiv.org/abs/2212.09458v1
• Date: Mon, 19 Dec 2022 13:51:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 14:35:15.631959
• Title: Exploring Optimal Substructure for Out-of-distribution Generalization via Feature-targeted Model Pruning
• Title（参考訳）: 特徴目標モデルプルーニングによる分布外一般化のための最適部分構造探索
• Authors: Yingchun Wang, Jingcai Guo, Song Guo, Weizhan Zhang, Jie Zhang
• Abstract要約: 本研究では,不均一な部分構造を自動探索するために,SFPと呼ばれる新しいSpurious Feature-targeted Model Pruningフレームワークを提案する。 SFP は構造ベースおよび非構造 OOD 一般化 SOTA をそれぞれ4.72% と 23.35% に向上させることができる。
• 参考スコア（独自算出の注目度）: 23.938392334438582
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent studies show that even highly biased dense networks contain an unbiased substructure that can achieve better out-of-distribution (OOD) generalization than the original model. Existing works usually search the invariant subnetwork using modular risk minimization (MRM) with out-domain data. Such a paradigm may bring about two potential weaknesses: 1) Unfairness, due to the insufficient observation of out-domain data during training; and 2) Sub-optimal OOD generalization, due to the feature-untargeted model pruning on the whole data distribution. In this paper, we propose a novel Spurious Feature-targeted model Pruning framework, dubbed SFP, to automatically explore invariant substructures without referring to the above weaknesses. Specifically, SFP identifies in-distribution (ID) features during training using our theoretically verified task loss, upon which, SFP can perform ID targeted-model pruning that removes branches with strong dependencies on ID features. Notably, by attenuating the projections of spurious features into model space, SFP can push the model learning toward invariant features and pull that out of environmental features, devising optimal OOD generalization. Moreover, we also conduct detailed theoretical analysis to provide the rationality guarantee and a proof framework for OOD structures via model sparsity, and for the first time, reveal how a highly biased data distribution affects the model's OOD generalization. Extensive experiments on various OOD datasets show that SFP can significantly outperform both structure-based and non-structure OOD generalization SOTAs, with accuracy improvement up to 4.72% and 23.35%, respectively.
• Abstract（参考訳）: 近年の研究では、高バイアスの高密度ネットワークでさえ、元のモデルよりも優れた分布外一般化(OOD)を実現する未バイアスのサブ構造を含んでいることが示されている。 既存の作業は通常、モジュラーリスク最小化(MRM)とドメイン外データを用いて不変サブネットワークを探索する。 このようなパラダイムは2つの潜在的な弱点をもたらす可能性がある。 1)トレーニング中のドメイン外のデータの観察が不十分なため、不公平 2) 全データ分布を対象としないモデルプルーニングによるサブオプティマイズoodの一般化。 本稿では, SFP と呼ばれる新しい特徴目標モデルPruning フレームワークを提案し, 上記の弱点に言及することなく, 不変部分構造を自動探索する。 具体的には、SFPは、理論的に検証されたタスク損失を用いて、トレーニング中のID(In-distriion)機能を特定し、その上で、ID機能に強い依存を持つブランチを除去するIDターゲットモデルプルーニングを実行することができる。 特に、刺激的な特徴の投影をモデル空間に減衰させることで、SFPはモデル学習を不変の特徴へと押し上げ、環境特徴から抽出し、最適なOOD一般化を考案することができる。 さらに,モデル空間によるOOD構造の合理性保証と証明フレームワークを提供するための詳細な理論的解析を行い,モデル空間の偏りがOODの一般化にどのように影響するかを初めて明らかにした。 様々なOODデータセットの大規模な実験により、SFPは構造ベースのOOD一般化SOTAと非構造OOD一般化SOTAの両方を大きく上回っており、それぞれ4.72%と23.35%の精度で改善されている。

関連論文リスト

• DeCaf: A Causal Decoupling Framework for OOD Generalization on Node Classification [14.96980804513399]
  グラフニューラルネットワーク(GNN)は、分散シフトの影響を受けやすいため、クリティカルドメインの脆弱性やセキュリティ上の問題が発生する。 不変(機能、構造)-ラベルマッピングの学習を目標とする既存の方法は、データ生成プロセスに関する過度に単純化された仮定に依存することが多い。 構造因果モデル(SCM)を用いたより現実的なグラフデータ生成モデルを提案する。 本稿では,非バイアスな特徴ラベルと構造ラベルのマッピングを独立に学習する,カジュアルなデカップリングフレームワークDeCafを提案する。
  論文  参考訳（メタデータ） (2024-10-27T00:22:18Z)
• MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
  テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。 本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
  論文  参考訳（メタデータ） (2024-10-12T07:02:33Z)
• On the Benefits of Over-parameterization for Out-of-Distribution Generalization [28.961538657831788]
  本稿では,過度なオーバーフィット条件下でのアウト・オブ・ディストリビューション(OOD)損失を考慮した機械学習モデルの性能について検討する。 モデルパラメータ化のさらなる増大はOOD損失を著しく減少させることを示した。 これらの知見は、モデルアンサンブルによるOOD一般化の実証的な現象を説明する。
  論文  参考訳（メタデータ） (2024-03-26T11:01:53Z)
• SFP: Spurious Feature-targeted Pruning for Out-of-Distribution Generalization [38.37530720506389]
  本研究では,不均一な部分構造を自動探索するために,SFPと呼ばれる新しいSpurious Feature-targeted Model Pruningフレームワークを提案する。 SFP は構造ベースおよび非構造ベース OOD 一般化 SOTA をそれぞれ4.72% と 23.35% に向上させることができる。
  論文  参考訳（メタデータ） (2023-05-19T11:46:36Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• SimSCOOD: Systematic Analysis of Out-of-Distribution Generalization in Fine-tuned Source Code Models [58.78043959556283]
  本研究は,Low-Rank Adaptation (LoRA)ファインチューニング手法を含む,異なる微調整手法によるモデルの挙動について検討する。 解析の結果、LoRAファインチューニングは様々なシナリオにおけるフルファインチューニングよりも、OODの一般化性能が大幅に向上していることが判明した。
  論文  参考訳（メタデータ） (2022-10-10T16:07:24Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• On the Out-of-distribution Generalization of Probabilistic Image Modelling [6.908460960191626]
  画像モデルの場合、OOD能力は局所的な特徴に支配されていることを示す。 これは、OODの性能向上に向け、ローカルな画像特徴のみをモデル化するローカル自動回帰モデルの提案を動機付けます。
  論文  参考訳（メタデータ） (2021-09-04T17:00:37Z)
• Generalization Properties of Optimal Transport GANs with Latent Distribution Learning [52.25145141639159]
  本研究では,潜伏分布とプッシュフォワードマップの複雑さの相互作用が性能に与える影響について検討する。 我々の分析に感銘を受けて、我々はGANパラダイム内での潜伏分布とプッシュフォワードマップの学習を提唱した。
  論文  参考訳（メタデータ） (2020-07-29T07:31:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。