論文の概要: Can Subnetwork Structure be the Key to Out-of-Distribution Generalization?

• arxiv url: http://arxiv.org/abs/2106.02890v1
• Date: Sat, 5 Jun 2021 13:19:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-08 18:36:28.042059
• Title: Can Subnetwork Structure be the Key to Out-of-Distribution Generalization?
• Title（参考訳）: サブネットワーク構造は配布外一般化の鍵か?
• Authors: Dinghuai Zhang, Kartik Ahuja, Yilun Xu, Yisen Wang, Aaron Courville
• Abstract要約: 本稿では,OOD設定下での深部モデル構造解析に関数型モジュラー探索法を用いる。 バイアスのあるモデル(刺激的な相関にフォーカスする)でさえ、まだバイアスのない機能ワークが存在することを実証しています。
• 参考スコア（独自算出の注目度）: 21.037720934987487
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Can models with particular structure avoid being biased towards spurious correlation in out-of-distribution (OOD) generalization? Peters et al. (2016) provides a positive answer for linear cases. In this paper, we use a functional modular probing method to analyze deep model structures under OOD setting. We demonstrate that even in biased models (which focus on spurious correlation) there still exist unbiased functional subnetworks. Furthermore, we articulate and demonstrate the functional lottery ticket hypothesis: full network contains a subnetwork that can achieve better OOD performance. We then propose Modular Risk Minimization to solve the subnetwork selection problem. Our algorithm learns the subnetwork structure from a given dataset, and can be combined with any other OOD regularization methods. Experiments on various OOD generalization tasks corroborate the effectiveness of our method.
• Abstract（参考訳）: オフ・オブ・ディストリビューション(OOD)の一般化において、特定の構造を持つモデルは急激な相関に偏りを避けることができるか? ピーターズら。 (2016) 線形の場合に対して正の答えを与える。 本稿では,OOD設定下での深部モデル構造解析に関数型モジュラー探索法を用いる。 偏りのあるモデル(スプリアス相関に焦点を合わせる)でさえも、偏りのない機能的サブネットワークが存在することを実証する。 さらに,機能的な宝くじチケットの仮説を具体化し,実証する。フルネットワークにはOOD性能を向上するサブネットワークが含まれている。 次に,部分ネットワーク選択問題を解くために,モジュールリスク最小化を提案する。 我々のアルゴリズムは、与えられたデータセットからサブネットワーク構造を学習し、他のOOD正規化手法と組み合わせることができる。 各種OOD一般化タスクの実験は,本手法の有効性を裏付けるものである。

関連論文リスト

• Towards out-of-distribution generalization in large-scale astronomical surveys: robust networks learn similar representations [3.653721769378018]
  ニューラルネットワーク表現の類似度尺度である Centered Kernel Alignment (CKA) を用いて、表現類似度と性能の関係について検討する。 モデルが分散シフトに対して堅牢である場合、OODデータ上に層間でかなり異なる表現を生成することが分かりました。 本稿では,CKAを誘導バイアスとして取り入れることで,モデル設計,トレーニング戦略,OOD問題を緩和する上での類似性表現の可能性について論じる。
  論文  参考訳（メタデータ） (2023-11-29T19:00:05Z)
• Mitigating Simplicity Bias in Deep Learning for Improved OOD Generalization and Robustness [5.976013616522926]
  モデルに対して,より多様な機能セットを使用して予測を行うように促すフレームワークを提案する。 まず、簡単なモデルを訓練し、その上で条件付き相互情報を規則化し、最終的なモデルを得る。 様々な問題設定や実世界のアプリケーションにおいて,このフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2023-10-09T21:19:39Z)
• Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis, and LLMs Evaluations [111.88727295707454]
  本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。 本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。 我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
  論文  参考訳（メタデータ） (2023-06-07T17:47:03Z)
• Exploring Optimal Substructure for Out-of-distribution Generalization via Feature-targeted Model Pruning [23.938392334438582]
  本研究では,不均一な部分構造を自動探索するために,SFPと呼ばれる新しいSpurious Feature-targeted Model Pruningフレームワークを提案する。 SFP は構造ベースおよび非構造 OOD 一般化 SOTA をそれぞれ4.72% と 23.35% に向上させることができる。
  論文  参考訳（メタデータ） (2022-12-19T13:51:06Z)
• A Win-win Deal: Towards Sparse and Robust Pre-trained Language Models [53.87983344862402]
  大規模言語モデル(PLM)はメモリフットプリントと計算の点で非効率である。 PLMはデータセットバイアスに頼り、アウト・オブ・ディストリビューション(OOD)データへの一般化に苦慮する傾向にある。 最近の研究では、スパースワークはパフォーマンスを損なうことなくスパースワークに置き換えることができることが示されている。
  論文  参考訳（メタデータ） (2022-10-11T07:26:34Z)
• Learning an Invertible Output Mapping Can Mitigate Simplicity Bias in Neural Networks [66.76034024335833]
  バックボーンによって多様・複雑な特徴が学習される理由を考察し、その脆さは、主に最も単純な特徴に依存する線形分類ヘッドによるものである。 本稿では,学習した特徴がログから復元可能であることを保証するために,特徴再構成正則化器(FRR)を提案する。 我々は、最近導入された極端分布シフトを持つ半合成データセットにおいて、OOD精度が最大15%向上することを示した。
  論文  参考訳（メタデータ） (2022-10-04T04:01:15Z)
• The interplay between ranking and communities in networks [0.0]
  本稿では,コミュニティ構造と階層構造との相互作用に基づく生成モデルを提案する。 それぞれのノードが相互作用機構に優先順位を持ち、同じ好みを持つノードが相互作用する可能性が高いと仮定する。 本手法は, コミュニティ検出とランキング抽出の2つの標準手法と比較して, 実世界の合成データと実世界のデータを比較した。
  論文  参考訳（メタデータ） (2021-12-23T16:10:28Z)
• Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
  線形ニューラルネットワークは、サブファンクションに分割することができる。 サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。 完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
  論文  参考訳（メタデータ） (2021-06-15T18:34:41Z)
• Towards a Theoretical Framework of Out-of-Distribution Generalization [28.490842160921805]
  オフ・オブ・ディストリビューション(OOD)データへの一般化(ドメイン一般化)は、現代の機械学習における中心的な問題の一つである。 本研究は,OOD問題の厳密かつ定量的な定義に向けての第一歩を踏み出したものである。
  論文  参考訳（メタデータ） (2021-06-08T16:32:23Z)
• Evading the Simplicity Bias: Training a Diverse Set of Models Discovers Solutions with Superior OOD Generalization [93.8373619657239]
  SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。 この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。 単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
  論文  参考訳（メタデータ） (2021-05-12T12:12:24Z)
• Deep Archimedean Copulas [98.96141706464425]
  ACNetは、構造的特性を強制する、新しい差別化可能なニューラルネットワークアーキテクチャである。 我々は、ACNetが共通のアルキメデスコピュラスを近似し、データに適合する可能性のある新しいコプラを生成することができることを示した。
  論文  参考訳（メタデータ） (2020-12-05T22:58:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。