論文の概要: DivIL: Unveiling and Addressing Over-Invariance for Out-of- Distribution Generalization

• arxiv url: http://arxiv.org/abs/2502.12413v1
• Date: Tue, 18 Feb 2025 01:17:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:06:26.965750
• Title: DivIL: Unveiling and Addressing Over-Invariance for Out-of- Distribution Generalization
• Title（参考訳）: DivIL: アウト・オブ・ディストリビューションの一般化のためのオーバーインバージョニングと対処
• Authors: Jiaqi Wang, Yuhang Zhou, Zhixiong Zhang, Qiguang Chen, Yongqiang Chen, James Cheng,
• Abstract要約: アウト・オブ・ディストリビューションの一般化は、モデルが列車データから遠く離れた分布でうまく機能することを期待する一般的な問題である。 この問題に対処するための一般的なアプローチは不変学習(IL)である。 本稿では,教師なしコントラスト学習とランダムマスキング機構を付加して,逆不変学習(DivIL)を提案する。
• 参考スコア（独自算出の注目度）: 33.26354729261993
• License:
• Abstract: Out-of-distribution generalization is a common problem that expects the model to perform well in the different distributions even far from the train data. A popular approach to addressing this issue is invariant learning (IL), in which the model is compiled to focus on invariant features instead of spurious features by adding strong constraints during training. However, there are some potential pitfalls of strong invariant constraints. Due to the limited number of diverse environments and over-regularization in the feature space, it may lead to a loss of important details in the invariant features while alleviating the spurious correlations, namely the over-invariance, which can also degrade the generalization performance. We theoretically define the over-invariance and observe that this issue occurs in various classic IL methods. To alleviate this issue, we propose a simple approach Diverse Invariant Learning (DivIL) by adding the unsupervised contrastive learning and the random masking mechanism compensatory for the invariant constraints, which can be applied to various IL methods. Furthermore, we conduct experiments across multiple modalities across 12 datasets and 6 classic models, verifying our over-invariance insight and the effectiveness of our DivIL framework. Our code is available at https://github.com/kokolerk/DivIL.
• Abstract（参考訳）: アウト・オブ・ディストリビューションの一般化は、モデルが列車データから遠く離れた分布でうまく機能することを期待する一般的な問題である。 この問題に対処するための一般的なアプローチは不変学習(IL)であり、トレーニング中に強い制約を加えることで、刺激的な機能ではなく不変機能にフォーカスするようにモデルをコンパイルする。 しかし、強い不変制約の潜在的な落とし穴がある。 特徴空間における多様な環境の限られた数と過正規化のため、その不変性において重要な詳細が失われる可能性があり、また、急激な相関、すなわち超不変性(over-invariance)を緩和し、一般化性能を低下させる。 理論的には過度の不変性を定義し、様々な古典的IL法でこの問題が発生することを観察する。 この問題を緩和するために、教師なしのコントラスト学習と、様々なIL手法に適用可能な不変制約を補償するランダムマスキング機構を追加することで、DivIL(Diverse Invariant Learning)の簡単なアプローチを提案する。 さらに、12のデータセットと6つの古典的なモデルにまたがる複数のモードで実験を行い、過度に分散した洞察とDivILフレームワークの有効性を検証する。 私たちのコードはhttps://github.com/kokolerk/DivIL.comで利用可能です。

関連論文リスト

• Learning Invariant Molecular Representation in Latent Discrete Space [52.13724532622099]
  本稿では,分散シフトに対する不変性とロバスト性を示す分子表現を学習するための新しい枠組みを提案する。 我々のモデルは、様々な分布シフトが存在する場合に、最先端のベースラインに対してより強力な一般化を実現する。
  論文  参考訳（メタデータ） (2023-10-22T04:06:44Z)
• Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
  我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。 群同変畳み込みは同変表現を得るための一般的なアプローチである。 本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-02T20:44:45Z)
• Sufficient Invariant Learning for Distribution Shift [20.88069274935592]
  本稿では,SIL(Sufficient Invariant Learning)フレームワークという新しい学習原理を紹介する。 SILは、単一の機能に頼るのではなく、不変機能の十分なサブセットを学ぶことに重点を置いている。 本稿では,適応シャープネスを意識したグループ分散ロバスト最適化(ASGDRO)を提案する。
  論文  参考訳（メタデータ） (2022-10-24T18:34:24Z)
• In What Ways Are Deep Neural Networks Invariant and How Should We Measure This? [5.757836174655293]
  我々は、これらの特性を損失や精度などの他の指標から切り離す方法で定量化することができる、不変および等分散メトリクスのファミリーを導入する。 本研究では,事前学習した重み付きモデルの初期化がトレーニングモデルの不変性に影響を及ぼすか否かから,トレーニングによって学習した不変性が分布外データに一般化できる範囲まで,ディープラーニングモデルにおける不変性と等価性に関するさまざまな結論を導出する。
  論文  参考訳（メタデータ） (2022-10-07T18:43:21Z)
• Meta-Causal Feature Learning for Out-of-Distribution Generalization [71.38239243414091]
  本稿では,協調タスク生成モジュール (BTG) とメタ因果特徴学習モジュール (MCFL) を含む,バランス付きメタ因果学習器 (BMCL) を提案する。 BMCLは、分類のためのクラス不変の視覚領域を効果的に識別し、最先端の手法の性能を向上させるための一般的なフレームワークとして機能する。
  論文  参考訳（メタデータ） (2022-08-22T09:07:02Z)
• HyperInvariances: Amortizing Invariance Learning [10.189246340672245]
  不変学習は高価で、一般的なニューラルネットワークにはデータ集約的です。 我々は、不変学習を償却する概念を導入する。 このフレームワークは、異なる下流タスクにおける適切な不変性を識別し、同等またはより良いテストパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2022-07-17T21:40:37Z)
• Regularising for invariance to data augmentation improves supervised learning [82.85692486314949]
  入力毎に複数の拡張を使用すれば、一般化が向上することを示す。 本稿では,個々のモデル予測のレベルにおいて,この不変性を助長する明示的な正規化手法を提案する。
  論文  参考訳（メタデータ） (2022-03-07T11:25:45Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• What causes the test error? Going beyond bias-variance via ANOVA [21.359033212191218]
  現代の機械学習手法は、しばしば過度にパラメータ化され、細かいレベルでのデータへの適応を可能にする。 最近の研究は、なぜ過度なパラメータ化が一般化に役立つのかをより深く理解することを目的としている。 本研究では, 差分解析(ANOVA)を用いて, テスト誤差の分散を対称的に分解する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-11T05:21:13Z)
• What Should Not Be Contrastive in Contrastive Learning [110.14159883496859]
  本稿では,タスク依存不変性に関する事前知識を必要としない,対照的な学習フレームワークを提案する。 我々のモデルは、異なる埋め込み空間を構築することで、視覚表現の様々な要因や不変要素を捉えることを学習する。 我々は、共有バックボーンを持つマルチヘッドネットワークを使用し、各オーグメンテーションにまたがる情報をキャプチャし、ダウンストリームタスクにおけるすべてのベースラインより優れている。
  論文  参考訳（メタデータ） (2020-08-13T03:02:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。