論文の概要: Sufficient Invariant Learning for Distribution Shift
- arxiv url: http://arxiv.org/abs/2210.13533v2
- Date: Mon, 28 Aug 2023 08:58:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-30 01:35:40.224174
- Title: Sufficient Invariant Learning for Distribution Shift
- Title(参考訳): 分布シフトのための十分な不変学習
- Authors: Taero Kim, Sungjun Lim, Kyungwoo Song
- Abstract要約: 分散シフトの場合、トレーニングセットから十分な不変性を学習することが不可欠である、と我々は主張する。
ASGDROはすべての群や領域に共通する平坦なミニマを求めることで十分な不変性を学ぶ。
- 参考スコア(独自算出の注目度): 16.838595294610105
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning algorithms have shown remarkable performance in diverse
applications. However, it is still challenging to guarantee performance in
distribution shifts when distributions of training and test datasets are
different. There have been several approaches to improve the performance in
distribution shift cases by learning invariant features across groups or
domains. However, we observe that the previous works only learn invariant
features partially. While the prior works focus on the limited invariant
features, we first raise the importance of the sufficient invariant features.
Since only training sets are given empirically, the learned partial invariant
features from training sets might not be present in the test sets under
distribution shift. Therefore, the performance improvement on distribution
shifts might be limited. In this paper, we argue that learning sufficient
invariant features from the training set is crucial for the distribution shift
case. Concretely, we newly observe the connection between a) sufficient
invariant features and b) flatness differences between groups or domains.
Moreover, we propose a new algorithm, Adaptive Sharpness-aware Group
Distributionally Robust Optimization (ASGDRO), to learn sufficient invariant
features across domains or groups. ASGDRO learns sufficient invariant features
by seeking common flat minima across all groups or domains. Therefore, ASGDRO
improves the performance on diverse distribution shift cases. Besides, we
provide a new simple dataset, Heterogeneous-CMNIST, to diagnose whether the
various algorithms learn sufficient invariant features.
- Abstract(参考訳): 機械学習アルゴリズムは様々なアプリケーションで顕著な性能を示している。
しかし、トレーニングとテストデータセットの分布が異なる場合、分散シフトのパフォーマンスを保証することは依然として難しい。
グループやドメインにまたがる不変特徴を学習することで、分散シフトケースのパフォーマンスを改善するためのいくつかのアプローチがあった。
しかし,従来の研究は部分的な不変性しか学習していない。
先行研究は限定的な不変な特徴に焦点をあてるが、我々はまず十分な不変な特徴の重要性を高める。
トレーニングセットのみが経験的に与えられるので、トレーニングセットから学習された部分不変特徴は、分布シフト下のテストセットには存在しない可能性がある。
したがって、分散シフトにおける性能改善は制限される可能性がある。
本稿では,訓練集合から十分な不変特徴を学習することは分布シフトの場合に不可欠であると主張する。
具体的には 新たに 両者のつながりを
a) 十分な不変特徴と
b) 群又は領域間の平坦性差
さらに,新しいアルゴリズムである適応シャープネス認識群分散ロバスト最適化 (asgdro) を提案する。
ASGDROはすべての群や領域に共通する平坦なミニマを求めることで十分な不変性を学ぶ。
したがって、ASGDROは多様な分散シフトケースの性能を向上させる。
さらに,多様なアルゴリズムが十分な不変性を学習するかどうかを診断するために,新しい単純データセットHeterogeneous-CMNISTを提供する。
関連論文リスト
- Winning Prize Comes from Losing Tickets: Improve Invariant Learning by
Exploring Variant Parameters for Out-of-Distribution Generalization [76.27711056914168]
Out-of-Distribution (OOD) 一般化は、分散固有の特徴に適合することなく、様々な環境によく適応する堅牢なモデルを学ぶことを目的としている。
LTH(Lottery Ticket hypothesis)に基づく最近の研究は、学習目標を最小化し、タスクに重要なパラメータのいくつかを見つけることでこの問題に対処している。
Invariant Learning (EVIL) における変数探索手法を提案する。
論文 参考訳(メタデータ) (2023-10-25T06:10:57Z) - Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。
群同変畳み込みは同変表現を得るための一般的なアプローチである。
本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-03-02T20:44:45Z) - Empirical Study on Optimizer Selection for Out-of-Distribution
Generalization [16.386766049451317]
現代のディープラーニングシステムは、テストデータ分布がトレーニングデータ分布とわずかに異なる場合、うまく一般化しない。
本研究では,分布シフトの異なるクラスに対して,一般的な一階述語一般化の性能について検討する。
論文 参考訳(メタデータ) (2022-11-15T23:56:30Z) - Distributional Shift Adaptation using Domain-Specific Features [41.91388601229745]
オープンワールドのシナリオでは、ビッグデータのストリーミングはOut-Of-Distribution(OOD)になる。
特徴が不変か否かにかかわらず、一般の相関に依拠する単純かつ効果的な手法を提案する。
提案手法では,OODベースモデルによって同定された最も確実なサンプルを用いて,対象領域に効果的に適応する新しいモデルを訓練する。
論文 参考訳(メタデータ) (2022-11-09T04:16:21Z) - Improving the Sample-Complexity of Deep Classification Networks with
Invariant Integration [77.99182201815763]
変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。
そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。
本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
論文 参考訳(メタデータ) (2022-02-08T16:16:11Z) - Improving Out-of-Distribution Robustness via Selective Augmentation [61.147630193060856]
機械学習アルゴリズムは、トレーニングとテスト例が同じ分布から引き出されると仮定する。
分散シフトは現実世界のアプリケーションでは一般的な問題であり、テスト時にモデルが劇的に悪化する可能性がある。
LISAと呼ばれる選択的な拡張によって不変関数を学習するミックスアップ方式を提案する。
論文 参考訳(メタデータ) (2022-01-02T05:58:33Z) - Invariance-based Multi-Clustering of Latent Space Embeddings for
Equivariant Learning [12.770012299379099]
より深い群不変学習を強制することにより、リー群多様体における等角写像を非共役化する手法を提案する。
実験の結果,このモデルでは,不変表現と同変表現を効果的に切り離すことができ,学習速度が大幅に向上することがわかった。
論文 参考訳(メタデータ) (2021-07-25T03:27:47Z) - Exploring Complementary Strengths of Invariant and Equivariant
Representations for Few-Shot Learning [96.75889543560497]
多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。
少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。
幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
論文 参考訳(メタデータ) (2021-03-01T21:14:33Z) - Adaptive Risk Minimization: Learning to Adapt to Domain Shift [109.87561509436016]
ほとんどの機械学習アルゴリズムの基本的な前提は、トレーニングとテストデータは、同じ基礎となる分布から引き出されることである。
本研究では,学習データをドメインに構造化し,複数のテスト時間シフトが存在する場合の領域一般化の問題点について考察する。
本稿では、適応リスク最小化(ARM)の枠組みを紹介し、モデルがトレーニング領域に適応することを学ぶことで、効果的な適応のために直接最適化される。
論文 参考訳(メタデータ) (2020-07-06T17:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。