論文の概要: Sufficient Invariant Learning for Distribution Shift

• arxiv url: http://arxiv.org/abs/2210.13533v2
• Date: Mon, 28 Aug 2023 08:58:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-30 01:35:40.224174
• Title: Sufficient Invariant Learning for Distribution Shift
• Title（参考訳）: 分布シフトのための十分な不変学習
• Authors: Taero Kim, Sungjun Lim, Kyungwoo Song
• Abstract要約: 分散シフトの場合、トレーニングセットから十分な不変性を学習することが不可欠である、と我々は主張する。 ASGDROはすべての群や領域に共通する平坦なミニマを求めることで十分な不変性を学ぶ。
• 参考スコア（独自算出の注目度）: 16.838595294610105
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning algorithms have shown remarkable performance in diverse applications. However, it is still challenging to guarantee performance in distribution shifts when distributions of training and test datasets are different. There have been several approaches to improve the performance in distribution shift cases by learning invariant features across groups or domains. However, we observe that the previous works only learn invariant features partially. While the prior works focus on the limited invariant features, we first raise the importance of the sufficient invariant features. Since only training sets are given empirically, the learned partial invariant features from training sets might not be present in the test sets under distribution shift. Therefore, the performance improvement on distribution shifts might be limited. In this paper, we argue that learning sufficient invariant features from the training set is crucial for the distribution shift case. Concretely, we newly observe the connection between a) sufficient invariant features and b) flatness differences between groups or domains. Moreover, we propose a new algorithm, Adaptive Sharpness-aware Group Distributionally Robust Optimization (ASGDRO), to learn sufficient invariant features across domains or groups. ASGDRO learns sufficient invariant features by seeking common flat minima across all groups or domains. Therefore, ASGDRO improves the performance on diverse distribution shift cases. Besides, we provide a new simple dataset, Heterogeneous-CMNIST, to diagnose whether the various algorithms learn sufficient invariant features.
• Abstract（参考訳）: 機械学習アルゴリズムは様々なアプリケーションで顕著な性能を示している。 しかし、トレーニングとテストデータセットの分布が異なる場合、分散シフトのパフォーマンスを保証することは依然として難しい。 グループやドメインにまたがる不変特徴を学習することで、分散シフトケースのパフォーマンスを改善するためのいくつかのアプローチがあった。 しかし,従来の研究は部分的な不変性しか学習していない。 先行研究は限定的な不変な特徴に焦点をあてるが、我々はまず十分な不変な特徴の重要性を高める。 トレーニングセットのみが経験的に与えられるので、トレーニングセットから学習された部分不変特徴は、分布シフト下のテストセットには存在しない可能性がある。 したがって、分散シフトにおける性能改善は制限される可能性がある。 本稿では,訓練集合から十分な不変特徴を学習することは分布シフトの場合に不可欠であると主張する。 具体的には 新たに 両者のつながりを a) 十分な不変特徴と b) 群又は領域間の平坦性差 さらに,新しいアルゴリズムである適応シャープネス認識群分散ロバスト最適化 (asgdro) を提案する。 ASGDROはすべての群や領域に共通する平坦なミニマを求めることで十分な不変性を学ぶ。 したがって、ASGDROは多様な分散シフトケースの性能を向上させる。 さらに,多様なアルゴリズムが十分な不変性を学習するかどうかを診断するために,新しい単純データセットHeterogeneous-CMNISTを提供する。

関連論文リスト

• Winning Prize Comes from Losing Tickets: Improve Invariant Learning by Exploring Variant Parameters for Out-of-Distribution Generalization [76.27711056914168]
  Out-of-Distribution (OOD) 一般化は、分散固有の特徴に適合することなく、様々な環境によく適応する堅牢なモデルを学ぶことを目的としている。 LTH(Lottery Ticket hypothesis)に基づく最近の研究は、学習目標を最小化し、タスクに重要なパラメータのいくつかを見つけることでこの問題に対処している。 Invariant Learning (EVIL) における変数探索手法を提案する。
  論文  参考訳（メタデータ） (2023-10-25T06:10:57Z)
• Environment Diversification with Multi-head Neural Network for Invariant Learning [7.255121332331688]
  この研究は、データバイアスを吸収するマルチヘッドニューラルネットワークを含む不変学習フレームワークEDNILを提案する。 このフレームワークは環境に関する事前の知識や事前訓練されたモデルに関する強い仮定を必要としないことを示す。 EDNILでトレーニングされたモデルは、分布シフトに対して実験的に堅牢であることを示す。
  論文  参考訳（メタデータ） (2023-08-17T04:33:38Z)
• Invariant Meta Learning for Out-of-Distribution Generalization [1.1718589131017048]
  本稿では,アウト・オブ・ディストリビューションタスクのための不変なメタ学習を提案する。 具体的には、不変な最適メタ初期化と、正規化ペナルティを持つ配布外タスクへの迅速な適応である。
  論文  参考訳（メタデータ） (2023-01-26T12:53:21Z)
• An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
  解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。 既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。 本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-07T06:50:27Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)
• Invariance-based Multi-Clustering of Latent Space Embeddings for Equivariant Learning [12.770012299379099]
  より深い群不変学習を強制することにより、リー群多様体における等角写像を非共役化する手法を提案する。 実験の結果,このモデルでは,不変表現と同変表現を効果的に切り離すことができ,学習速度が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2021-07-25T03:27:47Z)
• Distance-based Hyperspherical Classification for Multi-source Open-Set Domain Adaptation [34.97934677830779]
  クローズドワールドのシナリオで訓練されたビジョンシステムは、新しい環境条件が提示されると必然的に失敗する。 オープンワールド学習への道のりは、長年にわたる研究課題である。 本研究ではHyMOSを導入することで,マルチソースなOpen-Setドメイン適応を実現する。
  論文  参考訳（メタデータ） (2021-07-05T14:56:57Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• Adaptive Risk Minimization: Learning to Adapt to Domain Shift [109.87561509436016]
  ほとんどの機械学習アルゴリズムの基本的な前提は、トレーニングとテストデータは、同じ基礎となる分布から引き出されることである。 本研究では,学習データをドメインに構造化し,複数のテスト時間シフトが存在する場合の領域一般化の問題点について考察する。 本稿では、適応リスク最小化(ARM)の枠組みを紹介し、モデルがトレーニング領域に適応することを学ぶことで、効果的な適応のために直接最適化される。
  論文  参考訳（メタデータ） (2020-07-06T17:59:30Z)
• Invariant Risk Minimization Games [48.00018458720443]
  本研究では,複数の環境においてアンサンブルゲームのナッシュ平衡を求めるような不変リスク最小化を行う。 そこで我々は,本実験における最適応答力学と平衡を用いた簡単なトレーニングアルゴリズムを開発し,Arjovskyらの難解な二段階最適化問題よりもはるかに低いばらつきで,同様の,あるいは優れた経験的精度が得られることを示した。
  論文  参考訳（メタデータ） (2020-02-11T21:25:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。