論文の概要: Sufficient Invariant Learning for Distribution Shift

• arxiv url: http://arxiv.org/abs/2210.13533v3
• Date: Tue, 19 Nov 2024 00:06:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:34:52.713858
• Title: Sufficient Invariant Learning for Distribution Shift
• Title（参考訳）: 分散シフトのための十分不変学習
• Authors: Taero Kim, Subeen Park, Sungjun Lim, Yonghan Jung, Krikamol Muandet, Kyungwoo Song,
• Abstract要約: 本稿では,SIL(Sufficient Invariant Learning)フレームワークという新しい学習原理を紹介する。 SILは、単一の機能に頼るのではなく、不変機能の十分なサブセットを学ぶことに重点を置いている。 本稿では,適応シャープネスを意識したグループ分散ロバスト最適化(ASGDRO)を提案する。
• 参考スコア（独自算出の注目度）: 20.88069274935592
• License:
• Abstract: Learning robust models under distribution shifts between training and test datasets is a fundamental challenge in machine learning. While learning invariant features across environments is a popular approach, it often assumes that these features are fully observed in both training and test sets-a condition frequently violated in practice. When models rely on invariant features absent in the test set, their robustness in new environments can deteriorate. To tackle this problem, we introduce a novel learning principle called the Sufficient Invariant Learning (SIL) framework, which focuses on learning a sufficient subset of invariant features rather than relying on a single feature. After demonstrating the limitation of existing invariant learning methods, we propose a new algorithm, Adaptive Sharpness-aware Group Distributionally Robust Optimization (ASGDRO), to learn diverse invariant features by seeking common flat minima across the environments. We theoretically demonstrate that finding a common flat minima enables robust predictions based on diverse invariant features. Empirical evaluations on multiple datasets, including our new benchmark, confirm ASGDRO's robustness against distribution shifts, highlighting the limitations of existing methods.
• Abstract（参考訳）: トレーニングとテストデータセット間の分散シフトの下で堅牢なモデルを学ぶことは、機械学習における根本的な課題である。 環境間で不変な特徴を学習することは一般的なアプローチであるが、これらの特徴がトレーニングとテストセットの両方で完全に観察されていると仮定することが多い。 モデルがテストセットに存在しない不変機能に依存している場合、新しい環境での堅牢性は悪化する可能性がある。 この問題に対処するために,SIL(Sufficient Invariant Learning)フレームワークと呼ばれる新しい学習原理を導入する。 既存の不変学習手法の限界を実証した後,適応シャープネスを意識したグループ分散ロバスト最適化 (ASGDRO) を提案する。 理論的には、共通の平坦なミニマの発見は、多様な不変性に基づいた堅牢な予測を可能にすることを証明している。 新しいベンチマークを含む複数のデータセットに対する実証的な評価では、分布シフトに対するASGDROの堅牢性を確認し、既存のメソッドの制限を強調している。

関連論文リスト

• Winning Prize Comes from Losing Tickets: Improve Invariant Learning by Exploring Variant Parameters for Out-of-Distribution Generalization [76.27711056914168]
  Out-of-Distribution (OOD) 一般化は、分散固有の特徴に適合することなく、様々な環境によく適応する堅牢なモデルを学ぶことを目的としている。 LTH(Lottery Ticket hypothesis)に基づく最近の研究は、学習目標を最小化し、タスクに重要なパラメータのいくつかを見つけることでこの問題に対処している。 Invariant Learning (EVIL) における変数探索手法を提案する。
  論文  参考訳（メタデータ） (2023-10-25T06:10:57Z)
• Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
  我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。 群同変畳み込みは同変表現を得るための一般的なアプローチである。 本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-02T20:44:45Z)
• Empirical Study on Optimizer Selection for Out-of-Distribution Generalization [16.386766049451317]
  現代のディープラーニングシステムは、テストデータ分布がトレーニングデータ分布とわずかに異なる場合、うまく一般化しない。 本研究では,分布シフトの異なるクラスに対して,一般的な一階述語一般化の性能について検討する。
  論文  参考訳（メタデータ） (2022-11-15T23:56:30Z)
• Distributional Shift Adaptation using Domain-Specific Features [41.91388601229745]
  オープンワールドのシナリオでは、ビッグデータのストリーミングはOut-Of-Distribution(OOD)になる。 特徴が不変か否かにかかわらず、一般の相関に依拠する単純かつ効果的な手法を提案する。 提案手法では,OODベースモデルによって同定された最も確実なサンプルを用いて,対象領域に効果的に適応する新しいモデルを訓練する。
  論文  参考訳（メタデータ） (2022-11-09T04:16:21Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Improving Out-of-Distribution Robustness via Selective Augmentation [61.147630193060856]
  機械学習アルゴリズムは、トレーニングとテスト例が同じ分布から引き出されると仮定する。 分散シフトは現実世界のアプリケーションでは一般的な問題であり、テスト時にモデルが劇的に悪化する可能性がある。 LISAと呼ばれる選択的な拡張によって不変関数を学習するミックスアップ方式を提案する。
  論文  参考訳（メタデータ） (2022-01-02T05:58:33Z)
• Invariance-based Multi-Clustering of Latent Space Embeddings for Equivariant Learning [12.770012299379099]
  より深い群不変学習を強制することにより、リー群多様体における等角写像を非共役化する手法を提案する。 実験の結果,このモデルでは,不変表現と同変表現を効果的に切り離すことができ,学習速度が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2021-07-25T03:27:47Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• Adaptive Risk Minimization: Learning to Adapt to Domain Shift [109.87561509436016]
  ほとんどの機械学習アルゴリズムの基本的な前提は、トレーニングとテストデータは、同じ基礎となる分布から引き出されることである。 本研究では,学習データをドメインに構造化し,複数のテスト時間シフトが存在する場合の領域一般化の問題点について考察する。 本稿では、適応リスク最小化(ARM)の枠組みを紹介し、モデルがトレーニング領域に適応することを学ぶことで、効果的な適応のために直接最適化される。
  論文  参考訳（メタデータ） (2020-07-06T17:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。