論文の概要: Sufficient Invariant Learning for Distribution Shift

• arxiv url: http://arxiv.org/abs/2210.13533v3
• Date: Tue, 19 Nov 2024 00:06:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:34:52.713858
• Title: Sufficient Invariant Learning for Distribution Shift
• Title（参考訳）: 分散シフトのための十分不変学習
• Authors: Taero Kim, Subeen Park, Sungjun Lim, Yonghan Jung, Krikamol Muandet, Kyungwoo Song,
• Abstract要約: 本稿では,SIL(Sufficient Invariant Learning)フレームワークという新しい学習原理を紹介する。 SILは、単一の機能に頼るのではなく、不変機能の十分なサブセットを学ぶことに重点を置いている。 本稿では,適応シャープネスを意識したグループ分散ロバスト最適化(ASGDRO)を提案する。
• 参考スコア（独自算出の注目度）: 20.88069274935592
• License:
• Abstract: Learning robust models under distribution shifts between training and test datasets is a fundamental challenge in machine learning. While learning invariant features across environments is a popular approach, it often assumes that these features are fully observed in both training and test sets-a condition frequently violated in practice. When models rely on invariant features absent in the test set, their robustness in new environments can deteriorate. To tackle this problem, we introduce a novel learning principle called the Sufficient Invariant Learning (SIL) framework, which focuses on learning a sufficient subset of invariant features rather than relying on a single feature. After demonstrating the limitation of existing invariant learning methods, we propose a new algorithm, Adaptive Sharpness-aware Group Distributionally Robust Optimization (ASGDRO), to learn diverse invariant features by seeking common flat minima across the environments. We theoretically demonstrate that finding a common flat minima enables robust predictions based on diverse invariant features. Empirical evaluations on multiple datasets, including our new benchmark, confirm ASGDRO's robustness against distribution shifts, highlighting the limitations of existing methods.
• Abstract（参考訳）: トレーニングとテストデータセット間の分散シフトの下で堅牢なモデルを学ぶことは、機械学習における根本的な課題である。 環境間で不変な特徴を学習することは一般的なアプローチであるが、これらの特徴がトレーニングとテストセットの両方で完全に観察されていると仮定することが多い。 モデルがテストセットに存在しない不変機能に依存している場合、新しい環境での堅牢性は悪化する可能性がある。 この問題に対処するために,SIL(Sufficient Invariant Learning)フレームワークと呼ばれる新しい学習原理を導入する。 既存の不変学習手法の限界を実証した後,適応シャープネスを意識したグループ分散ロバスト最適化 (ASGDRO) を提案する。 理論的には、共通の平坦なミニマの発見は、多様な不変性に基づいた堅牢な予測を可能にすることを証明している。 新しいベンチマークを含む複数のデータセットに対する実証的な評価では、分布シフトに対するASGDROの堅牢性を確認し、既存のメソッドの制限を強調している。

関連論文リスト

• Learning Temporal Invariance in Android Malware Detectors [20.830702588122463]
  学習ベースのAndroidマルウェア検出器は、マルウェアの変種と新しい家族によって引き起こされる自然分布の漂流により、時間とともに劣化する。 本稿では,経験的リスク (ERM) で訓練された最小化が,そのような分散シフトに直面する課題について,体系的に検討する。 本稿では,マルウェア検出のための時間的不変性トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-07T17:17:42Z)
• Winning Prize Comes from Losing Tickets: Improve Invariant Learning by Exploring Variant Parameters for Out-of-Distribution Generalization [76.27711056914168]
  Out-of-Distribution (OOD) 一般化は、分散固有の特徴に適合することなく、様々な環境によく適応する堅牢なモデルを学ぶことを目的としている。 LTH(Lottery Ticket hypothesis)に基づく最近の研究は、学習目標を最小化し、タスクに重要なパラメータのいくつかを見つけることでこの問題に対処している。 Invariant Learning (EVIL) における変数探索手法を提案する。
  論文  参考訳（メタデータ） (2023-10-25T06:10:57Z)
• Environment Diversification with Multi-head Neural Network for Invariant Learning [7.255121332331688]
  この研究は、データバイアスを吸収するマルチヘッドニューラルネットワークを含む不変学習フレームワークEDNILを提案する。 このフレームワークは環境に関する事前の知識や事前訓練されたモデルに関する強い仮定を必要としないことを示す。 EDNILでトレーニングされたモデルは、分布シフトに対して実験的に堅牢であることを示す。
  論文  参考訳（メタデータ） (2023-08-17T04:33:38Z)
• An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
  解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。 既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。 本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-07T06:50:27Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)
• Invariance-based Multi-Clustering of Latent Space Embeddings for Equivariant Learning [12.770012299379099]
  より深い群不変学習を強制することにより、リー群多様体における等角写像を非共役化する手法を提案する。 実験の結果,このモデルでは,不変表現と同変表現を効果的に切り離すことができ,学習速度が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2021-07-25T03:27:47Z)
• Distance-based Hyperspherical Classification for Multi-source Open-Set Domain Adaptation [34.97934677830779]
  クローズドワールドのシナリオで訓練されたビジョンシステムは、新しい環境条件が提示されると必然的に失敗する。 オープンワールド学習への道のりは、長年にわたる研究課題である。 本研究ではHyMOSを導入することで,マルチソースなOpen-Setドメイン適応を実現する。
  論文  参考訳（メタデータ） (2021-07-05T14:56:57Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• Adaptive Risk Minimization: Learning to Adapt to Domain Shift [109.87561509436016]
  ほとんどの機械学習アルゴリズムの基本的な前提は、トレーニングとテストデータは、同じ基礎となる分布から引き出されることである。 本研究では,学習データをドメインに構造化し,複数のテスト時間シフトが存在する場合の領域一般化の問題点について考察する。 本稿では、適応リスク最小化(ARM)の枠組みを紹介し、モデルがトレーニング領域に適応することを学ぶことで、効果的な適応のために直接最適化される。
  論文  参考訳（メタデータ） (2020-07-06T17:59:30Z)
• Invariant Risk Minimization Games [48.00018458720443]
  本研究では,複数の環境においてアンサンブルゲームのナッシュ平衡を求めるような不変リスク最小化を行う。 そこで我々は,本実験における最適応答力学と平衡を用いた簡単なトレーニングアルゴリズムを開発し,Arjovskyらの難解な二段階最適化問題よりもはるかに低いばらつきで,同様の,あるいは優れた経験的精度が得られることを示した。
  論文  参考訳（メタデータ） (2020-02-11T21:25:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。