論文の概要: Transformation-Invariant Learning and Theoretical Guarantees for OOD Generalization

• arxiv url: http://arxiv.org/abs/2410.23461v1
• Date: Wed, 30 Oct 2024 20:59:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:01:11.721185
• Title: Transformation-Invariant Learning and Theoretical Guarantees for OOD Generalization
• Title（参考訳）: OOD一般化のための変換不変学習と理論的保証
• Authors: Omar Montasser, Han Shao, Emmanuel Abbe,
• Abstract要約: 本稿では、(データ)変換マップのクラスによって、列車とテストの分布を関連付けることができる分散シフト設定に焦点を当てる。 経験的リスク最小化(ERM)に対する学習ルールとアルゴリズムの削減を確立する。 我々は,学習ルールが分配シフトに関するゲーム理論的な視点を提供する点を強調した。
• 参考スコア（独自算出の注目度）: 34.036655200677664
• License:
• Abstract: Learning with identical train and test distributions has been extensively investigated both practically and theoretically. Much remains to be understood, however, in statistical learning under distribution shifts. This paper focuses on a distribution shift setting where train and test distributions can be related by classes of (data) transformation maps. We initiate a theoretical study for this framework, investigating learning scenarios where the target class of transformations is either known or unknown. We establish learning rules and algorithmic reductions to Empirical Risk Minimization (ERM), accompanied with learning guarantees. We obtain upper bounds on the sample complexity in terms of the VC dimension of the class composing predictors with transformations, which we show in many cases is not much larger than the VC dimension of the class of predictors. We highlight that the learning rules we derive offer a game-theoretic viewpoint on distribution shift: a learner searching for predictors and an adversary searching for transformation maps to respectively minimize and maximize the worst-case loss.
• Abstract（参考訳）: 同一の列車と試験分布による学習は、実用的および理論的に広く研究されている。 しかし、分布シフトの下の統計学習において、多くのことが理解されている。 本稿では、(データ)変換マップのクラスによって、列車とテストの分布を関連付けることができる分散シフト設定に焦点を当てる。 この枠組みの理論的研究を開始し、対象となる変換のクラスが知られているか未知であるかを学習シナリオで調査する。 我々は,経験的リスク最小化(Empirical Risk Minimization,ERM)に対する学習規則とアルゴリズムの削減を,学習保証とともに確立する。 我々は、変換を伴う予測器を構成するクラスのVC次元の観点から、サンプルの複雑さの上限を得るが、多くの場合、予測器のクラスのVC次元よりもそれほど大きくない。 学習者は予測器を探索し、相手は変換マップを探索し、最悪の場合の損失を最小化し、最大化する。

関連論文リスト

• Understanding Transfer Learning via Mean-field Analysis [5.7150083558242075]
  我々は、KL規則化された経験的リスク最小化を用いて、$alpha$-ERMとファインチューニングの2つの主要なトランスファー学習シナリオを検討する。 平均場状態における一層ニューラルネットワークを用いたトランスファーラーニングの利点を示す。
  論文  参考訳（メタデータ） (2024-10-22T16:00:44Z)
• Generalizing to any diverse distribution: uniformity, gentle finetuning and rebalancing [55.791818510796645]
  我々は,訓練データから大きく逸脱した場合でも,様々なテスト分布によく適応するモデルを開発することを目的としている。 ドメイン適応、ドメイン一般化、ロバスト最適化といった様々なアプローチは、アウト・オブ・ディストリビューションの課題に対処しようと試みている。 我々は、既知のドメイン内の十分に多様なテスト分布にまたがる最悪のケースエラーを考慮することで、より保守的な視点を採用する。
  論文  参考訳（メタデータ） (2024-10-08T12:26:48Z)
• When Invariant Representation Learning Meets Label Shift: Insufficiency and Theoretical Insights [16.72787996847537]
  一般化ラベルシフト(GLS)は、シフト内の複雑な要因に対処する大きな可能性を示す最新の開発である。 主な結果は、不変表現学習が不十分であることを示し、一般化のためのGLS補正が不十分であること、および必要であることを証明した。 本稿では,カーネル埋め込みに基づく補正アルゴリズム(KECA)を提案する。
  論文  参考訳（メタデータ） (2024-06-24T12:47:21Z)
• A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment for Imbalanced Learning [129.63326990812234]
  そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。 この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
  論文  参考訳（メタデータ） (2023-10-07T09:15:08Z)
• Revisiting the Robustness of the Minimum Error Entropy Criterion: A Transfer Learning Case Study [16.07380451502911]
  本稿では,非ガウス雑音に対処する最小誤差エントロピー基準のロバスト性を再考する。 本稿では,分散シフトが一般的である実生活伝達学習回帰タスクの実現可能性と有用性について検討する。
  論文  参考訳（メタデータ） (2023-07-17T15:38:11Z)
• GIT: Detecting Uncertainty, Out-Of-Distribution and Adversarial Samples using Gradients and Invariance Transformations [77.34726150561087]
  本稿では,ディープニューラルネットワークにおける一般化誤差検出のための総合的アプローチを提案する。 GITは勾配情報と不変変換の利用を組み合わせる。 本実験は,各種ネットワークアーキテクチャの最先端技術と比較して,GITの優れた性能を示すものである。
  論文  参考訳（メタデータ） (2023-07-05T22:04:38Z)
• Hypothesis Transfer Learning with Surrogate Classification Losses: Generalization Bounds through Algorithmic Stability [3.908842679355255]
  仮説伝達学習(HTL)は、以前のタスクレバレッジを新たなターゲットにすることで、ドメイン適応と対比する。 本稿では,機械学習アルゴリズム解析のための魅力的な理論フレームワークであるアルゴリズム安定性によるHTLの学習理論について検討する。
  論文  参考訳（メタデータ） (2023-05-31T09:38:21Z)
• An Information-theoretical Approach to Semi-supervised Learning under Covariate-shift [24.061858945664856]
  半教師あり学習における一般的な前提は、ラベル付き、ラベルなし、テストデータが同じ分布から引き出されることである。 本稿では,この問題に対処可能な半教師付き学習アルゴリズムを提案する。 また,このフレームワークはエントロピーの最小化や擬似ラベル付けなど,一般的な手法を復元する。
  論文  参考訳（メタデータ） (2022-02-24T14:25:14Z)
• Causally-motivated Shortcut Removal Using Auxiliary Labels [63.686580185674195]
  このようなリスク不変予測器の学習に重要な課題はショートカット学習である。 この課題に対処するために、フレキシブルで因果的なアプローチを提案する。 この因果的動機付けされた正規化スキームが堅牢な予測子を生み出すことを理論的および実証的に示す。
  論文  参考訳（メタデータ） (2021-05-13T16:58:45Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
  多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。 予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
  論文  参考訳（メタデータ） (2020-07-08T11:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。