論文の概要: When is invariance useful in an Out-of-Distribution Generalization problem ?

• arxiv url: http://arxiv.org/abs/2008.01883v4
• Date: Thu, 25 Nov 2021 08:04:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-02 23:38:59.583956
• Title: When is invariance useful in an Out-of-Distribution Generalization problem ?
• Title（参考訳）: 分散一般化問題において不変性はいつ有用か?
• Authors: Masanori Koyama and Shoichiro Yamaguchi
• Abstract要約: Out-of-Distribution (OOD) の一般化問題は、すべての環境で一般化する予測器を訓練することである。 この分野の一般的なアプローチは、そのような予測器は環境全体にわたって一定であるメカニズムをキャプチャするテクスティ不変な予測器であるべきであるという仮説を用いる。 本稿では,OODの最適性を達成するために,不変予測器に必要な新しい理論条件を提案する。
• 参考スコア（独自算出の注目度）: 19.696505968699206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The goal of Out-of-Distribution (OOD) generalization problem is to train a predictor that generalizes on all environments. Popular approaches in this field use the hypothesis that such a predictor shall be an \textit{invariant predictor} that captures the mechanism that remains constant across environments. While these approaches have been experimentally successful in various case studies, there is still much room for the theoretical validation of this hypothesis. This paper presents a new set of theoretical conditions necessary for an invariant predictor to achieve the OOD optimality. Our theory not only applies to non-linear cases, but also generalizes the necessary condition used in \citet{rojas2018invariant}. We also derive Inter Gradient Alignment algorithm from our theory and demonstrate its competitiveness on MNIST-derived benchmark datasets as well as on two of the three \textit{Invariance Unit Tests} proposed by \citet{aubinlinear}.
• Abstract（参考訳）: Out-of-Distribution (OOD) の一般化問題は、すべての環境で一般化する予測器を訓練することである。 この分野の一般的なアプローチでは、そのような予測子は環境にまたがって一定であるメカニズムをキャプチャする \textit{invariant predictor} という仮説を用いる。 これらのアプローチは様々なケーススタディで実験的に成功したが、この仮説の理論的検証にはまだまだ多くの余地がある。 本稿では,OOD最適性を達成するために,不変予測器に必要な新しい理論条件を提案する。 我々の理論は、非線形の場合だけでなく、 \citet{rojas2018invariant} で使われる必要条件を一般化する。 また, この理論から勾配アライメントアルゴリズムを導出し, mnist 由来のベンチマークデータセットと, \citet{aubinlinear} によって提案された 3 つの \textit{invariance unit tests} のうちの 2 つにその競合性を示す。

関連論文リスト

• Generalized Laplace Approximation [23.185126261153236]
  我々は、ベイズ的不整合を不特定性をモデル化し、不適切な先行をモデル化するために、統一された理論的枠組みを導入する。 正規化損失関数のヘッセン行列に対する簡単な調整を含む一般化ラプラス近似を提案する。 我々は、最先端のニューラルネットワークと実世界のデータセット上での一般化されたLaplace近似の性能と特性を評価する。
  論文  参考訳（メタデータ） (2024-05-22T11:11:42Z)
• Source-Free Unsupervised Domain Adaptation with Hypothesis Consolidation of Prediction Rationale [53.152460508207184]
  Source-Free Unsupervised Domain Adaptation (SFUDA)は、モデルがターゲットのドメインラベルやソースドメインデータにアクセスせずに新しいドメインに適応する必要がある、という課題である。 本稿では,各サンプルについて複数の予測仮説を考察し,各仮説の背景にある理論的根拠について考察する。 最適性能を達成するために,モデル事前適応,仮説統合,半教師付き学習という3段階の適応プロセスを提案する。
  論文  参考訳（メタデータ） (2024-02-02T05:53:22Z)
• Variational Bayesian Neural Networks via Resolution of Singularities [1.2183405753834562]
  ベイズニューラルネットワーク(BNN)における変分推論の理論と実践に関連する特異学習理論(SLT)の重要性を提唱する。 本研究では, 下流予測性能, テストログ予測密度, 変動目標との相違点を取り巻く混乱を補う。 我々は,SLT補正形式を特異な後部分布に用いて,変分族自体の設計を知らせる。
  論文  参考訳（メタデータ） (2023-02-13T00:32:49Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• On the Importance of Gradient Norm in PAC-Bayesian Bounds [92.82627080794491]
  対数ソボレフ不等式の縮約性を利用する新しい一般化法を提案する。 我々は、この新たな損失段階的ノルム項が異なるニューラルネットワークに与える影響を実証的に分析する。
  論文  参考訳（メタデータ） (2022-10-12T12:49:20Z)
• Exponential Tail Local Rademacher Complexity Risk Bounds Without the Bernstein Condition [30.401770841788718]
  ローカルなRademacherツールボックスは、最も成功した汎用ツールボックスの1つである。 ベルンシュタイン理論を最適性能が達成不可能な設定によってのみ達成できる問題に適用すると、指数的なテール過剰リスクが生じる。 本結果は,ツールボックスがカバーしていない不適切な予測方式に適用する。
  論文  参考訳（メタデータ） (2022-02-23T12:27:53Z)
• Robust Linear Predictions: Analyses of Uniform Concentration, Fast Rates and Model Misspecification [16.0817847880416]
  ヒルベルト空間上の様々な線形予測問題を含む統一的なフレームワークを提供する。 誤特定レベル $epsilon$ に対して、これらの推定器は、文献で最もよく知られたレートと一致する、$O(maxleft|mathcalO|1/2n-1/2, |mathcalI|1/2n-1 right+epsilon)$ の誤差率を達成する。
  論文  参考訳（メタデータ） (2022-01-06T08:51:08Z)
• A Theoretical Analysis on Independence-driven Importance Weighting for Covariate-shift Generalization [44.88645911638269]
  安定学習文学における独立駆動の重要度アルゴリズムは経験的効果を示している。 本稿では,このようなアルゴリズムの有効性を,特徴選択プロセスとして説明することにより理論的に証明する。 理想的な条件下では、独立駆動の重み付けアルゴリズムがこの集合の変数を識別できることを証明した。
  論文  参考訳（メタデータ） (2021-11-03T17:18:49Z)
• Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
  線形ニューラルネットワークは、サブファンクションに分割することができる。 サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。 完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
  論文  参考訳（メタデータ） (2021-06-15T18:34:41Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)
• A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
  多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。 予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
  論文  参考訳（メタデータ） (2020-07-08T11:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。