論文の概要: An Online Learning Approach to Interpolation and Extrapolation in Domain Generalization

• arxiv url: http://arxiv.org/abs/2102.13128v1
• Date: Thu, 25 Feb 2021 19:06:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-01 14:08:27.439403
• Title: An Online Learning Approach to Interpolation and Extrapolation in Domain Generalization
• Title（参考訳）: ドメイン一般化における補間と外挿のオンライン学習手法
• Authors: Elan Rosenfeld, Pradeep Ravikumar, Andrej Risteski
• Abstract要約: リスクを最小化するプレイヤーと新しいテストを示す敵の間のオンラインゲームとしてサブグループの一般化を再放送する。 両課題に対してERMは極小最適であることを示す。
• 参考スコア（独自算出の注目度）: 53.592597682854944
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A popular assumption for out-of-distribution generalization is that the training data comprises sub-datasets, each drawn from a distinct distribution; the goal is then to "interpolate" these distributions and "extrapolate" beyond them -- this objective is broadly known as domain generalization. A common belief is that ERM can interpolate but not extrapolate and that the latter is considerably more difficult, but these claims are vague and lack formal justification. In this work, we recast generalization over sub-groups as an online game between a player minimizing risk and an adversary presenting new test distributions. Under an existing notion of inter- and extrapolation based on reweighting of sub-group likelihoods, we rigorously demonstrate that extrapolation is computationally much harder than interpolation, though their statistical complexity is not significantly different. Furthermore, we show that ERM -- or a noisy variant -- is provably minimax-optimal for both tasks. Our framework presents a new avenue for the formal analysis of domain generalization algorithms which may be of independent interest.
• Abstract（参考訳）: 分布外一般化の一般的な仮定は、トレーニングデータがそれぞれ異なる分布から引き出されたサブデータセットで構成されていることである。目的は、これらの分布を「補間」し、それらを超えて「外挿」することである。 ermは補間できるが外挿はできない、後者の方がかなり難しいという共通の信念があるが、これらの主張は曖昧で形式的な正当性が欠如している。 本研究では,リスクを最小化するプレイヤーと新たなテスト分布を提示する敵とのオンラインゲームとして,サブグループに対する一般化を再演する。 部分群可能性の再重み付けに基づく補間と外挿という既存の概念の下では、その統計的複雑性はそれほど大きくないが、外挿は補間よりもはるかに計算が難しいことを厳密に証明している。 さらに、erm -- あるいはノイズの多い変種 -- が両方のタスクに最適であることを示す。 本フレームワークは,独立した関心を持つ可能性のある領域一般化アルゴリズムの形式解析のための新しい手法を提案する。

関連論文リスト

• Generalization error of min-norm interpolators in transfer learning [2.7309692684728617]
  最小ノルム補間器は、現代の機械学習アルゴリズムの暗黙の正規化限界として自然に現れる。 多くのアプリケーションでは、トレーニング中に限られた量のテストデータが利用できるが、この設定におけるmin-normの特性は十分に理解されていない。 我々はこれらの特徴を達成するために、新しい異方性局所法を確立した。
  論文  参考訳（メタデータ） (2024-06-20T02:23:28Z)
• How Does Distribution Matching Help Domain Generalization: An Information-theoretic Analysis [21.685468628033206]
  ドメインの一般化を新しい確率論的観点から定式化する。 一般化を促進する上での勾配と表現マッチングの役割について重要な知見を提供する。 これらの理論的な知見を踏まえ、ドメイン間の勾配と表現を同時に調整するIDMを導入する。
  論文  参考訳（メタデータ） (2024-06-14T06:28:17Z)
• Learning Stochastic Majority Votes by Minimizing a PAC-Bayes Generalization Bound [15.557653926558638]
  分類器の有限アンサンブルに対する多数票の対について検討し、その一般化特性について検討する。 ディリクレ分布でインスタンス化し、予測されるリスクに対して閉じた形式と微分可能な表現を可能にする。 結果の多数決学習アルゴリズムは、最先端の精度と(非空きな)厳密な境界から恩恵を得る。
  論文  参考訳（メタデータ） (2021-06-23T16:57:23Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• KL Guided Domain Adaptation [88.19298405363452]
  ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。 ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。 確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
  論文  参考訳（メタデータ） (2021-06-14T22:24:23Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable Neural Distribution Alignment [52.02794488304448]
  そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。 入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
  論文  参考訳（メタデータ） (2020-03-26T22:10:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。