論文の概要: An Online Learning Approach to Interpolation and Extrapolation in Domain
Generalization
- arxiv url: http://arxiv.org/abs/2102.13128v1
- Date: Thu, 25 Feb 2021 19:06:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-01 14:08:27.439403
- Title: An Online Learning Approach to Interpolation and Extrapolation in Domain
Generalization
- Title(参考訳): ドメイン一般化における補間と外挿のオンライン学習手法
- Authors: Elan Rosenfeld, Pradeep Ravikumar, Andrej Risteski
- Abstract要約: リスクを最小化するプレイヤーと新しいテストを示す敵の間のオンラインゲームとしてサブグループの一般化を再放送する。
両課題に対してERMは極小最適であることを示す。
- 参考スコア(独自算出の注目度): 53.592597682854944
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A popular assumption for out-of-distribution generalization is that the
training data comprises sub-datasets, each drawn from a distinct distribution;
the goal is then to "interpolate" these distributions and "extrapolate" beyond
them -- this objective is broadly known as domain generalization. A common
belief is that ERM can interpolate but not extrapolate and that the latter is
considerably more difficult, but these claims are vague and lack formal
justification. In this work, we recast generalization over sub-groups as an
online game between a player minimizing risk and an adversary presenting new
test distributions. Under an existing notion of inter- and extrapolation based
on reweighting of sub-group likelihoods, we rigorously demonstrate that
extrapolation is computationally much harder than interpolation, though their
statistical complexity is not significantly different. Furthermore, we show
that ERM -- or a noisy variant -- is provably minimax-optimal for both tasks.
Our framework presents a new avenue for the formal analysis of domain
generalization algorithms which may be of independent interest.
- Abstract(参考訳): 分布外一般化の一般的な仮定は、トレーニングデータがそれぞれ異なる分布から引き出されたサブデータセットで構成されていることである。目的は、これらの分布を「補間」し、それらを超えて「外挿」することである。
ermは補間できるが外挿はできない、後者の方がかなり難しいという共通の信念があるが、これらの主張は曖昧で形式的な正当性が欠如している。
本研究では,リスクを最小化するプレイヤーと新たなテスト分布を提示する敵とのオンラインゲームとして,サブグループに対する一般化を再演する。
部分群可能性の再重み付けに基づく補間と外挿という既存の概念の下では、その統計的複雑性はそれほど大きくないが、外挿は補間よりもはるかに計算が難しいことを厳密に証明している。
さらに、erm -- あるいはノイズの多い変種 -- が両方のタスクに最適であることを示す。
本フレームワークは,独立した関心を持つ可能性のある領域一般化アルゴリズムの形式解析のための新しい手法を提案する。
関連論文リスト
- Out-Of-Domain Unlabeled Data Improves Generalization [0.7589678255312519]
本稿では,ラベルなしデータを半教師付き分類問題に組み込む新しい枠組みを提案する。
ラベルのないサンプルは一般化ギャップを狭めるために利用できることを示す。
我々は、さまざまな合成および実世界のデータセットで実施された実験を通じて、我々の主張を検証する。
論文 参考訳(メタデータ) (2023-09-29T02:00:03Z) - Learning Stochastic Majority Votes by Minimizing a PAC-Bayes
Generalization Bound [15.557653926558638]
分類器の有限アンサンブルに対する多数票の対について検討し、その一般化特性について検討する。
ディリクレ分布でインスタンス化し、予測されるリスクに対して閉じた形式と微分可能な表現を可能にする。
結果の多数決学習アルゴリズムは、最先端の精度と(非空きな)厳密な境界から恩恵を得る。
論文 参考訳(メタデータ) (2021-06-23T16:57:23Z) - Decentralized Local Stochastic Extra-Gradient for Variational
Inequalities [125.62877849447729]
我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。
我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。
理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
論文 参考訳(メタデータ) (2021-06-15T17:45:51Z) - KL Guided Domain Adaptation [88.19298405363452]
ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。
ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。
確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
論文 参考訳(メタデータ) (2021-06-14T22:24:23Z) - Respecting Domain Relations: Hypothesis Invariance for Domain
Generalization [30.14312814723027]
ドメインの一般化では、トレーニング中に複数のラベル付き非独立および非独立に分散されたソースドメインが利用可能である。
現在、いわゆるドメイン不変表現(DIR)を学ぶことは、ドメインの一般化に対する一般的なアプローチである。
論文 参考訳(メタデータ) (2020-10-15T08:26:08Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳(メタデータ) (2020-10-09T15:42:35Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-22T21:12:31Z) - Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable
Neural Distribution Alignment [52.02794488304448]
そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。
入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
論文 参考訳(メタデータ) (2020-03-26T22:10:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。