論文の概要: Finding lost DG: Explaining domain generalization via model complexity
- arxiv url: http://arxiv.org/abs/2202.00563v1
- Date: Tue, 1 Feb 2022 17:08:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-02 13:56:30.225182
- Title: Finding lost DG: Explaining domain generalization via model complexity
- Title(参考訳): 失われたDGを見つける:モデル複雑性による領域一般化の説明
- Authors: Da Li, Henry Gouk, Timothy Hospedales
- Abstract要約: 本稿では,ドメインの一般化性能に制約のないDGに限定した,学習理論の新たな一般化を提案する。
我々は、既存の方法の有効性や欠如は、経験的リスク予測器と複雑性トレードオフによって決定されていると推測する。
- 参考スコア(独自算出の注目度): 14.989945319823999
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The domain generalization (DG) problem setting challenges a model trained on
multiple known data distributions to generalise well on unseen data
distributions. Due to its practical importance, a large number of methods have
been proposed to address this challenge. However much of the work in general
purpose DG is heuristically motivated, as the DG problem is hard to model
formally; and recent evaluations have cast doubt on existing methods' practical
efficacy -- in particular compared to a well tuned empirical risk minimisation
baseline. We present a novel learning-theoretic generalisation bound for DG
that bounds unseen domain generalisation performance in terms of the model's
Rademacher complexity. Based on this, we conjecture that existing methods'
efficacy or lack thereof is largely determined by an empirical risk vs
predictor complexity trade-off, and demonstrate that their performance
variability can be explained in these terms. Algorithmically, this analysis
suggests that domain generalisation should be achieved by simply performing
regularised ERM with a leave-one-domain-out cross-validation objective.
Empirical results on the DomainBed benchmark corroborate this.
- Abstract(参考訳): ドメイン一般化(DG)問題設定では、複数の既知のデータ分布で訓練されたモデルが、見えないデータ分布をうまく一般化する。
その実用的重要性から、この問題に対処するために多くの方法が提案されている。
しかし、DG問題の公式なモデル化が困難であるため、汎用的なDGの作業の多くはヒューリスティックに動機付けられており、最近の評価は、特に十分に調整された経験的リスク最小化ベースラインと比較して、既存の手法の実用性に疑問を投げかけている。
本稿では,モデルのラデマッハ複雑性の観点から,未認識領域の一般化性能を制限したdgの学習理論上の新しい一般化について述べる。
これに基づいて,既存の手法の有効性や欠如は,経験的リスク対予測的複雑性トレードオフによって大部分的に決定され,これらの用語でその性能変動が説明できることを示す。
アルゴリズムにより,領域の一般化は,領域間相互検証を目的とし,規則化されたERMを実行するだけで達成できることを示す。
DomainBedベンチマークの実証結果は、これを裏付けている。
関連論文リスト
- DIGIC: Domain Generalizable Imitation Learning by Causal Discovery [69.13526582209165]
因果性は機械学習と組み合わせて、ドメインの一般化のための堅牢な表現を生成する。
我々は、実証データ分布を活用して、ドメインの一般化可能なポリシーの因果的特徴を発見するために、異なる試みを行っている。
DIGICと呼ばれる新しいフレームワークを設計し、実演データ分布から専門家行動の直接的な原因を見出すことにより因果的特徴を識別する。
論文 参考訳(メタデータ) (2024-02-29T07:09:01Z) - MADG: Margin-based Adversarial Learning for Domain Generalization [25.45950080930517]
そこで本稿では,差分損失に基づく離散性尺度に基づく新しい逆学習DGアルゴリズムMADGを提案する。
提案したMADGモデルは,すべてのソースドメインにまたがるドメイン不変の特徴を学習し,敵対的トレーニングを用いて,未知のターゲットドメインによく適応する。
我々は、人気のある実世界のDGデータセット上でMADGモデルを広範囲に実験した。
論文 参考訳(メタデータ) (2023-11-14T19:53:09Z) - Contrastive Domain Generalization via Logit Attribution Matching [18.663790507626526]
ドメイン一般化(DG)は機械学習において重要なオープンな問題である。
本稿では,複数のドメインの代わりに,強いコントラストデータペアによって表現される意味的不変性を活用するコントラスト・ドメイン・ジェネリゼーション(CDG)を提案する。
LAMはペアデータのごく一部で最先端のDG法より優れていることを実証的に示す。
論文 参考訳(メタデータ) (2023-05-13T10:21:53Z) - Improving Generalization with Domain Convex Game [32.07275105040802]
ドメインの一般化は、複数のソースドメインを持つモデルを学習することで、ディープニューラルネットワークの貧弱な一般化能力を緩和する傾向がある。
DG の古典的な解は領域拡大であり、その一般的な信念は、ソース領域の多様化は分布外一般化に導かれるということである。
モデル一般化と領域の多様性の相関は厳密には正ではなく,ドメイン拡張の有効性を制限している。
論文 参考訳(メタデータ) (2023-03-23T14:27:49Z) - When Neural Networks Fail to Generalize? A Model Sensitivity Perspective [82.36758565781153]
ドメイン一般化 (Domain Generalization, DG) は、異なる分布の下で見えないドメインでうまく機能するようにモデルを訓練することを目的としている。
本稿では,より現実的で,より困難なシナリオである単一領域一般化(Single-DG)について考察する。
我々は「モデル感度」と命名する一般化と強く相関するモデルの性質を経験的に確認する。
本稿では、高感度の周波数をターゲットとした拡張画像を生成するために、スペクトル逆データ拡張(SADA)の新たな戦略を提案する。
論文 参考訳(メタデータ) (2022-12-01T20:15:15Z) - On Certifying and Improving Generalization to Unseen Domains [87.00662852876177]
ドメインの一般化は、テスト時に遭遇した見知らぬドメインのパフォーマンスが高いモデルを学ぶことを目的としています。
いくつかのベンチマークデータセットを使用して、DGアルゴリズムを包括的に評価することは困難である。
我々は,任意のDG手法の最悪の性能を効率的に証明できる普遍的な認証フレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-24T16:29:43Z) - Towards Principled Disentanglement for Domain Generalization [90.9891372499545]
機械学習モデルの根本的な課題は、アウト・オブ・ディストリビューション(OOD)データへの一般化である。
私たちはまず、DEC(Disentanglement-Constrained Domain Generalization)と呼ばれる制約付き最適化としてOOD一般化問題を定式化する。
この変換に基づいて、結合表現の不絡合と領域一般化のための原始双対アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-11-27T07:36:32Z) - Reappraising Domain Generalization in Neural Networks [8.06370138649329]
機械学習アルゴリズムのドメイン一般化(DG)は、複数のトレーニング分布からドメインに依存しない仮説を学習する能力として定義される。
経験的リスク最小化(ERM)ベースラインは,既存のDG手法を一貫して上回っていることがわかった。
そこで我々は,各クラスに対してランダムにドメインを選択して,それをテスト用として保持する,クラスワイズDGの定式化を提案する。
論文 参考訳(メタデータ) (2021-10-15T10:06:40Z) - An Online Learning Approach to Interpolation and Extrapolation in Domain
Generalization [53.592597682854944]
リスクを最小化するプレイヤーと新しいテストを示す敵の間のオンラインゲームとしてサブグループの一般化を再放送する。
両課題に対してERMは極小最適であることを示す。
論文 参考訳(メタデータ) (2021-02-25T19:06:48Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳(メタデータ) (2020-10-09T15:42:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。