論文の概要: Probable Domain Generalization via Quantile Risk Minimization

• arxiv url: http://arxiv.org/abs/2207.09944v1
• Date: Wed, 20 Jul 2022 14:41:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-21 12:33:03.010426
• Title: Probable Domain Generalization via Quantile Risk Minimization
• Title（参考訳）: 量子リスク最小化による確率領域一般化
• Authors: Cian Eastwood, Alexander Robey, Shashank Singh, Julius von K\"ugelgen, Hamed Hassani, George J. Pappas, Bernhard Sch\"olkopf
• Abstract要約: ドメインの一般化は、目に見えないテスト分布でうまく機能する予測子を求める。 DGは最悪の問題でも平均的な問題でもない、むしろ確率的な問題だ、と我々は主張する。 我々のアルゴリズムは、実データと合成データで最先端のベースラインを上回ります。
• 参考スコア（独自算出の注目度）: 92.25034304883248
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain generalization (DG) seeks predictors which perform well on unseen test distributions by leveraging labeled training data from multiple related distributions or domains. To achieve this, the standard formulation optimizes for worst-case performance over the set of all possible domains. However, with worst-case shifts very unlikely in practice, this generally leads to overly-conservative solutions. In fact, a recent study found that no DG algorithm outperformed empirical risk minimization in terms of average performance. In this work, we argue that DG is neither a worst-case problem nor an average-case problem, but rather a probabilistic one. To this end, we propose a probabilistic framework for DG, which we call Probable Domain Generalization, wherein our key idea is that distribution shifts seen during training should inform us of probable shifts at test time. To realize this, we explicitly relate training and test domains as draws from the same underlying meta-distribution, and propose a new optimization problem -- Quantile Risk Minimization (QRM) -- which requires that predictors generalize with high probability. We then prove that QRM: (i) produces predictors that generalize to new domains with a desired probability, given sufficiently many domains and samples; and (ii) recovers the causal predictor as the desired probability of generalization approaches one. In our experiments, we introduce a more holistic quantile-focused evaluation protocol for DG, and show that our algorithms outperform state-of-the-art baselines on real and synthetic data.
• Abstract（参考訳）: ドメイン一般化 (Domain Generalization, DG) は、複数の関連するディストリビューションやドメインからラベル付きトレーニングデータを活用することにより、目に見えないテスト分布でうまく動作する予測子を求める。 これを達成するために、標準定式化は、可能なすべてのドメインの集合に対して最悪の場合のパフォーマンスを最適化する。 しかし、実際には最悪のケースシフトは極めてありそうにないため、一般的には過度に保守的な解決につながる。 事実、最近の研究では、DGアルゴリズムが平均性能の点で経験的リスク最小化よりも優れていなかった。 本研究では、DGは最悪の問題でも平均的な問題でもなく、確率的な問題でもないと論じる。 そこで我々は,DGの確率的フレームワークを提案し,これを確率的ドメイン一般化(Probable Domain Generalization)と呼ぶ。 これを実現するため、トレーニングドメインとテストドメインを同じメタ分散から引き出すように明示的に関連付け、予測者が高い確率で一般化する必要がある新しい最適化問題、量子リスク最小化(qrm)を提案する。 次に、QRMを証明します。 (i)所望の確率で新しい領域に一般化する予測器を生産し、十分な数の領域とサンプルを付与する。 (ii)一般化の所望の確率が1に近づくと因果予測器を回復する。 実験では,より総合的な質的評価プロトコルを提案するとともに,本アルゴリズムが実データおよび合成データにおいて最先端のベースラインよりも優れていることを示す。

関連論文リスト

• Domain Agnostic Conditional Invariant Predictions for Domain Generalization [20.964740750976667]
  本稿では,識別リスク最小化(DRM)理論とそれに対応するアルゴリズムを提案する。 DRM理論では、ソース領域全体とそのサブセット間の予測分布の相違が、不変な特徴の獲得に寄与することを証明する。 我々は,複数の実世界のデータセット上での領域一般化手法に対するアルゴリズムの評価を行った。
  論文  参考訳（メタデータ） (2024-06-09T02:38:52Z)
• Whom to Trust? Elective Learning for Distributed Gaussian Process Regression [3.5208783730894972]
  我々は、選択学習アルゴリズム、すなわち、事前認識された選択分散GP(Pri-GP)を開発する。 Pri-GPは、その信頼性に基づいて、近隣のエージェントから予測を選択的に要求する能力を持つエージェントに権限を与える。 プリGPフレームワーク内に予測誤差を確立し,予測の信頼性を確保する。
  論文  参考訳（メタデータ） (2024-02-05T13:52:56Z)
• Outage Performance and Novel Loss Function for an ML-Assisted Resource Allocation: An Exact Analytical Framework [2.1397655110395752]
  本稿では,MLベースのリソース割り当てシステムの停止確率を最小限に抑えるために,新たな損失関数を提案する。 MLバイナリ分類予測器は、確立された停止基準を満たすリソースの選択を支援する。
  論文  参考訳（メタデータ） (2023-05-16T18:23:52Z)
• Source-free Unsupervised Domain Adaptation for Blind Image Quality Assessment [20.28784839680503]
  既存の学習ベースのブラインド画像品質評価法(BIQA)は、大量の注釈付きトレーニングデータに大きく依存している。 本稿では,ソースフリーな非教師付きドメイン適応(SFUDA)への第一歩を,シンプルで効率的な方法で進める。 本稿では、BNアフィンパラメータのターゲット領域への適応を導くための、十分に設計された自己教師対象のグループを示す。
  論文  参考訳（メタデータ） (2022-07-17T09:42:36Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Iterative Feature Matching: Toward Provable Domain Generalization with Logarithmic Environments [55.24895403089543]
  ドメインの一般化は、限られた数のトレーニング環境からのデータで、目に見えないテスト環境でうまく機能することを目的としています。 我々は,O(logd_s)$環境のみを見た後に一般化する予測器を高確率で生成することを保証する反復的特徴マッチングに基づく新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-18T04:39:19Z)
• KL Guided Domain Adaptation [88.19298405363452]
  ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。 ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。 確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
  論文  参考訳（メタデータ） (2021-06-14T22:24:23Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。