論文の概要: Probable Domain Generalization via Quantile Risk Minimization

• arxiv url: http://arxiv.org/abs/2207.09944v4
• Date: Tue, 22 Aug 2023 09:31:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-23 21:31:47.008390
• Title: Probable Domain Generalization via Quantile Risk Minimization
• Title（参考訳）: 量子リスク最小化による確率領域一般化
• Authors: Cian Eastwood, Alexander Robey, Shashank Singh, Julius von K\"ugelgen, Hamed Hassani, George J. Pappas, Bernhard Sch\"olkopf
• Abstract要約: ドメインの一般化は、目に見えないテスト分布でうまく機能する予測子を求める。 我々はDGのための新しい確率的フレームワークを提案し、高い確率でよく動作する予測器を学習することを目指している。
• 参考スコア（独自算出の注目度）: 90.15831047587302
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain generalization (DG) seeks predictors which perform well on unseen test distributions by leveraging data drawn from multiple related training distributions or domains. To achieve this, DG is commonly formulated as an average- or worst-case problem over the set of possible domains. However, predictors that perform well on average lack robustness while predictors that perform well in the worst case tend to be overly-conservative. To address this, we propose a new probabilistic framework for DG where the goal is to learn predictors that perform well with high probability. Our key idea is that distribution shifts seen during training should inform us of probable shifts at test time, which we realize by explicitly relating training and test domains as draws from the same underlying meta-distribution. To achieve probable DG, we propose a new optimization problem called Quantile Risk Minimization (QRM). By minimizing the $\alpha$-quantile of predictor's risk distribution over domains, QRM seeks predictors that perform well with probability $\alpha$. To solve QRM in practice, we propose the Empirical QRM (EQRM) algorithm and provide: (i) a generalization bound for EQRM; and (ii) the conditions under which EQRM recovers the causal predictor as $\alpha \to 1$. In our experiments, we introduce a more holistic quantile-focused evaluation protocol for DG and demonstrate that EQRM outperforms state-of-the-art baselines on datasets from WILDS and DomainBed.
• Abstract（参考訳）: ドメイン一般化 (Domain Generalization, DG) は、複数の関連するトレーニング分布やドメインから引き出されたデータを活用することにより、目に見えないテスト分布でうまく動作する予測子を求める。 これを達成するために、DGは一般に、可能なドメインの集合に対して平均または最悪のケース問題として定式化される。 しかし、平均的によく機能する予測者は頑健性に欠けるが、最悪の場合うまく機能する予測者は過度に保守的になる傾向がある。 そこで我々はDGのための新しい確率的フレームワークを提案し,高い確率で高い性能の予測器を学習することを目的とする。 私たちのキーとなる考え方は、トレーニング中に見られる分散シフトは、テスト時に可能なシフトを知らせるべきである、ということです。 そこで本研究では,QRM(Quantile Risk Minimization)と呼ばれる新しい最適化問題を提案する。 予測器のドメイン上のリスク分布の$\alpha$-quantileを最小化することにより、QRMは確率$\alpha$とよく似た予測器を求める。 実際にQRMを解くために,経験的QRM (EQRM) アルゴリズムを提案し,提案する。 i) EQRM に束縛された一般化,及び i) EQRM が因果予測器を $\alpha \to 1$ として回復する条件。 実験では、DGのより総合的な定量化にフォーカスした評価プロトコルを導入し、EQRMがWILDSやDomainBedのデータセットの最先端ベースラインより優れていることを示す。

関連論文リスト

• Domain Agnostic Conditional Invariant Predictions for Domain Generalization [20.964740750976667]
  本稿では,識別リスク最小化(DRM)理論とそれに対応するアルゴリズムを提案する。 DRM理論では、ソース領域全体とそのサブセット間の予測分布の相違が、不変な特徴の獲得に寄与することを証明する。 我々は,複数の実世界のデータセット上での領域一般化手法に対するアルゴリズムの評価を行った。
  論文  参考訳（メタデータ） (2024-06-09T02:38:52Z)
• Whom to Trust? Elective Learning for Distributed Gaussian Process Regression [3.5208783730894972]
  我々は、選択学習アルゴリズム、すなわち、事前認識された選択分散GP(Pri-GP)を開発する。 Pri-GPは、その信頼性に基づいて、近隣のエージェントから予測を選択的に要求する能力を持つエージェントに権限を与える。 プリGPフレームワーク内に予測誤差を確立し,予測の信頼性を確保する。
  論文  参考訳（メタデータ） (2024-02-05T13:52:56Z)
• Outage Performance and Novel Loss Function for an ML-Assisted Resource Allocation: An Exact Analytical Framework [2.1397655110395752]
  本稿では,MLベースのリソース割り当てシステムの停止確率を最小限に抑えるために,新たな損失関数を提案する。 MLバイナリ分類予測器は、確立された停止基準を満たすリソースの選択を支援する。
  論文  参考訳（メタデータ） (2023-05-16T18:23:52Z)
• Source-free Unsupervised Domain Adaptation for Blind Image Quality Assessment [20.28784839680503]
  既存の学習ベースのブラインド画像品質評価法(BIQA)は、大量の注釈付きトレーニングデータに大きく依存している。 本稿では,ソースフリーな非教師付きドメイン適応(SFUDA)への第一歩を,シンプルで効率的な方法で進める。 本稿では、BNアフィンパラメータのターゲット領域への適応を導くための、十分に設計された自己教師対象のグループを示す。
  論文  参考訳（メタデータ） (2022-07-17T09:42:36Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Iterative Feature Matching: Toward Provable Domain Generalization with Logarithmic Environments [55.24895403089543]
  ドメインの一般化は、限られた数のトレーニング環境からのデータで、目に見えないテスト環境でうまく機能することを目的としています。 我々は,O(logd_s)$環境のみを見た後に一般化する予測器を高確率で生成することを保証する反復的特徴マッチングに基づく新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-18T04:39:19Z)
• KL Guided Domain Adaptation [88.19298405363452]
  ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。 ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。 確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
  論文  参考訳（メタデータ） (2021-06-14T22:24:23Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。