論文の概要: Domain Generalisation via Risk Distribution Matching

• arxiv url: http://arxiv.org/abs/2310.18598v1
• Date: Sat, 28 Oct 2023 05:23:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 17:43:30.939322
• Title: Domain Generalisation via Risk Distribution Matching
• Title（参考訳）: リスク分散マッチングによるドメインの一般化
• Authors: Toan Nguyen, Kien Do, Bao Duong, Thin Nguyen
• Abstract要約: 本稿では,リスク分布を利用した領域一般化(DG)手法を提案する。 テストでは、同様の、あるいは潜在的に大きな、リスク分布のばらつきを観察することができる。 リスク分散マッチング(RDM)は最先端DG法よりも優れた一般化能力を示す。
• 参考スコア（独自算出の注目度）: 17.334794920092577
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel approach for domain generalisation (DG) leveraging risk distributions to characterise domains, thereby achieving domain invariance. In our findings, risk distributions effectively highlight differences between training domains and reveal their inherent complexities. In testing, we may observe similar, or potentially intensifying in magnitude, divergences between risk distributions. Hence, we propose a compelling proposition: Minimising the divergences between risk distributions across training domains leads to robust invariance for DG. The key rationale behind this concept is that a model, trained on domain-invariant or stable features, may consistently produce similar risk distributions across various domains. Building upon this idea, we propose Risk Distribution Matching (RDM). Using the maximum mean discrepancy (MMD) distance, RDM aims to minimise the variance of risk distributions across training domains. However, when the number of domains increases, the direct optimisation of variance leads to linear growth in MMD computations, resulting in inefficiency. Instead, we propose an approximation that requires only one MMD computation, by aligning just two distributions: that of the worst-case domain and the aggregated distribution from all domains. Notably, this method empirically outperforms optimising distributional variance while being computationally more efficient. Unlike conventional DG matching algorithms, RDM stands out for its enhanced efficacy by concentrating on scalar risk distributions, sidestepping the pitfalls of high-dimensional challenges seen in feature or gradient matching. Our extensive experiments on standard benchmark datasets demonstrate that RDM shows superior generalisation capability over state-of-the-art DG methods.
• Abstract（参考訳）: 本稿では,リスク分布を利用してドメインを特徴付け,ドメイン不変性を実現する新しい手法を提案する。 その結果,リスク分布はトレーニング領域間の差異を効果的に強調し,その複雑さを明らかにした。 テストでは、同様の、あるいは潜在的に大きな、リスク分布のばらつきを観察することができる。 したがって,訓練領域間のリスク分布の相違を最小限に抑えることは,dgに対する頑健な不変性をもたらすという説得力のある提案を提案する。 この概念の背後にある重要な根拠は、ドメイン不変あるいは安定な特徴に基づいて訓練されたモデルが、一貫して様々なドメインにまたがる同様のリスク分布を生み出す可能性があることである。 この考え方に基づいて,リスク分散マッチング(RDM)を提案する。 RDMは、最大平均誤差距離(MMD)を用いて、トレーニング領域間のリスク分布のばらつきを最小限にすることを目的としている。 しかし、ドメイン数が増加すると、分散の直接最適化はMDD計算の線形成長をもたらし、効率が悪くなる。 代わりに、最悪の場合領域とすべての領域からの集約分布の2つの分布を整合させることで、1mmd計算のみを必要とする近似を提案する。 特に、この手法は計算効率が向上しつつ、分布分散の最適化を経験的に上回っている。 従来のDGマッチングアルゴリズムとは異なり、RDMはスカラーリスク分布に集中し、特徴マッチングや勾配マッチングで見られる高次元課題の落とし穴を埋めることにより、その有効性を向上している。 標準ベンチマークデータセットに対する広範な実験により、RDMは最先端DG法よりも優れた一般化能力を示すことが示された。

関連論文リスト

• Domain Agnostic Conditional Invariant Predictions for Domain Generalization [20.964740750976667]
  本稿では,識別リスク最小化(DRM)理論とそれに対応するアルゴリズムを提案する。 DRM理論では、ソース領域全体とそのサブセット間の予測分布の相違が、不変な特徴の獲得に寄与することを証明する。 我々は,複数の実世界のデータセット上での領域一般化手法に対するアルゴリズムの評価を行った。
  論文  参考訳（メタデータ） (2024-06-09T02:38:52Z)
• Moderately Distributional Exploration for Domain Generalization [32.57429594854056]
  MODEは、未知のターゲット領域上で、証明可能な一般化性能を持つモデルを提供することができることを示す。 実験結果から,MODEは最先端のベースラインに比べて競争性能が高いことがわかった。
  論文  参考訳（メタデータ） (2023-04-27T06:50:15Z)
• Distributionally Robust Domain Adaptation [12.02023514105999]
  ドメイン適応(DA: Domain Adaptation)は、ソースドメインとターゲットドメインをまたいだ学習モデルに適合する可能性から、最近大きな注目を集めている。 本稿では,分散ロバストな領域適応手法DRDAを提案する。
  論文  参考訳（メタデータ） (2022-10-30T17:29:22Z)
• Domain-Specific Risk Minimization for Out-of-Distribution Generalization [104.17683265084757]
  まず、適応性ギャップを明示的に考慮した一般化境界を確立する。 本稿では,目標に対するより良い仮説の選択を導くための効果的なギャップ推定法を提案する。 もう1つの方法は、オンラインターゲットサンプルを用いてモデルパラメータを適応させることにより、ギャップを最小化することである。
  論文  参考訳（メタデータ） (2022-08-18T06:42:49Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach [150.8920602230832]
  ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。 特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。 提案手法は下流タスクに有利な校正不確実性を生成する。
  論文  参考訳（メタデータ） (2020-10-08T02:10:54Z)
• Dual Distribution Alignment Network for Generalizable Person Re-Identification [174.36157174951603]
  ドメイン一般化(DG)は、人物再識別(Re-ID)を扱うための有望なソリューションとして機能する 本稿では、複数のソースドメインの分布を選択的に整列させることにより、この問題に対処するDual Distribution Alignment Network(DDAN)を提案する。 大規模なDomain Generalization Re-ID(DG Re-ID)ベンチマークでDDANを評価した。
  論文  参考訳（メタデータ） (2020-07-27T00:08:07Z)
• Few-shot Domain Adaptation by Causal Mechanism Transfer [107.08605582020866]
  我々は,少数のラベル付き対象ドメインデータと多数のラベル付きソースドメインデータしか利用できないレグレッション問題に対して,数ショットの教師付きドメイン適応(DA)について検討する。 現在のDA法の多くは、パラメータ化された分布シフトまたは明らかな分布類似性に基づく転送仮定に基づいている。 本稿では,データ生成機構がドメイン間で不変であるメタ分散シナリオであるメカニズム転送を提案する。
  論文  参考訳（メタデータ） (2020-02-10T02:16:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。