論文の概要: Representation Bayesian Risk Decompositions and Multi-Source Domain Adaptation

• arxiv url: http://arxiv.org/abs/2004.10390v2
• Date: Thu, 4 Jun 2020 02:25:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-10 17:21:00.909590
• Title: Representation Bayesian Risk Decompositions and Multi-Source Domain Adaptation
• Title（参考訳）: 表象ベイズリスク分解とマルチソースドメイン適応
• Authors: Xi Wu, Yang Guo, Jiefeng Chen, Yingyu Liang, Somesh Jha, Prasad Chalasani
• Abstract要約: トレーニングとテストの分布が異なる表現学習(hypothesis class $mathcalH = MathcalFcircmathcalG$)を考える。 最近の研究は、ドメイン不変表現学習のヒントと失敗例を提供している。 我々は、よりきめ細かい説明を与え、潜在的な一般化問題を明確化するリスクの新たな分解を提供する。
• 参考スコア（独自算出の注目度）: 35.64386168553986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider representation learning (hypothesis class $\mathcal{H} = \mathcal{F}\circ\mathcal{G}$) where training and test distributions can be different. Recent studies provide hints and failure examples for domain invariant representation learning, a common approach for this problem, but the explanations provided are somewhat different and do not provide a unified picture. In this paper, we provide new decompositions of risk which give finer-grained explanations and clarify potential generalization issues. For Single-Source Domain Adaptation, we give an exact decomposition (an equality) of the target risk, via a natural hybrid argument, as sum of three factors: (1) source risk, (2) representation conditional label divergence, and (3) representation covariate shift. We derive a similar decomposition for the Multi-Source case. These decompositions reveal factors (2) and (3) as the precise reasons for failure to generalize. For example, we demonstrate that domain adversarial neural networks (DANN) attempt to regularize for (3) but miss (2), while a recent technique Invariant Risk Minimization (IRM) attempts to account for (2) but does not consider (3). We also verify our observations experimentally.
• Abstract（参考訳）: 表現学習(hypothesis class $\mathcal{H} = \mathcal{F}\circ\mathcal{G}$)を考える。 最近の研究では、この問題に対する一般的なアプローチであるドメイン不変表現学習のヒントと失敗例を提供しているが、説明は多少異なり、統一された図を提供していない。 本稿では,より詳細な説明と潜在的な一般化問題を明らかにするリスクの新たな分解について述べる。 単一ソース領域適応では、(1)ソースリスク、(2)条件付きラベルのばらつき、(3)表現共変量シフトの3つの要因の合計として、目標リスクの正確な分解(等価性)を自然なハイブリッド引数を介して与える。 マルチソースの場合も同様の分解を導出する。 これらの分解は、因子 (2) と (3) を一般化の失敗の正確な理由として明らかにする。 例えば、domain adversarial neural networks (dann) は (3) を正規化しようとするが、miss (2) を試みているのに対し、最近の technique invariant risk minimization (irm) は (2) を考慮しようとするが (3) を考慮しない。 また,実験により観察を検証した。

関連論文リスト

• Domain Adaptation with Cauchy-Schwarz Divergence [39.36943882475589]
  教師なし領域適応(UDA)問題にコーシー=シュワルツの発散を導入する。 CS発散は、Kulback-Leibler発散よりも理論上より厳密な一般化誤差を提供する。 距離距離測定および対角訓練に基づくUDAフレームワークにおいて,CSのばらつきが有用であることを示す。
  論文  参考訳（メタデータ） (2024-05-30T12:01:12Z)
• Proxy Methods for Domain Adaptation [78.03254010884783]
  プロキシ変数は、遅延変数を明示的にリカバリしたりモデル化したりすることなく、分散シフトへの適応を可能にする。 両設定の複雑な分散シフトに適応する2段階のカーネル推定手法を開発した。
  論文  参考訳（メタデータ） (2024-03-12T09:32:41Z)
• Equivalence Between SE(3) Equivariant Networks via Steerable Kernels and Group Convolution [90.67482899242093]
  近年, 入力の回転と変換において等価な3次元データに対して, ニューラルネットワークを設計するための幅広い手法が提案されている。 両手法とその等価性を詳細に解析し,その2つの構成をマルチビュー畳み込みネットワークに関連付ける。 また、同値原理から新しいTFN非線形性を導出し、実用的なベンチマークデータセット上でテストする。
  論文  参考訳（メタデータ） (2022-11-29T03:42:11Z)
• Domain-Specific Risk Minimization for Out-of-Distribution Generalization [104.17683265084757]
  まず、適応性ギャップを明示的に考慮した一般化境界を確立する。 本稿では,目標に対するより良い仮説の選択を導くための効果的なギャップ推定法を提案する。 もう1つの方法は、オンラインターゲットサンプルを用いてモデルパラメータを適応させることにより、ギャップを最小化することである。
  論文  参考訳（メタデータ） (2022-08-18T06:42:49Z)
• Information Processing Equalities and the Information-Risk Bridge [10.451984251615512]
  本稿では,統計実験のための2つの新しい情報尺度について紹介する。 我々は,情報量測定と統計的決定問題のベイズリスクとの簡単な幾何学的関係を導出する。
  論文  参考訳（メタデータ） (2022-07-25T08:54:36Z)
• Causal Discovery in Heterogeneous Environments Under the Sparse Mechanism Shift Hypothesis [7.895866278697778]
  機械学習のアプローチは、一般に独立で同一に分散されたデータ(すなわち、d)の仮定に依存する。 実際、この仮定は環境間の分散シフトによってほとんど常に破られる。 そこで我々は,様々な経験的推定器に適用可能なスコアベースアプローチであるメカニズムシフトスコア(MSS)を提案する。
  論文  参考訳（メタデータ） (2022-06-04T15:39:30Z)
• On Invariance Penalties for Risk Minimization [7.927206441149002]
  不変リスク最小化の原理は、Arjovskyらによって最初に提案された。 本稿では,データ表現のグラミアン行列を再検討することにより,別の不変ペナルティを提案する。 本手法は, 軽度非退化条件下での線形設定の不変表現を復元することが保証される。
  論文  参考訳（メタデータ） (2021-06-17T19:40:31Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)
• On Localized Discrepancy for Domain Adaptation [146.4580736832752]
  本稿では,局所化後の仮説空間上で定義される局所的不一致について検討する。 2つの領域を交換すると、それらの値が異なるため、非対称な移動困難が明らかになる。
  論文  参考訳（メタデータ） (2020-08-14T08:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。