論文の概要: Importance Weight Estimation and Generalization in Domain Adaptation under Label Shift

• arxiv url: http://arxiv.org/abs/2011.14251v1
• Date: Sun, 29 Nov 2020 01:37:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-07 09:00:17.417249
• Title: Importance Weight Estimation and Generalization in Domain Adaptation under Label Shift
• Title（参考訳）: ラベルシフト下の領域適応における重み付け量の推定と一般化
• Authors: Kamyar Azizzadenesheli
• Abstract要約: 本研究では,学習者が対象領域からラベル付きサンプルにアクセス可能な領域適応におけるラベルシフトの下での一般化について検討する。 ラベル上に定義されたヒルベルト空間間での新しい演算子学習手法を導入する。 本研究では、重要度重み付けされた実験的リスク最小化の一般化特性を示す。
• 参考スコア（独自算出の注目度）: 8.10196482629998
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study generalization under label shift in domain adaptation where the learner has access to labeled samples from the source domain but unlabeled samples from the target domain. Prior works deploy label classifiers and introduce various methods to estimate the importance weights from source to target domains. They use these estimates in importance weighted empirical risk minimization to learn classifiers. In this work, we theoretically compare the prior approaches, relax their strong assumptions, and generalize them from requiring label classifiers to general functions. This latter generalization improves the conditioning on the inverse operator of the induced inverse problems by allowing for broader exploitation of the spectrum of the forward operator. The prior works in the study of label shifts are limited to categorical label spaces. In this work, we propose a series of methods to estimate the importance weight functions for arbitrary normed label spaces. We introduce a new operator learning approach between Hilbert spaces defined on labels (rather than covariates) and show that it induces a perturbed inverse problem of compact operators. We propose a novel approach to solve the inverse problem in the presence of perturbation. This analysis has its own independent interest since such problems commonly arise in partial differential equations and reinforcement learning. For both categorical and general normed spaces, we provide concentration bounds for the proposed estimators. Using the existing generalization analysis based on Rademacher complexity, R\'enyi divergence, and MDFR lemma in Azizzadenesheli et al. [2019], we show the generalization property of the importance weighted empirical risk minimization on the unseen target domain.
• Abstract（参考訳）: 本研究では,学習者が対象領域からラベル付きサンプルにアクセス可能な領域適応におけるラベルシフトの下での一般化について検討する。 以前の作業ではラベル分類器をデプロイし、ソースからターゲットドメインへの重み付けを見積もるために様々な方法を導入する。 彼らはこれらの推定値を重み付けされた経験的リスク最小化で分類器を学習する。 本研究では,従来の手法を理論的に比較し,その強い仮定を緩和し,ラベル分類器から一般関数へ一般化する。 この後者の一般化は、フォワード作用素のスペクトルをより広く活用することで、誘導された逆問題に対する逆作用素の条件付けを改善する。 ラベルシフトの研究における先行研究は分類ラベル空間に限られている。 本研究では,任意のノルムラベル空間に対する重み関数の重要性を推定する一連の手法を提案する。 ラベル上で定義される(共変量ではなく)ヒルベルト空間間の新しい作用素学習手法を導入し、コンパクト作用素の摂動逆問題を引き起こすことを示す。 摂動の存在下で逆問題を解くための新しい手法を提案する。 このような問題は偏微分方程式や強化学習でよく発生するため、この解析は独自の関心を持っている。 圏と一般ノルム空間の両方に対して、提案された推定量に対して濃度境界を与える。 Rademacher複雑性に基づく既存の一般化解析、R'enyi divergence、MDFR lemma in Azizzadenesheli et al。 [2019]では、重要度重み付けされた実験的リスク最小化の一般化特性を示す。

関連論文リスト

• Generalization bounds for regression and classification on adaptive covering input domains [1.4141453107129398]
  一般化誤差の上限となる一般化境界に着目する。 分類タスクの場合、対象関数を1ホット、ピースワイド定数関数として扱い、誤差測定に0/1ロスを用いる。
  論文  参考訳（メタデータ） (2024-07-29T05:40:08Z)
• Probabilistic Test-Time Generalization by Variational Neighbor-Labeling [62.158807685159736]
  本稿では、ドメインの一般化を試み、モデルが未確認のターゲットドメインにデプロイされる前に、ソースドメインにのみトレーニングされる。 ソーストレーニングされたモデルをテスト時にターゲットドメインに一般化するための、ターゲットサンプルの擬似ラベル化の確率。 より堅牢な擬似ラベルを生成するために、近隣のターゲットサンプルの情報を含む変分隣接ラベル。
  論文  参考訳（メタデータ） (2023-07-08T18:58:08Z)
• Quantitatively Measuring and Contrastively Exploring Heterogeneity for Domain Generalization [38.50749918578154]
  ドメイン一般化タスクのための異種性に基づく二段階コントラスト学習(HTCL)を提案する。 第一段階では、最も異質な分割パターンをコントラストメトリックで生成する。 第2段階では、ドメインやクラスによって示唆される安定した関係を持つペアを再構築することで、実践的なコントラスト学習を採用する。
  論文  参考訳（メタデータ） (2023-05-25T09:42:43Z)
• Label Alignment Regularization for Distribution Shift [63.228879525056904]
  最近の研究は、教師あり学習におけるラベルアライメント特性(LAP)を強調している。 対象領域の予測と最上位特異ベクトルとのアライメントを促進する非教師なし領域適応の正規化法を提案する。 MNIST-USPSドメイン適応や言語間感情分析などのよく知られたタスクにおいて、ドメイン適応ベースラインよりもパフォーマンスが向上したことを報告した。
  論文  参考訳（メタデータ） (2022-11-27T22:54:48Z)
• ER: Equivariance Regularizer for Knowledge Graph Completion [107.51609402963072]
  我々は、新しい正規化器、すなわち等分散正規化器(ER)を提案する。 ERは、頭と尾のエンティティ間の意味的等価性を利用することで、モデルの一般化能力を高めることができる。 実験結果から,最先端関係予測法よりも明確かつ実質的な改善が示された。
  論文  参考訳（メタデータ） (2022-06-24T08:18:05Z)
• Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
  多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。 ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。 分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
  論文  参考訳（メタデータ） (2020-12-19T15:24:04Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Unsupervised Domain Adaptation via Discriminative Manifold Propagation [26.23123292060868]
  教師なしドメイン適応は、ラベル付きソースドメインからラベルなしターゲットドメインへのリッチな情報を活用するのに効果的である。 提案手法は,バニラおよび部分的設定を含む一連のドメイン適応問題に対処するために利用できる。
  論文  参考訳（メタデータ） (2020-08-23T12:31:37Z)
• Self-training Avoids Using Spurious Features Under Domain Shift [54.794607791641745]
  教師なし領域適応においては、条件付きエントロピー最小化と擬似ラベル処理は、既存の理論で解析されたものよりもドメインシフトがはるかに大きい場合であっても行われる。 ドメインシフトが大きくなる可能性のある特定の設定を特定・分析するが、特定のスパイラルな特徴はソースドメインのラベルと相関するが、ターゲットの独立なラベルである。
  論文  参考訳（メタデータ） (2020-06-17T17:51:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。