論文の概要: On the Hardness of Unsupervised Domain Adaptation: Optimal Learners and Information-Theoretic Perspective

• arxiv url: http://arxiv.org/abs/2507.06552v1
• Date: Wed, 09 Jul 2025 05:11:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-10 17:37:43.477587
• Title: On the Hardness of Unsupervised Domain Adaptation: Optimal Learners and Information-Theoretic Perspective
• Title（参考訳）: 教師なしドメイン適応の難しさについて-最適学習者と情報理論の視点から
• Authors: Zhiyi Dong, Zixuan Liu, Yongyi Mao,
• Abstract要約: PTLU(Posterior Target Label Uncertainty)は、ターゲットドメイン内の予測ラベルのエントロピーである。 PTLUは学習者のリスクを低く抑えるのに役立つことを示す。
• 参考スコア（独自算出の注目度）: 27.89548559281604
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper studies the hardness of unsupervised domain adaptation (UDA) under covariate shift. We model the uncertainty that the learner faces by a distribution $\pi$ in the ground-truth triples $(p, q, f)$ -- which we call a UDA class -- where $(p, q)$ is the source -- target distribution pair and $f$ is the classifier. We define the performance of a learner as the overall target domain risk, averaged over the randomness of the ground-truth triple. This formulation couples the source distribution, the target distribution and the classifier in the ground truth, and deviates from the classical worst-case analyses, which pessimistically emphasize the impact of hard but rare UDA instances. In this formulation, we precisely characterize the optimal learner. The performance of the optimal learner then allows us to define the learning difficulty for the UDA class and for the observed sample. To quantify this difficulty, we introduce an information-theoretic quantity -- Posterior Target Label Uncertainty (PTLU) -- along with its empirical estimate (EPTLU) from the sample , which capture the uncertainty in the prediction for the target domain. Briefly, PTLU is the entropy of the predicted label in the target domain under the posterior distribution of ground-truth classifier given the observed source and target samples. By proving that such a quantity serves to lower-bound the risk of any learner, we suggest that these quantities can be used as proxies for evaluating the hardness of UDA learning. We provide several examples to demonstrate the advantage of PTLU, relative to the existing measures, in evaluating the difficulty of UDA learning.
• Abstract（参考訳）: 本稿では,非教師なし領域適応(UDA)の共変量シフト下での硬さについて検討する。 学習者が向き合う分布 $\pi$ in the ground-truth triples $(p, q, f)$ -- ここでは、UDAクラスと呼ぶ -- ここで、$(p, q)$はソースであり、$f$はターゲット分布対であり、$f$はクラス化子である。 本研究では,学習者の性能を,三重項のランダム性から平均化した全体目標領域のリスクとして定義する。 この定式化は、ソース分布、ターゲット分布、および基底真理における分類器を結合し、古典的な最悪のケース分析から逸脱する。 この定式化では,最適学習者を正確に特徴付ける。 最適学習者の性能は、UDAクラスと観察されたサンプルの学習困難度を定義できる。 この難しさを定量化するために,情報理論量であるPTLU(Posterior Target Label Uncertainity)とサンプルからのEPTLU(EPTLU)を導入し,対象領域の予測の不確実性を捉える。 簡単に言えば、PTLUは観測されたソースと対象サンプルから得られる接地トラス分類器の後方分布の下で、ターゲット領域の予測ラベルのエントロピーである。 このような量は、学習者のリスクを低く抑えるのに役立つことを証明することによって、これらの量は、UDA学習の硬さを評価するためのプロキシとして使用できることを示唆する。 UDA学習の難易度を評価する上で,既存の尺度と比較してPTLUの利点を示す例として,いくつかの例を挙げる。

関連論文リスト

• Distributionally robust risk evaluation with an isotonic constraint [20.74502777102024]
  分布的に堅牢な学習は、不確実な分布の集合内で最悪のケースの統計性能を制御することを目的としている。 本稿では,未知のターゲット分布が推定値と異なる方法に関する事前情報を組み込んだDRLの形状制約手法を提案する。 合成データと実データの両方に関する実証研究は、提案した形状制約手法の精度の向上を実証している。
  論文  参考訳（メタデータ） (2024-07-09T13:56:34Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• KL Guided Domain Adaptation [88.19298405363452]
  ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。 ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。 確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
  論文  参考訳（メタデータ） (2021-06-14T22:24:23Z)
• Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach [150.8920602230832]
  ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。 特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。 提案手法は下流タスクに有利な校正不確実性を生成する。
  論文  参考訳（メタデータ） (2020-10-08T02:10:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。