論文の概要: Distributionally Robust Learning for Multi-source Unsupervised Domain Adaptation
- arxiv url: http://arxiv.org/abs/2309.02211v5
- Date: Mon, 24 Mar 2025 03:01:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-25 11:09:41.343774
- Title: Distributionally Robust Learning for Multi-source Unsupervised Domain Adaptation
- Title（参考訳）: マルチソース非教師付きドメイン適応のための分布ロバスト学習
- Authors: Zhenyu Wang, Peter Bühlmann, Zijian Guo,
- Abstract要約: 対象ドメインの分布がソースドメインの分布と異なる場合、経験的リスクはよく機能しない。
我々は、複数のソースドメインからのラベル付きデータと対象ドメインからのラベルなしデータを活用する、教師なしのドメイン適応アプローチを開発する。
- 参考スコア（独自算出の注目度）: 9.359714425373616
- License:
- Abstract: Empirical risk minimization often performs poorly when the distribution of the target domain differs from those of source domains. To address such potential distribution shifts, we develop an unsupervised domain adaptation approach that leverages labeled data from multiple source domains and unlabeled data from the target domain. We introduce a distributionally robust model that optimizes an adversarial reward based on the explained variance across a class of target distributions, ensuring generalization to the target domain. We show that the proposed robust model is a weighted average of conditional outcome models from source domains. This formulation allows us to compute the robust model through the aggregation of source models, which can be estimated using various machine learning algorithms of the users' choice, such as random forests, boosting, and neural networks. Additionally, we introduce a bias-correction step to obtain a more accurate aggregation weight, which is effective for various machine learning algorithms. Our framework can be interpreted as a distributionally robust federated learning approach that satisfies privacy constraints while providing insights into the importance of each source for prediction on the target domain. The performance of our method is evaluated on both simulated and real data.
- Abstract（参考訳）: 実験的リスク最小化は、ターゲットドメインの分布がソースドメインの分布と異なる場合、しばしば性能が低下する。
このような潜在的分散シフトに対処するために、複数のソースドメインからのラベル付きデータと対象ドメインからのラベルなしデータを活用する教師なし領域適応手法を開発した。
対象分布のクラス間で説明された分散に基づいて、敵の報酬を最適化し、対象領域への一般化を保証する分布ロバストモデルを導入する。
提案したロバストモデルは,ソースドメインからの条件付き結果モデルの重み付け平均であることを示す。
この定式化により、ランダムフォレスト、ブースティング、ニューラルネットワークなど、ユーザの選択したさまざまな機械学習アルゴリズムを用いて推定できるソースモデルの集約を通じて、ロバストモデルを計算することができる。
さらに、より正確な集約重みを得るためのバイアス補正ステップを導入し、機械学習アルゴリズムに有効である。
当社のフレームワークは,プライバシ制約を満たす分散的堅牢なフェデレーション学習アプローチとして解釈できると同時に,対象ドメイン上での予測において,各ソースの重要性に関する洞察を提供する。
本手法の性能はシミュレーションデータと実データの両方で評価する。
関連論文リスト
- Ranking and Combining Latent Structured Predictive Scores without Labeled Data [2.5064967708371553]
本稿では,新しい教師なしアンサンブル学習モデル(SUEL)を提案する。
連続的な予測スコアを持つ予測器のセット間の依存関係を利用して、ラベル付きデータなしで予測器をランク付けし、それらをアンサンブルされたスコアに重み付けする。
提案手法の有効性は、シミュレーション研究とリスク遺伝子発見の現実的応用の両方を通じて厳密に評価されている。
論文 参考訳（メタデータ） (2024-08-14T20:14:42Z) - Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳（メタデータ） (2023-09-02T01:27:53Z) - Confidence estimation of classification based on the distribution of the
neural network output layer [4.529188601556233]
現実の世界における予測モデルの適用を防ぐための最も一般的な問題の1つは一般化の欠如である。
ニューラルネットワーク分類モデルにより生成された特定の予測の不確かさを推定する新しい手法を提案する。
提案手法は,この予測に対応するロジット値の分布に基づいて,特定の予測の信頼性を推定する。
論文 参考訳（メタデータ） (2022-10-14T12:32:50Z) - Aggregating distribution forecasts from deep ensembles [0.0]
本稿では,ディープアンサンブルのための一般的な量子集約フレームワークを提案する。
深層アンサンブルからの予測分布を組み合わせることで,予測性能を大幅に向上できることを示す。
論文 参考訳（メタデータ） (2022-04-05T15:42:51Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Test-time Collective Prediction [73.74982509510961]
マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。
エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。
我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
論文 参考訳（メタデータ） (2021-06-22T18:29:58Z) - Robustness via Cross-Domain Ensembles [0.5801044612920816]
本稿では,ニューラルネットワークの予測をトレーニングデータ分布からのシフトに対して頑健にする手法を提案する。
提案手法は,多種多様なキューを用いて予測を行い,それらを1つの強い予測にまとめる手法である。
論文 参考訳（メタデータ） (2021-03-19T17:28:03Z) - Uncertainty Estimation and Sample Selection for Crowd Counting [87.29137075538213]
予測された密度マップに関連する不確実性値とともに,群衆密度マップを予測できる画像に基づく群集カウント手法を提案する。
既存のクラウドカウント手法に比べて,提案手法の重要な利点は,予測の不確かさを定量化できることである。
サンプル選択戦略は、ソースドメイン上でトレーニングされたカウントネットワークをターゲットドメインに適応させるために必要なラベル付きデータの量を劇的に削減することを示す。
論文 参考訳（メタデータ） (2020-09-30T03:40:07Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z) - Scalable Approximate Inference and Some Applications [2.6541211006790983]
本稿では,近似推論のための新しいフレームワークを提案する。
提案する4つのアルゴリズムは,Steinの手法の最近の計算進歩に動機付けられている。
シミュレーションおよび実データを用いた結果から,アルゴリズムの統計的効率と適用性を示す。
論文 参考訳（メタデータ） (2020-03-07T04:33:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。