論文の概要: Mixture Weight Estimation and Model Prediction in Multi-source
Multi-target Domain Adaptation
- arxiv url: http://arxiv.org/abs/2309.10736v1
- Date: Tue, 19 Sep 2023 16:29:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 13:33:06.099476
- Title: Mixture Weight Estimation and Model Prediction in Multi-source
Multi-target Domain Adaptation
- Title（参考訳）: 多元多目的ドメイン適応における混合重み推定とモデル予測
- Authors: Yuyang Deng, Ilja Kuzborskij, Mehrdad Mahdavi
- Abstract要約: 複数の異種源からモデルを学習する問題を考察する。
学習者の目標は、これらのデータソースを目標分布を意識した方法で混ぜることである。
- 参考スコア（独自算出の注目度）: 22.933419188759707
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider the problem of learning a model from multiple heterogeneous
sources with the goal of performing well on a new target distribution. The goal
of learner is to mix these data sources in a target-distribution aware way and
simultaneously minimize the empirical risk on the mixed source. The literature
has made some tangible advancements in establishing theory of learning on
mixture domain. However, there are still two unsolved problems. Firstly, how to
estimate the optimal mixture of sources, given a target domain; Secondly, when
there are numerous target domains, how to solve empirical risk minimization
(ERM) for each target using possibly unique mixture of data sources in a
computationally efficient manner. In this paper we address both problems
efficiently and with guarantees. We cast the first problem, mixture weight
estimation, as a convex-nonconcave compositional minimax problem, and propose
an efficient stochastic algorithm with provable stationarity guarantees. Next,
for the second problem, we identify that for certain regimes, solving ERM for
each target domain individually can be avoided, and instead parameters for a
target optimal model can be viewed as a non-linear function on a space of the
mixture coefficients. Building upon this, we show that in the offline setting,
a GD-trained overparameterized neural network can provably learn such function
to predict the model of target domain instead of solving a designated ERM
problem. Finally, we also consider an online setting and propose a label
efficient online algorithm, which predicts parameters for new targets given an
arbitrary sequence of mixing coefficients, while enjoying regret guarantees.
- Abstract（参考訳）: 複数の異種源からモデルを学習することの問題点を,新たなターゲット分布の精度向上を目的として検討する。
学習者の目標は、これらのデータソースを目標分散認識方法で混合し、混合ソースに対する経験的リスクを同時に最小化することである。
この文献は混合領域での学習理論の確立に顕著な進展をもたらした。
しかし、未解決の問題が2つある。
第二に、複数のターゲットドメインが存在する場合、計算的に効率的な方法で、データソースの潜在的にユニークな混合を用いて、各ターゲットに対する経験的リスク最小化(ERM)を解決する方法である。
本稿では, 両問題を効率よく, 保証とともに解決する。
最初の問題である混合重み推定(mixed weight estimation)を凸非凸合成ミニマックス問題として定性保証のある効率的な確率的アルゴリズムを提案する。
次に、2つ目の問題として、特定の状態において、それぞれの対象領域に対して個別にERMを解くことは避けられ、代わりに、対象の最適モデルのパラメータを混合係数の空間上の非線形関数と見なすことができる。
これに基づいて、オフライン環境では、GDトレーニングされた過パラメータニューラルネットワークが、指定されたERM問題を解決する代わりに、ターゲットドメインのモデルを予測するために、そのような機能を確実に学習できることが示される。
最後に, 任意の混合係数列を与えられた新しいターゲットに対するパラメータを予測し, 後悔の保証を享受する, ラベル効率の良いオンラインアルゴリズムを提案する。
関連論文リスト
- Distributed Personalized Empirical Risk Minimization [19.087524494290676]
本稿では、異種データからの学習を容易にするために、新たなパラダイムであるPersonalized Empirical Risk Minimization(PERM)を提案する。
本稿では,標準モデル平均化をモデルシャッフルに置き換えた分散アルゴリズムを提案し,すべてのデバイスに対してPERM目標を同時に最適化する。
論文 参考訳（メタデータ） (2023-10-26T20:07:33Z) - Threshold-aware Learning to Generate Feasible Solutions for Mixed
Integer Programs [5.28005598366543]
ニューラルダイビング(ND)は、混合プログラム(MIP)における部分的な離散変数代入を生成する学習ベースのアプローチの1つである。
カバー範囲を最適化するためのポストホック法と学習に基づくアプローチを導入する。
実験結果から、ニューラルネットワークを学習して高品質な実現可能なソリューションを見つけるためのカバレッジを推定することで、NeurIPS ML4COデータセットの最先端のパフォーマンスが達成されることが示された。
論文 参考訳（メタデータ） (2023-08-01T07:03:16Z) - Efficient first-order predictor-corrector multiple objective
optimization for fair misinformation detection [5.139559672771439]
多重目的最適化(MOO)は、複数の競合する目的を同時に最適化することを目的としており、機械学習において重要な応用を見出した。
本稿では,線形にしかスケールしないガウスニュートン近似を提案し,イテレーション毎に一階内積しか必要としない。
このイノベーションは、大規模ネットワークで予測器のコレクタを可能にする。
論文 参考訳（メタデータ） (2022-09-15T12:32:15Z) - Domain-Specific Risk Minimization for Out-of-Distribution Generalization [104.17683265084757]
まず、適応性ギャップを明示的に考慮した一般化境界を確立する。
本稿では,目標に対するより良い仮説の選択を導くための効果的なギャップ推定法を提案する。
もう1つの方法は、オンラインターゲットサンプルを用いてモデルパラメータを適応させることにより、ギャップを最小化することである。
論文 参考訳（メタデータ） (2022-08-18T06:42:49Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - KL Guided Domain Adaptation [88.19298405363452]
ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。
ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。
確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
論文 参考訳（メタデータ） (2021-06-14T22:24:23Z) - Multi-resource allocation for federated settings: A non-homogeneous
Markov chain model [2.552459629685159]
連合設定において、エージェントは中央エージェントまたはサーバと協調し、エージェントが互いに情報を共有しない最適化問題を解決する。
本稿では,アジェント間通信のない単一共有リソースのフェデレーション設定における最適化問題のクラスを解決するために,AIMDアルゴリズムを簡単な方法で変更する方法について述べる。
シングルリソースのアルゴリズムを、スマートシティや共有エコノミー、その他多くのアプリケーションに出現する複数の異種共有リソースに拡張する。
論文 参考訳（メタデータ） (2021-04-26T19:10:00Z) - Distill and Fine-tune: Effective Adaptation from a Black-box Source
Model [138.12678159620248]
Unsupervised Domain Adapt (UDA) は、既存のラベル付きデータセット (source) の知識を新しいラベル付きデータセット (target) に転送することを目的としています。
Distill and Fine-tune (Dis-tune) という新しい二段階適応フレームワークを提案する。
論文 参考訳（メタデータ） (2021-04-04T05:29:05Z) - Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。
このアプローチは多くの実装と最適化の課題をもたらします。
提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
論文 参考訳（メタデータ） (2021-03-18T14:26:26Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳（メタデータ） (2020-07-07T18:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。