論文の概要: Gradual Domain Adaptation via Manifold-Constrained Distributionally Robust Optimization
- arxiv url: http://arxiv.org/abs/2410.14061v1
- Date: Thu, 17 Oct 2024 22:07:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-21 14:26:50.465990
- Title: Gradual Domain Adaptation via Manifold-Constrained Distributionally Robust Optimization
- Title（参考訳）: Manifold-Constrained Distributionally Robust Optimization による時空間適応
- Authors: Amir Hossein Saberi, Amir Najafi, Ala Emrani, Amin Behjati, Yasaman Zolfimoselo, Mahdi Shadrooy, Abolfazl Motahari, Babak H. Khalaj,
- Abstract要約: 本稿では、多様体制約データ分布のクラスにおける段階的領域適応の課題に対処する。
本稿では,適応的なワッサースタイン半径を持つ分布ロバスト最適化(DRO)を基礎とした手法を提案する。
我々のバウンダリは、新たに導入されたそれとの互換性尺度に依存しており、シーケンスに沿ったエラー伝搬のダイナミクスを完全に特徴付けています。
- 参考スコア（独自算出の注目度）: 0.4732176352681218
- License:
- Abstract: The aim of this paper is to address the challenge of gradual domain adaptation within a class of manifold-constrained data distributions. In particular, we consider a sequence of $T\ge2$ data distributions $P_1,\ldots,P_T$ undergoing a gradual shift, where each pair of consecutive measures $P_i,P_{i+1}$ are close to each other in Wasserstein distance. We have a supervised dataset of size $n$ sampled from $P_0$, while for the subsequent distributions in the sequence, only unlabeled i.i.d. samples are available. Moreover, we assume that all distributions exhibit a known favorable attribute, such as (but not limited to) having intra-class soft/hard margins. In this context, we propose a methodology rooted in Distributionally Robust Optimization (DRO) with an adaptive Wasserstein radius. We theoretically show that this method guarantees the classification error across all $P_i$s can be suitably bounded. Our bounds rely on a newly introduced {\it {compatibility}} measure, which fully characterizes the error propagation dynamics along the sequence. Specifically, for inadequately constrained distributions, the error can exponentially escalate as we progress through the gradual shifts. Conversely, for appropriately constrained distributions, the error can be demonstrated to be linear or even entirely eradicated. We have substantiated our theoretical findings through several experimental results.
- Abstract（参考訳）: 本研究の目的は,多様体制約データ分布のクラスにおける段階的領域適応の課題に対処することである。
特に、各連続測度$P_i,P_{i+1}$のペアがワッサーシュタイン距離において互いに近接しているような、段階的シフト中の$T\ge2$のデータ分布$P_1,\ldots,P_T$の列を考える。
我々は、$P_0$からサンプリングされた$n$の大きさのデータセットを持っているが、その後の配列の分布については、未ラベルのi.d.サンプルのみが利用可能である。
さらに、全ての分布は、クラス内ソフト/ハードマージンを持つ(ただし制限されない)ような、既知の望ましい特性を示すと仮定する。
本稿では,適応的なワッサーシュタイン半径を持つ分布ロバスト最適化(DRO)を基礎とした手法を提案する。
理論的には、この手法はすべての$P_i$sの分類誤差を適宜有界化できることを保証している。
我々の境界は新しく導入された {\it {compatibility}}測度に依存する。
具体的には、不適切に制約された分布に対して、段階的なシフトが進むにつれて、誤差は指数関数的にエスカレートされる。
逆に、適切に制約された分布に対して、誤差は線形あるいは完全に消去されることを示すことができる。
我々はいくつかの実験結果を通じて理論的な知見を裏付けた。
関連論文リスト
- Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。
我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
論文 参考訳（メタデータ） (2024-08-25T10:28:31Z) - Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳（メタデータ） (2024-05-29T01:32:17Z) - Out-Of-Domain Unlabeled Data Improves Generalization [0.7589678255312519]
本稿では,ラベルなしデータを半教師付き分類問題に組み込む新しい枠組みを提案する。
ラベルのないサンプルは一般化ギャップを狭めるために利用できることを示す。
我々は、さまざまな合成および実世界のデータセットで実施された実験を通じて、我々の主張を検証する。
論文 参考訳（メタデータ） (2023-09-29T02:00:03Z) - Nearly $d$-Linear Convergence Bounds for Diffusion Models via Stochastic
Localization [40.808942894229325]
データ次元において線形である第1収束境界を提供する。
拡散モデルは任意の分布を近似するために少なくとも$tilde O(fracd log2(1/delta)varepsilon2)$ stepsを必要とすることを示す。
論文 参考訳（メタデータ） (2023-08-07T16:01:14Z) - Tackling Combinatorial Distribution Shift: A Matrix Completion
Perspective [42.85196869759168]
a) テストランダムデータおよびトレーニングランダムデータの下で、ラベル$z$は、(x,y)$, (b) トレーニングディストリビューションは、別々に$x$と$y$の限界分布をカバーしているが、(c) テストディストリビューションは、トレーニングディストリビューションがカバーしていない製品ディストリビューションの例を含む。
論文 参考訳（メタデータ） (2023-07-12T21:17:47Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - On counterfactual inference with unobserved confounding [36.18241676876348]
独立だが不均一な単位を持つ観測的研究を前提として、各単位の反実分布を学習することが目的である。
我々は、すべての$n$サンプルをプールして、すべての$n$パラメータベクトルを共同で学習する凸目的を導入する。
対数的ソボレフ不等式を満たすためにコンパクトに支持された分布に対して十分な条件を導出する。
論文 参考訳（メタデータ） (2022-11-14T04:14:37Z) - Robust Learning of Optimal Auctions [84.13356290199603]
本研究では、入札者の評価値のサンプルを逆向きに破損させたり、逆向きに歪んだ分布から引き出すことができる場合に、サンプルから収益-最適マルチバイダオークションを学習する問題について検討する。
我々は,コルモゴロフ-スミルノフ距離における元の分布に対して$alpha$-closeの「全ての真の分布」に対して,収入がほぼ同時に最適であるメカニズムを学習できる新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-07-13T17:37:21Z) - Convergence Rates of Stochastic Gradient Descent under Infinite Noise
Variance [14.06947898164194]
ヘビーテールは様々なシナリオで勾配降下 (sgd) で現れる。
SGDの収束保証は、潜在的に無限のばらつきを持つ状態依存性および重尾ノイズ下で提供します。
その結果,SGDは無限に分散した重尾雑音下であっても,地球最適値に収束できることが示された。
論文 参考訳（メタデータ） (2021-02-20T13:45:11Z) - Linear Optimal Transport Embedding: Provable Wasserstein classification
for certain rigid transformations and perturbations [79.23797234241471]
分布の区別は多くの科学分野において重要な問題である。
線形最適輸送(LOT)は分布の空間を$L2$-スペースに埋め込む。
複数の分布分類問題に対するLOTの利点を実証する。
論文 参考訳（メタデータ） (2020-08-20T19:09:33Z) - Non-Convex SGD Learns Halfspaces with Adversarial Label Noise [50.659479930171585]
分布固有モデルにおいて,同種半空間の学習を代理する問題に対する解を示す。
任意の凸分布において、誤分類誤差は本質的にハーフスペースの誤分類誤差につながることを示す。
論文 参考訳（メタデータ） (2020-06-11T18:55:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。