論文の概要: Understanding Gradual Domain Adaptation: Improved Analysis, Optimal Path
and Beyond
- arxiv url: http://arxiv.org/abs/2204.08200v1
- Date: Mon, 18 Apr 2022 07:39:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-19 14:05:32.508707
- Title: Understanding Gradual Domain Adaptation: Improved Analysis, Optimal Path
and Beyond
- Title（参考訳）: 経時的ドメイン適応を理解する: 解析、最適経路およびそれ以上の改善
- Authors: Haoxiang Wang, Bo Li, Han Zhao
- Abstract要約: グラデーショナルドメイン適応(GDA)は、ソースとターゲットをブリッジする未ラベルの中間ドメインのパスを$(T-1)と仮定する。
我々は、$widetildeOleft(varepsilon_0+Oleft(sqrtlog(T)/nright)$, $Delta$が連続ドメイン間の平均分布距離であることを示す。
- 参考スコア（独自算出の注目度）: 20.518134448156744
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The vast majority of existing algorithms for unsupervised domain adaptation
(UDA) focus on adapting from a labeled source domain to an unlabeled target
domain directly in a one-off way. Gradual domain adaptation (GDA), on the other
hand, assumes a path of $(T-1)$ unlabeled intermediate domains bridging the
source and target, and aims to provide better generalization in the target
domain by leveraging the intermediate ones. Under certain assumptions, Kumar et
al. (2020) proposed a simple algorithm, Gradual Self-Training, along with a
generalization bound in the order of $e^{O(T)}
\left(\varepsilon_0+O\left(\sqrt{log(T)/n}\right)\right)$ for the target domain
error, where $\varepsilon_0$ is the source domain error and $n$ is the data
size of each domain. Due to the exponential factor, this upper bound becomes
vacuous when $T$ is only moderately large. In this work, we analyze gradual
self-training under more general and relaxed assumptions, and prove a
significantly improved generalization bound as
$\widetilde{O}\left(\varepsilon_0 + T\Delta + T/\sqrt{n} + 1/\sqrt{nT}\right)$,
where $\Delta$ is the average distributional distance between consecutive
domains. Compared with the existing bound with an exponential dependency on $T$
as a multiplicative factor, our bound only depends on $T$ linearly and
additively. Perhaps more interestingly, our result implies the existence of an
optimal choice of $T$ that minimizes the generalization error, and it also
naturally suggests an optimal way to construct the path of intermediate domains
so as to minimize the accumulative path length $T\Delta$ between the source and
target. To corroborate the implications of our theory, we examine gradual
self-training on multiple semi-synthetic and real datasets, which confirms our
findings. We believe our insights provide a path forward toward the design of
future GDA algorithms.
- Abstract（参考訳）: 教師なしドメイン適応(UDA)のための既存のアルゴリズムの大半は、ラベル付きソースドメインからラベルなしターゲットドメインへの直接的な適応に焦点を当てている。
一方、段階的ドメイン適応(gda)は、ソースとターゲットを橋渡しする$(t-1)$の中間ドメインの経路を仮定し、中間ドメインを活用することで、ターゲットドメインのより良い一般化を提供することを目標としている。
ある仮定の下で(2020年)、kumarらは、ターゲットドメインエラーに対して$e^{o(t) \left(\varepsilon_0+o\left(\sqrt{log(t)/n}\right)\right)$という順序で束縛された一般化と共に、漸進的自己学習という単純なアルゴリズムを提案し、ここで$\varepsilon_0$はソースドメインエラーであり、$n$は各ドメインのデータサイズである。
指数係数のため、この上限は、$T$が適度に大きいときのみ空になる。
本研究では、より一般的で緩和された仮定の下で段階的な自己学習を解析し、$\widetilde{O}\left(\varepsilon_0 + T\Delta + T/\sqrt{n} + 1/\sqrt{nT}\right)$として有界な拡張一般化を証明した。
乗算係数として$t$に指数依存した既存のバウンドと比較して、我々のバウンドは$t$を線形かつ加法的にしか依存しない。
おそらくより興味深いのは、この結果は一般化誤差を最小化する$t$の最適選択の存在を示し、また、ソースとターゲットの間の累積経路長$t\delta$を最小化するために中間領域の経路を構築する最適な方法も示唆している。
本理論の意義を裏付けるために,複数の半合成および実データを用いて段階的な自己学習を行い,その結果を確認した。
我々の洞察は、将来のgdaアルゴリズムの設計に向けた道筋をもたらすと信じている。
関連論文リスト
- MGDA Converges under Generalized Smoothness, Provably [27.87166415148172]
多目的最適化(MOO)はマルチタスク学習など様々な分野で注目を集めている。
最近の研究は、理論解析を伴う効果的なアルゴリズムを提供しているが、それらは標準の$L$-smoothあるいは有界勾配仮定によって制限されている。
一般化された$ell$-smooth損失関数のより一般的で現実的なクラスについて研究し、$ell$は勾配ノルムの一般非減少関数である。
論文 参考訳（メタデータ） (2024-05-29T18:36:59Z) - Learning Conditional Invariances through Non-Commutativity [4.820252317855078]
目的領域に非可換的に向くような不変条件を緩和することにより, 条件付き不変条件の学習に最適で, サンプル効率のよい学習方法が示される。
非可換性は$varphi*$の代わりに$Phi*_tau$への最適化を導いており、$mathcalH$-divergenceを0とする。
論文 参考訳（メタデータ） (2024-02-18T19:12:18Z) - Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic
Shortest Path [80.60592344361073]
線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。
エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。
既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
論文 参考訳（メタデータ） (2024-02-14T07:52:00Z) - Gradual Domain Adaptation: Theory and Algorithms [15.278170387810409]
教師なしドメイン適応(Unsupervised domain adapt, UDA)は、ラベル付きソースドメインからラベルなしターゲットドメインへのモデルをワンオフで適応する。
本研究ではまず,GDAアルゴリズムである漸進的な自己学習を理論的に解析し,より優れた一般化バウンダリを提供する。
我々は、$textbfG$enerative Gradual D$textbfO$main $textbfA$daptation with Optimal $textbfT$ransport (GOAT)を提案する。
論文 参考訳（メタデータ） (2023-10-20T23:02:08Z) - Beyond Moments: Robustly Learning Affine Transformations with
Asymptotically Optimal Error [8.615625517708324]
サンプルから標準ハイパーキューブの未知アフィン変換を学習するためのリアルタイムアルゴリズムを提案する。
本アルゴリズムは,証明書の要求が満たされない場合に,未知アフィン変換の推定を反復的に改善する手法に基づいている。
論文 参考訳（メタデータ） (2023-02-23T19:13:30Z) - Best Policy Identification in Linear MDPs [70.57916977441262]
縮退した線形マルコフ+デルタ決定における最適同定問題について, 生成モデルに基づく固定信頼度設定における検討を行った。
複雑な非最適化プログラムの解としての下位境界は、そのようなアルゴリズムを考案する出発点として用いられる。
論文 参考訳（メタデータ） (2022-08-11T04:12:50Z) - Domain-shift adaptation via linear transformations [11.541238742226199]
ソースドメイン(A)のデータから学習した予測子$f_Aは、分布が異なる場合、ターゲットドメイン(B)上で正確でない可能性がある。
ソースとターゲットドメインを低次元の共通空間に投影する手法を提案する。
シミュレーションデータと二進数分類タスクにおけるアプローチの有効性を示し、データのドメインシフトを補正する際の精度を最大48%向上させる。
論文 参考訳（メタデータ） (2022-01-14T02:49:03Z) - Efficient Hierarchical Domain Adaptation for Pretrained Language Models [77.02962815423658]
生成言語モデルは、多種多様な一般的なドメインコーパスに基づいて訓練される。
計算効率のよいアダプタアプローチを用いて,ドメイン適応を多種多様なドメインに拡張する手法を提案する。
論文 参考訳（メタデータ） (2021-12-16T11:09:29Z) - Private Stochastic Convex Optimization: Optimal Rates in $\ell_1$
Geometry [69.24618367447101]
対数要因まで $(varepsilon,delta)$-differently private の最適過剰人口損失は $sqrtlog(d)/n + sqrtd/varepsilon n.$ です。
損失関数がさらなる滑らかさの仮定を満たすとき、余剰損失は$sqrtlog(d)/n + (log(d)/varepsilon n)2/3で上界(対数因子まで)であることが示される。
論文 参考訳（メタデータ） (2021-03-02T06:53:44Z) - Learning Domain-invariant Graph for Adaptive Semi-supervised Domain
Adaptation with Few Labeled Source Samples [65.55521019202557]
ドメイン適応は、ソースドメインからモデルを一般化して、関連するが異なるターゲットドメインのタスクに取り組むことを目的としています。
従来のドメイン適応アルゴリズムは、事前知識として扱われる十分なラベル付きデータがソースドメインで利用できると仮定する。
少数のラベル付きソースサンプルを用いたドメイン適応のためのドメイン不変グラフ学習(DGL)手法を提案する。
論文 参考訳（メタデータ） (2020-08-21T08:13:25Z) - Rethinking Distributional Matching Based Domain Adaptation [111.15106414932413]
ドメイン適応(DA)は、ラベル付きソースドメインでトレーニングされた予測モデルをラベル付きターゲットドメインに転送するテクニックである。
最も一般的なDAアルゴリズムは、分散マッチング(DM)に基づいている。
本稿では,まずDMに基づく手法の限界を体系的に分析し,さらに現実的なドメインシフトを持つ新しいベンチマークを構築する。
論文 参考訳（メタデータ） (2020-06-23T21:55:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。