論文の概要: Algorithms and Theory for Supervised Gradual Domain Adaptation

• arxiv url: http://arxiv.org/abs/2204.11644v1
• Date: Mon, 25 Apr 2022 13:26:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-26 17:28:56.273178
• Title: Algorithms and Theory for Supervised Gradual Domain Adaptation
• Title（参考訳）: 教師付き段階的適応のためのアルゴリズムと理論
• Authors: Jing Dong, Shiji Zhou, Baoxiang Wang, Han Zhao
• Abstract要約: 本研究では, 学習者に対して, 学習経路に沿った変化分布からラベル付きデータを利用できるようにするための, 教師付き段階的領域適応の課題について検討する。 この設定の下では、軽度な仮定の下で学習誤差に関する最初の一般化上限を提供する。 本研究の結果は, 損失関数の範囲に依存しないアルゴリズムであり, 軌道上の平均学習誤差にのみ依存する。
• 参考スコア（独自算出の注目度）: 19.42476993856205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The phenomenon of data distribution evolving over time has been observed in a range of applications, calling the needs of adaptive learning algorithms. We thus study the problem of supervised gradual domain adaptation, where labeled data from shifting distributions are available to the learner along the trajectory, and we aim to learn a classifier on a target data distribution of interest. Under this setting, we provide the first generalization upper bound on the learning error under mild assumptions. Our results are algorithm agnostic, general for a range of loss functions, and only depend linearly on the averaged learning error across the trajectory. This shows significant improvement compared to the previous upper bound for unsupervised gradual domain adaptation, where the learning error on the target domain depends exponentially on the initial error on the source domain. Compared with the offline setting of learning from multiple domains, our results also suggest the potential benefits of the temporal structure among different domains in adapting to the target one. Empirically, our theoretical results imply that learning proper representations across the domains will effectively mitigate the learning errors. Motivated by these theoretical insights, we propose a min-max learning objective to learn the representation and classifier simultaneously. Experimental results on both semi-synthetic and large-scale real datasets corroborate our findings and demonstrate the effectiveness of our objectives.
• Abstract（参考訳）: データ分散が時間とともに進化する現象は、適応学習アルゴリズムの必要性を呼ぶ様々なアプリケーションで観測されている。 そこで我々は,対象とするデータ分布の分類器を学習者に提供し,対象とするデータ分布の分類器を学習することを目的とした,段階的領域適応の教師付き問題について検討する。 この設定の下では、軽度な仮定の下で学習誤差に関する最初の一般化上限を提供する。 結果はアルゴリズムに依存しず,損失関数の範囲が広く,軌道上の平均学習誤差に線形にのみ依存する。 これは、対象ドメインの学習エラーがソースドメインの初期エラーに指数関数的に依存する、教師なしの段階的適応に対する以前の上限よりも大きな改善を示す。 また,複数のドメインからの学習のオフライン設定と比較して,対象ドメインに適応する上で,異なるドメイン間の時間構造の有用性が示唆された。 理論的には、各領域にまたがる適切な表現の学習が学習エラーを効果的に軽減することを示す。 これらの理論的知見に動機づけられ,表現と分類を同時に学習するmin-max学習目標を提案する。 半合成および大規模実データを用いた実験結果から,本研究の成果と目的の有効性を実証した。

関連論文リスト

• Non-stationary Domain Generalization: Theory and Algorithm [11.781050299571692]
  本稿では,非定常環境における領域一般化について検討する。 まず,環境非定常性がモデル性能に及ぼす影響について検討する。 そこで我々は適応不変表現学習に基づく新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-10T21:32:43Z)
• Domain Adaptation Principal Component Analysis: base linear method for learning with out-of-distribution data [55.41644538483948]
  ドメイン適応は現代の機械学習において一般的なパラダイムである。 ドメイン適応主成分分析(DAPCA)という手法を提案する。 DAPCAは、領域適応タスクの解決に有用な線形化データ表現を見つける。
  論文  参考訳（メタデータ） (2022-08-28T21:10:56Z)
• Self-balanced Learning For Domain Generalization [64.99791119112503]
  ドメインの一般化は、モデルが未知の統計を持つ対象のドメインに一般化できるように、マルチドメインのソースデータの予測モデルを学ぶことを目的としている。 既存のアプローチのほとんどは、ソースデータがドメインとクラスの両方の観点からバランスよく調整されているという前提の下で開発されている。 本稿では,多領域ソースデータの分布の違いによるバイアスを軽減するために,損失の重み付けを適応的に学習する自己均衡型領域一般化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-31T03:17:54Z)
• f-Domain-Adversarial Learning: Theory and Algorithms [82.97698406515667]
  教師なしのドメイン適応は、トレーニング中、ターゲットドメイン内のラベルなしデータにアクセス可能な、多くの機械学習アプリケーションで使用されている。 領域適応のための新しい一般化法を導出し、f-発散体の変分的特徴に基づく分布間の相違性の新しい尺度を利用する。
  論文  参考訳（メタデータ） (2021-06-21T18:21:09Z)
• Learning a Domain-Agnostic Visual Representation for Autonomous Driving via Contrastive Loss [25.798361683744684]
  ドメイン認識コントラスト学習(Domain-Agnostic Contrastive Learning、DACL)は、2段階の非監視ドメイン適応フレームワークである。 提案手法は,従来の最新手法に比べ,単眼深度推定作業における性能向上を実現した。
  論文  参考訳（メタデータ） (2021-03-10T07:06:03Z)
• Adaptive Risk Minimization: Learning to Adapt to Domain Shift [109.87561509436016]
  ほとんどの機械学習アルゴリズムの基本的な前提は、トレーニングとテストデータは、同じ基礎となる分布から引き出されることである。 本研究では,学習データをドメインに構造化し,複数のテスト時間シフトが存在する場合の領域一般化の問題点について考察する。 本稿では、適応リスク最小化(ARM)の枠組みを紹介し、モデルがトレーニング領域に適応することを学ぶことで、効果的な適応のために直接最適化される。
  論文  参考訳（メタデータ） (2020-07-06T17:59:30Z)
• Progressive Graph Learning for Open-Set Domain Adaptation [48.758366879597965]
  ドメインシフトは、典型的にはソースとターゲットデータが異なる分布に従うときに発生する視覚認識の基本的な問題である。 本稿では、ターゲットデータにソースデータに存在しない追加のクラスを含むオープンセットドメインシフトのより現実的な問題に取り組む。 本稿では,その基礎となる条件シフトを抑制するために,エピソード学習を伴うグラフニューラルネットワークを統合したエンドツーエンドのプログレッシブグラフ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-22T09:10:34Z)
• A survey on domain adaptation theory: learning bounds and theoretical guarantees [17.71634393160982]
  この調査の主な目的は、特定の、そして間違いなく最も人気のある、移動学習のサブフィールドにおける最先端の理論的結果の概要を提供することである。 このサブフィールドでは、学習タスクは同じままで、トレーニングとテストデータの間でデータ分布が変化すると仮定される。 本稿では、ドメイン適応問題に関連する既存の結果の最新の記述について述べる。
  論文  参考訳（メタデータ） (2020-04-24T16:11:03Z)
• Understanding Self-Training for Gradual Domain Adaptation [107.37869221297687]
  段階的なドメイン適応は、対象領域へ徐々にシフトするラベルのないデータのみを与えられたソースドメインで訓練された初期分類器を適応させることが目的である。 目標領域への直接適応が非有界誤差をもたらすような設定下において、段階的なシフトを伴う自己学習の誤差に対する最初の非無空上界を証明した。 この理論解析はアルゴリズムの洞察を導き、無限のデータを持つ場合でも正規化とラベルのシャープ化が不可欠であることを強調し、より小さなワッサーシュタイン無限距離のシフトに対して自己学習が特にうまく働くことを示唆している。
  論文  参考訳（メタデータ） (2020-02-26T08:59:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。