論文の概要: Continuous Unsupervised Domain Adaptation Using Stabilized
Representations and Experience Replay
- arxiv url: http://arxiv.org/abs/2402.00580v1
- Date: Wed, 31 Jan 2024 05:09:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-02 15:10:20.923087
- Title: Continuous Unsupervised Domain Adaptation Using Stabilized
Representations and Experience Replay
- Title（参考訳）: 安定表現と経験再生を用いた連続教師なしドメイン適応
- Authors: Mohammad Rostami
- Abstract要約: 本稿では,教師なしドメイン適応(UDA)問題に継続学習(CL)シナリオで対処するアルゴリズムを提案する。
我々の解は、学習した内部分布を安定化し、新しい領域におけるモデル一般化を強化することに基づいている。
経験リプレイを活用して,新たなタスクを学習する際に獲得した知識をモデルが失う,破滅的な忘れ事の問題を克服する。
- 参考スコア（独自算出の注目度）: 23.871860648919593
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce an algorithm for tackling the problem of unsupervised domain
adaptation (UDA) in continual learning (CL) scenarios. The primary objective is
to maintain model generalization under domain shift when new domains arrive
continually through updating a base model when only unlabeled data is
accessible in subsequent tasks. While there are many existing UDA algorithms,
they typically require access to both the source and target domain datasets
simultaneously. Conversely, existing CL approaches can handle tasks that all
have labeled data. Our solution is based on stabilizing the learned internal
distribution to enhances the model generalization on new domains. The internal
distribution is modeled by network responses in hidden layer. We model this
internal distribution using a Gaussian mixture model (GMM ) and update the
model by matching the internally learned distribution of new domains to the
estimated GMM. Additionally, we leverage experience replay to overcome the
problem of catastrophic forgetting, where the model loses previously acquired
knowledge when learning new tasks. We offer theoretical analysis to explain why
our algorithm would work. We also offer extensive comparative and analytic
experiments to demonstrate that our method is effective. We perform experiments
on four benchmark datasets to demonstrate that our approach is effective.
- Abstract（参考訳）: 本稿では,教師なしドメイン適応(UDA)問題に継続学習(CL)シナリオで対処するアルゴリズムを提案する。
主な目的は、未ラベルのデータのみがその後のタスクでアクセス可能な場合にのみベースモデルを更新することで、新しいドメインが継続的にやってくるとき、ドメインシフトの下でモデル一般化を維持することである。
既存のudaアルゴリズムは数多く存在するが、通常はソースとターゲットの両方のドメインデータセットを同時にアクセスする必要がある。
逆に、既存のCLアプローチは、すべてラベル付きデータを持つタスクを処理できる。
私たちのソリューションは、学習した内部分布を安定化し、新しいドメインのモデル一般化を強化することに基づいています。
内部分布は隠れ層内のネットワーク応答によってモデル化される。
この内部分布をガウス混合モデル(gmm)を用いてモデル化し,新しい領域の内部分布を推定したgmmと一致させてモデルを更新する。
さらに、我々は経験リプレイを活用して、新しいタスクを学習する際に獲得した知識を失う大惨な忘れを克服する。
アルゴリズムが機能する理由を説明するために理論的分析を提供する。
また,本手法が有効であることを示すため,広範な比較分析実験を行った。
4つのベンチマークデータセットで実験を行い、このアプローチが効果的であることを示す。
関連論文リスト
- Non-stationary Domain Generalization: Theory and Algorithm [11.781050299571692]
本稿では,非定常環境における領域一般化について検討する。
まず,環境非定常性がモデル性能に及ぼす影響について検討する。
そこで我々は適応不変表現学習に基づく新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-05-10T21:32:43Z) - SALUDA: Surface-based Automotive Lidar Unsupervised Domain Adaptation [62.889835139583965]
我々は、ソースデータとターゲットデータに基づいて、暗黙の基盤となる表面表現を同時に学習する教師なし補助タスクを導入する。
両方のドメインが同じ遅延表現を共有しているため、モデルは2つのデータソース間の不一致を許容せざるを得ない。
実験の結果,本手法は実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-
論文 参考訳（メタデータ） (2023-04-06T17:36:23Z) - Preserving Fairness in AI under Domain Shift [15.820660013260584]
AIの公正性を保証するための既存のアルゴリズムは、単発トレーニング戦略を使用している。
ドメインシフトの下で公正な状態を維持するために公正なモデルを適用するアルゴリズムを開発する。
論文 参考訳（メタデータ） (2023-01-29T06:13:40Z) - Domain Adaptation Principal Component Analysis: base linear method for
learning with out-of-distribution data [55.41644538483948]
ドメイン適応は現代の機械学習において一般的なパラダイムである。
ドメイン適応主成分分析(DAPCA)という手法を提案する。
DAPCAは、領域適応タスクの解決に有用な線形化データ表現を見つける。
論文 参考訳（メタデータ） (2022-08-28T21:10:56Z) - Towards Data-Free Domain Generalization [12.269045654957765]
異なるソースデータドメインでトレーニングされたモデルに含まれる知識は、どのようにして単一のモデルにマージされるのか?
以前のドメインの一般化手法は、典型的にはソースドメインデータの使用に依存しており、プライベートな分散データには適さない。
DeKANは、利用可能な教師モデルからドメイン固有の知識を抽出し、融合し、ドメインシフトに頑健な学生モデルに変換するアプローチである。
論文 参考訳（メタデータ） (2021-10-09T11:44:05Z) - Inferring Latent Domains for Unsupervised Deep Domain Adaptation [54.963823285456925]
Unsupervised Domain Adaptation (UDA)は、ラベル付きデータが利用できないターゲットドメインでモデルを学習する問題を指す。
本稿では,視覚データセット中の潜在ドメインを自動的に発見することにより,udaの問題に対処する新しい深層アーキテクチャを提案する。
提案手法を公開ベンチマークで評価し,最先端のドメイン適応手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-03-25T14:33:33Z) - Domain Adaptation in LiDAR Semantic Segmentation by Aligning Class
Distributions [9.581605678437032]
この研究は、LiDARセマンティックセグメンテーションモデルに対する教師なしドメイン適応の問題に対処する。
我々のアプローチは、現在の最先端のアプローチの上に新しいアイデアを結合し、新しい最先端の成果をもたらす。
論文 参考訳（メタデータ） (2020-10-23T08:52:15Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳（メタデータ） (2020-10-09T15:42:35Z) - Adaptive Risk Minimization: Learning to Adapt to Domain Shift [109.87561509436016]
ほとんどの機械学習アルゴリズムの基本的な前提は、トレーニングとテストデータは、同じ基礎となる分布から引き出されることである。
本研究では,学習データをドメインに構造化し,複数のテスト時間シフトが存在する場合の領域一般化の問題点について考察する。
本稿では、適応リスク最小化(ARM)の枠組みを紹介し、モデルがトレーニング領域に適応することを学ぶことで、効果的な適応のために直接最適化される。
論文 参考訳（メタデータ） (2020-07-06T17:59:30Z) - Do We Really Need to Access the Source Data? Source Hypothesis Transfer
for Unsupervised Domain Adaptation [102.67010690592011]
Unsupervised adaptUDA (UDA) は、ラベル付きソースデータセットから学んだ知識を活用して、新しいラベル付きドメインで同様のタスクを解決することを目的としている。
従来のUDAメソッドは、モデルに適応するためには、通常、ソースデータにアクセスする必要がある。
この作業は、訓練済みのソースモデルのみが利用できる実践的な環境に取り組み、ソースデータなしでそのようなモデルを効果的に活用してUDA問題を解決する方法に取り組みます。
論文 参考訳（メタデータ） (2020-02-20T03:13:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。