論文の概要: Maximal Domain Independent Representations Improve Transfer Learning
- arxiv url: http://arxiv.org/abs/2306.00262v1
- Date: Thu, 1 Jun 2023 00:46:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 18:49:28.794872
- Title: Maximal Domain Independent Representations Improve Transfer Learning
- Title(参考訳): 最大領域独立表現は転校学習を改善する
- Authors: Adrian Shuai Li, Elisa Bertino, Xuan-Hong Dang, Ankush Singla, Yuhai
Tu, Mark N Wegman
- Abstract要約: ドメイン適応(DA)は、ソースドメインからトレーニングデータセットを適用して、ターゲットドメインの学習タスクに使用する。
DAの一般的なアプローチの1つは、すべての入力サンプルからジェネレータによって学習されたドメインに依存しない表現(DIRep)を作成することである。
本稿では,逆数モデルと変分オートエンコーダを組み合わせた新しい手法を提案する。
- 参考スコア(独自算出の注目度): 17.80623787348781
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Domain adaptation (DA) adapts a training dataset from a source domain for use
in a learning task in a target domain in combination with data available at the
target. One popular approach for DA is to create a domain-independent
representation (DIRep) learned by a generator from all input samples and then
train a classifier on top of it using all labeled samples. A domain
discriminator is added to train the generator adversarially to exclude domain
specific features from the DIRep. However, this approach tends to generate
insufficient information for accurate classification learning. In this paper,
we present a novel approach that integrates the adversarial model with a
variational autoencoder. In addition to the DIRep, we introduce a
domain-dependent representation (DDRep) such that information from both DIRep
and DDRep is sufficient to reconstruct samples from both domains. We further
penalize the size of the DDRep to drive as much information as possible to the
DIRep, which maximizes the accuracy of the classifier in labeling samples in
both domains. We empirically evaluate our model using synthetic datasets and
demonstrate that spurious class-related features introduced in the source
domain are successfully absorbed by the DDRep. This leaves a rich and clean
DIRep for accurate transfer learning in the target domain. We further
demonstrate its superior performance against other algorithms for a number of
common image datasets. We also show we can take advantage of pretrained models.
- Abstract(参考訳): ドメイン適応(DA)は、ターゲットドメインの学習タスクに使用するソースドメインからトレーニングデータセットを、ターゲットで利用可能なデータと組み合わせて適用する。
DAの一般的なアプローチの1つは、すべての入力サンプルからジェネレータによって学習されたドメイン非依存表現(DIRep)を作成し、その上にラベル付きサンプルを使用して分類器を訓練することである。
DIRepからドメイン固有の特徴を除外するために、ジェネレータを逆さまに訓練するためにドメイン判別器が追加される。
しかし、この手法は正確な分類学習には不十分な情報を生み出す傾向にある。
本稿では,可変オートエンコーダと逆モデルを統合する新しい手法を提案する。
DIRepに加えて、ドメイン依存表現(DDRep)を導入し、DIRepとDDRepの両方からの情報が両ドメインからのサンプルを再構築するのに十分であることを示す。
さらにddrepのサイズをペナルティ化し,direpに対して可能な限り多くの情報を駆動することで,両ドメインのサンプルラベリングにおける分類器の精度を最大化する。
提案手法を合成データセットを用いて実験的に評価し,DDRepによりソース領域に導入されたスプリアスなクラス関連特徴が吸収されることを実証した。
これにより、ターゲットドメインでの正確な転送学習のためのリッチでクリーンなDIRepが残される。
我々はさらに,一般的な画像データセットに対して,他のアルゴリズムよりも優れた性能を示す。
また、トレーニング済みのモデルを活用できることも示します。
関連論文リスト
- Causally Inspired Regularization Enables Domain General Representations [14.036422506623383]
異なるドメイン/ディストリビューション間で共有されるデータ生成プロセスを表す因果グラフが与えられた場合、十分なグラフで実装された条件付き独立性は、ドメイン一般(非スパージャ)の特徴表現を識別することができる。
本稿では,素早い特徴の事前知識(あるいはプロキシ)を伴わないドメイン汎用特徴表現の同定に十分であることを示す,正規化を伴う新しいフレームワークを提案する。
提案手法は、合成データと実世界のデータの両方に有効であり、平均および最悪のドメイン転送精度で、他の最先端手法よりも優れている。
論文 参考訳(メタデータ) (2024-04-25T01:33:55Z) - Domain-Controlled Prompt Learning [49.45309818782329]
既存の素早い学習方法はドメイン認識やドメイン転送機構を欠いていることが多い。
特定のドメインに対するtextbfDomain-Controlled Prompt Learningを提案する。
本手法は,特定の領域画像認識データセットにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2023-09-30T02:59:49Z) - Disentanglement by Cyclic Reconstruction [0.0]
教師付き学習では、訓練に使用されるデータセットに固有の情報が、手元にあるタスクとは無関係に、抽出された表現に符号化され続けることができる。
本稿では,その情報をタスク関連表現とその補完的文脈表現に分割することを提案する。
次に、この手法を教師なし領域適応問題に適用し、ソースとターゲットドメインの両方で実行可能なモデルを訓練する。
論文 参考訳(メタデータ) (2021-12-24T07:47:59Z) - Give Me Your Trained Model: Domain Adaptive Semantic Segmentation
without Source Data [63.60200857555127]
対象ドメインにトレーニングされたソースモデルのみを提供するクロスドメインセマンティックセマンティックセマンティクスタスクを提案する。
具体的には、DAS$3$は3つのスキーム、すなわち特徴アライメント、自己学習、情報伝達から構成される。
ドメイン間および都市間駆動データセットの大規模な結果により、ソースデータへのアクセスを必要とするメソッドと同等のDAS$3$が検証される。
論文 参考訳(メタデータ) (2021-06-22T10:21:39Z) - Self-Supervised Learning of Domain Invariant Features for Depth
Estimation [35.74969527929284]
単一画像深度推定のための教師なし合成-現実的領域適応の課題に対処する。
単一画像深度推定の重要なビルディングブロックはエンコーダ・デコーダ・タスク・ネットワークであり、RGB画像を入力とし、出力として深度マップを生成する。
本稿では,タスクネットワークにドメイン不変表現を自己教師型で学習させる新たなトレーニング戦略を提案する。
論文 参考訳(メタデータ) (2021-06-04T16:45:48Z) - Inferring Latent Domains for Unsupervised Deep Domain Adaptation [54.963823285456925]
Unsupervised Domain Adaptation (UDA)は、ラベル付きデータが利用できないターゲットドメインでモデルを学習する問題を指す。
本稿では,視覚データセット中の潜在ドメインを自動的に発見することにより,udaの問題に対処する新しい深層アーキテクチャを提案する。
提案手法を公開ベンチマークで評価し,最先端のドメイン適応手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-03-25T14:33:33Z) - Variational Interaction Information Maximization for Cross-domain
Disentanglement [34.08140408283391]
ドメイン間の絡み合いは、ドメイン不変表現とドメイン固有表現に分割された表現の学習の問題である。
複数の情報制約の共用目的として,ドメイン不変表現とドメイン固有表現の同時学習を行った。
ゼロショットスケッチに基づく画像検索タスクにおいて,本モデルが最新性能を達成することを示した。
論文 参考訳(メタデータ) (2020-12-08T07:11:35Z) - Learning causal representations for robust domain adaptation [31.261956776418618]
多くの現実世界のアプリケーションでは、ターゲットのドメインデータが常に利用できるとは限らない。
本稿では,学習段階において対象ドメインデータが利用できない場合について検討する。
本稿では,深層オートエンコーダと因果構造学習を統一モデルに統合したCausal AutoEncoder (CAE)を提案する。
論文 参考訳(メタデータ) (2020-11-12T11:24:03Z) - Adversarial Bipartite Graph Learning for Video Domain Adaptation [50.68420708387015]
ドメイン適応技術は,異なる領域間のモデルを適応させることに重点を置いているが,ビデオ認識領域ではめったに研究されていない。
近年,映像のソースと対象映像の表現を統一するために,対角学習を活用する視覚領域適応はビデオにはあまり効果がない。
本稿では,ソースとターゲットの相互作用を直接モデル化するAdversarial Bipartite Graph (ABG)学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-31T03:48:41Z) - Alleviating Semantic-level Shift: A Semi-supervised Domain Adaptation
Method for Semantic Segmentation [97.8552697905657]
このタスクの重要な課題は、ソースとターゲットドメイン間のデータ分散の相違を緩和する方法である。
本稿では,グローバルな視点とローカルな視点の両方から分布の整合性を促進できるASS(Alleviating Semantic-level Shift)を提案する。
GTA5、Cityscapes、Synthia、Cityscapesの2つのドメイン適応タスクにASSを適用します。
論文 参考訳(メタデータ) (2020-04-02T03:25:05Z) - Do We Really Need to Access the Source Data? Source Hypothesis Transfer
for Unsupervised Domain Adaptation [102.67010690592011]
Unsupervised adaptUDA (UDA) は、ラベル付きソースデータセットから学んだ知識を活用して、新しいラベル付きドメインで同様のタスクを解決することを目的としている。
従来のUDAメソッドは、モデルに適応するためには、通常、ソースデータにアクセスする必要がある。
この作業は、訓練済みのソースモデルのみが利用できる実践的な環境に取り組み、ソースデータなしでそのようなモデルを効果的に活用してUDA問題を解決する方法に取り組みます。
論文 参考訳(メタデータ) (2020-02-20T03:13:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。