論文の概要: Maximal Domain Independent Representations Improve Transfer Learning

• arxiv url: http://arxiv.org/abs/2306.00262v3
• Date: Thu, 6 Jun 2024 18:50:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 23:04:47.964929
• Title: Maximal Domain Independent Representations Improve Transfer Learning
• Title（参考訳）: 最大領域独立表現は伝達学習を改善する
• Authors: Adrian Shuai Li, Elisa Bertino, Xuan-Hong Dang, Ankush Singla, Yuhai Tu, Mark N Wegman,
• Abstract要約: ドメイン適応(DA)は、データ表現をドメイン独立表現(DIRep)とドメイン依存表現(DDRep)に分解する。 我々は、転送学習性能を高める最大DIRepを作成するために、DDRepに対してKL発散損失を用いることで、DDRepを最小化するために、より強い制約を課す新しいアルゴリズムを開発する。 Officeを含むいくつかの標準ベンチマーク画像データセットを用いて、最先端アルゴリズムに対するアプローチの等速性能を実証する。
• 参考スコア（独自算出の注目度）: 10.716812429325984
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The most effective domain adaptation (DA) involves the decomposition of data representation into a domain independent representation (DIRep), and a domain dependent representation (DDRep). A classifier is trained by using the DIRep of the labeled source images. Since the DIRep is domain invariant, the classifier can be "transferred" to make predictions for the target domain with no (or few) labels. However, information useful for classification in the target domain can "hide" in the DDRep in current DA algorithms such as Domain-Separation-Networks (DSN). DSN's weak constraint to enforce orthogonality of DIRep and DDRep, allows this hiding and can result in poor performance. To address this shortcoming, we developed a new algorithm wherein a stronger constraint is imposed to minimize the DDRep by using a KL divergent loss for the DDRep in order to create the maximal DIRep that enhances transfer learning performance. By using synthetic data sets, we show explicitly that depending on initialization DSN with its weaker constraint can lead to sub-optimal solutions with poorer DA performance whereas our algorithm with maximal DIRep is robust against such perturbations. We demonstrate the equal-or-better performance of our approach against state-of-the-art algorithms by using several standard benchmark image datasets including Office. We further highlight the compatibility of our algorithm with pretrained models, extending its applicability and versatility in real-world scenarios.
• Abstract（参考訳）: 最も効果的なドメイン適応(DA)は、データ表現をドメイン独立表現(DIRep)とドメイン依存表現(DDRep)に分解することである。 ラベル付きソース画像のDIRepを用いて分類器を訓練する。 DIRepはドメイン不変であるため、分類器は"転送"され、ターゲットドメインのラベルを全く(または少数)持たない予測を行う。 しかし、ターゲットドメインの分類に有用な情報は、DDRepにおいて、Domain-Separation-Networks (DSN)のような現在のDAアルゴリズムで"隠蔽"することができる。 DSNがDIRepとDDRepの直交性を強制する弱い制約により、この隠蔽が可能となり、パフォーマンスが低下する可能性がある。 そこで我々は,DDRepに対するKL発散損失を用いて,転送学習性能を向上させる最大DIRepを生成することにより,DDRepの最小化に強い制約を課す新しいアルゴリズムを開発した。 合成データセットを用いることで, DSN の初期化による制約の弱さが, DA 性能の劣る部分最適解に繋がることを示した。 Officeを含むいくつかの標準ベンチマーク画像データセットを用いて、最先端アルゴリズムに対するアプローチの等速性能を実証する。 さらに、事前訓練されたモデルとの互換性を強調し、実世界のシナリオにおける適用性と汎用性を拡張します。

関連論文リスト

• Improving Domain Adaptation Through Class Aware Frequency Transformation [15.70058524548143]
  Unsupervised Domain Adaptation (UDA)アルゴリズムのほとんどは、ラベル付きソースと非ラベル付きターゲットドメインの間のグローバルドメインシフトの削減に重点を置いている。 本稿では,従来の画像処理手法であるCAFT(Class Aware Frequency Transformation)に基づく新しい手法を提案する。 CAFTは、既存のUDAアルゴリズムの全体的な性能を改善するために、擬似ラベルに基づく一貫した低周波スワップを使用する。
  論文  参考訳（メタデータ） (2024-07-28T18:16:41Z)
• Balancing Discriminability and Transferability for Source-Free Domain Adaptation [55.143687986324935]
  従来のドメイン適応(DA)技術は、ドメイン不変表現を学習することでドメイン転送性を改善することを目的としている。 ラベル付けされたソースとラベル付けされていないターゲットへの同時アクセス要件は、ソースフリーなDA設定に適さない。 そこで本研究では,原文と翻訳サンプルの混在が識別可能性と伝達可能性のトレードオフを促進することを示す新しい知見を導出する。
  論文  参考訳（メタデータ） (2022-06-16T09:06:22Z)
• Domain-Agnostic Prior for Transfer Semantic Segmentation [197.9378107222422]
  教師なしドメイン適応(UDA)はコンピュータビジョンコミュニティにおいて重要なトピックである。 ドメインに依存しない事前学習(DAP)を用いてドメイン間表現学習を規則化する機構を提案する。 我々の研究は、UDAがより良いプロキシ、おそらく他のデータモダリティの恩恵を受けていることを明らかにしている。
  論文  参考訳（メタデータ） (2022-04-06T09:13:25Z)
• Decompose to Adapt: Cross-domain Object Detection via Feature Disentanglement [79.2994130944482]
  本研究では,DDF(Domain Disentanglement Faster-RCNN)を設計し,タスク学習のための特徴のソース固有情報を排除した。 DDF法は,グローバルトリプルト・ディアンタングルメント(GTD)モジュールとインスタンス類似性・ディアンタングルメント(ISD)モジュールを用いて,グローバルおよびローカルステージでの機能ディアンタングルを容易にする。 提案手法は,4つのUDAオブジェクト検出タスクにおいて最先端の手法より優れており,広い適用性で有効であることが実証された。
  論文  参考訳（メタデータ） (2022-01-06T05:43:01Z)
• Stagewise Unsupervised Domain Adaptation with Adversarial Self-Training for Road Segmentation of Remote Sensing Images [93.50240389540252]
  リモートセンシング画像からの道路セグメンテーションは、幅広い応用可能性を持つ課題である。 本稿では,この領域における領域シフト(DS)問題に対処するため,RoadDAと呼ばれる新たな段階的ドメイン適応モデルを提案する。 2つのベンチマーク実験の結果、RoadDAはドメインギャップを効率的に減らし、最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-08-28T09:29:14Z)
• Re-energizing Domain Discriminator with Sample Relabeling for Adversarial Domain Adaptation [88.86865069583149]
  Unsupervised Domain Adapt (UDA)メソッドは、ドメインの競合トレーニングを利用して、機能を調整してドメインのギャップを減らす。 本研究では,Re-enforceable Adversarial Domain Adaptation (RADA) と呼ばれる効率的な最適化戦略を提案する。 RADAは、動的ドメインラベルを使用して、トレーニング中にドメイン識別器を再活性化することを目指しています。
  論文  参考訳（メタデータ） (2021-03-22T08:32:55Z)
• Discrepancy Minimization in Domain Generalization with Generative Nearest Neighbors [13.047289562445242]
  ドメイン一般化(Domain Generalization, DG)は、複数のソースドメインでトレーニングされた機械学習モデルが、統計の異なるターゲットドメインでうまく一般化できないという、ドメインシフトの問題を扱う。 シフト対象領域の一般化を保証するのに失敗するソースドメイン全体にわたるドメイン不変表現を学習することにより、ドメイン一般化の問題を解決するために、複数のアプローチが提案されている。 本稿では,GNNDM(Generative Nearest Neighbor Based Discrepancy Minimization)法を提案する。
  論文  参考訳（メタデータ） (2020-07-28T14:54:25Z)
• Unified Multi-Domain Learning and Data Imputation using Adversarial Autoencoder [5.933303832684138]
  マルチドメイン学習(MDL)、データ計算(DI)、マルチタスク学習(MTL)を組み合わせた新しいフレームワークを提案する。 本手法のコアとなるのは,(1)ドメイン間の差を小さくするためにドメイン不変な埋め込みを生成すること,(2)各ドメインのデータ分布を学習し,欠落データに対するデータ計算を正しく行うこと,である。
  論文  参考訳（メタデータ） (2020-03-15T19:55:07Z)
• Supervised Domain Adaptation using Graph Embedding [86.3361797111839]
  領域適応法は、2つの領域間の分布がシフトし、それを認識しようとすると仮定する。 グラフ埋め込みに基づく汎用フレームワークを提案する。 提案手法が強力なドメイン適応フレームワークにつながることを示す。
  論文  参考訳（メタデータ） (2020-03-09T12:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。