論文の概要: Maximizing Information in Domain-Invariant Representation Improves Transfer Learning

• arxiv url: http://arxiv.org/abs/2306.00262v4
• Date: Mon, 16 Jun 2025 20:13:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-18 17:34:58.988627
• Title: Maximizing Information in Domain-Invariant Representation Improves Transfer Learning
• Title（参考訳）: ドメイン不変表現における情報の最大化は伝達学習を改善する
• Authors: Adrian Shuai Li, Elisa Bertino, Xuan-Hong Dang, Ankush Singla, Yuhai Tu, Mark N Wegman,
• Abstract要約: ドメイン適応(DA)技術は、データ表現をドメイン非依存表現(DIRep)とドメイン依存表現(DDRep)に分解する。 現在のDAアルゴリズム、例えばDomain-Separation Networks (DSN)は、この問題に適切に対処していない。 本研究では,DDRepにおける情報内容の最小化に強い制約を課し,対象ラベルに関する関連情報を保持するDIRepを作成するアルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 10.716812429325984
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The most effective domain adaptation (DA) technique involves the decomposition of data representation into a domain-independent representation (DIRep) and a domain-dependent representation (DDRep). A classifier is trained by using the DIRep on the labeled source images. Since the DIRep is domain invariant, the classifier can be "transferred" to make predictions for the target domain with no (or few) labels. However, information useful for classification in the target domain can "hide" in the DDRep. Current DA algorithms, such as Domain-Separation Networks (DSN), do not adequately address this issue. DSN's weak constraint to enforce the orthogonality of DIRep and DDRep allows this hiding effect and can result in poor performance. To address this shortcoming, we develop a new algorithm wherein a stronger constraint is imposed to minimize the information content in DDRep to create a DIRep that retains relevant information about the target labels and, in turn, results in a better invariant representation. By using synthetic datasets, we show explicitly that depending on the initialization, DSN, with its weaker constraint, can lead to sub-optimal solutions with poorer DA performance. In contrast, our algorithm is robust against such perturbations. We demonstrate the equal-or-better performance of our approach against DSN and other recent DA methods by using several standard benchmark image datasets. We further highlight the compatibility of our algorithm with pre-trained models for classifying real-world images and showcase its adaptability and versatility through its application in network intrusion detection.
• Abstract（参考訳）: 最も効果的なドメイン適応(DA)技術は、データ表現をドメイン非依存表現(DIRep)とドメイン依存表現(DDRep)に分解することである。 ラベル付きソースイメージ上でDIRepを使用して分類器を訓練する。 DIRepはドメイン不変であるため、分類器は"転送"され、ターゲットドメインのラベルを全く(または少数)持たない予測を行う。 しかし、対象領域の分類に有用な情報は、DDRepで「隠す」ことができる。 現在のDAアルゴリズム、例えばDomain-Separation Networks (DSN)は、この問題に適切に対処していない。 DIRepとDDRepの直交性を強制するDSNの弱い制約は、この隠れ効果を可能にし、性能が低下する可能性がある。 この問題に対処するため,DDRepにおける情報内容の最小化に強い制約を課し,対象ラベルに関する関連情報を保持するDIRepを作成し,その結果,より優れた不変表現をもたらす新しいアルゴリズムを開発した。 合成データセットを用いることで, DSNは初期化に依存するが, 制約が弱いため, DA性能が劣る準最適解が得られることを示した。 対照的に、我々のアルゴリズムはそのような摂動に対して頑健である。 いくつかの標準ベンチマーク画像データセットを用いて、DSNや他の最近のDA手法に対するアプローチの等速性能を実証する。 さらに、実世界の画像を分類するための事前訓練されたモデルとの互換性を強調し、ネットワーク侵入検出への応用を通じて適応性と汎用性を示す。

関連論文リスト

• Let Synthetic Data Shine: Domain Reassembly and Soft-Fusion for Single Domain Generalization [68.41367635546183]
  単一ドメインの一般化は、単一のソースからのデータを使用して、さまざまなシナリオで一貫したパフォーマンスでモデルをトレーニングすることを目的としている。 モデル一般化を改善するために合成データを活用した学習フレームワークDRSFを提案する。
  論文  参考訳（メタデータ） (2025-03-17T18:08:03Z)
• Improving Domain Adaptation Through Class Aware Frequency Transformation [15.70058524548143]
  Unsupervised Domain Adaptation (UDA)アルゴリズムのほとんどは、ラベル付きソースと非ラベル付きターゲットドメインの間のグローバルドメインシフトの削減に重点を置いている。 本稿では,従来の画像処理手法であるCAFT(Class Aware Frequency Transformation)に基づく新しい手法を提案する。 CAFTは、既存のUDAアルゴリズムの全体的な性能を改善するために、擬似ラベルに基づく一貫した低周波スワップを使用する。
  論文  参考訳（メタデータ） (2024-07-28T18:16:41Z)
• Balancing Discriminability and Transferability for Source-Free Domain Adaptation [55.143687986324935]
  従来のドメイン適応(DA)技術は、ドメイン不変表現を学習することでドメイン転送性を改善することを目的としている。 ラベル付けされたソースとラベル付けされていないターゲットへの同時アクセス要件は、ソースフリーなDA設定に適さない。 そこで本研究では,原文と翻訳サンプルの混在が識別可能性と伝達可能性のトレードオフを促進することを示す新しい知見を導出する。
  論文  参考訳（メタデータ） (2022-06-16T09:06:22Z)
• Domain-Agnostic Prior for Transfer Semantic Segmentation [197.9378107222422]
  教師なしドメイン適応(UDA)はコンピュータビジョンコミュニティにおいて重要なトピックである。 ドメインに依存しない事前学習(DAP)を用いてドメイン間表現学習を規則化する機構を提案する。 我々の研究は、UDAがより良いプロキシ、おそらく他のデータモダリティの恩恵を受けていることを明らかにしている。
  論文  参考訳（メタデータ） (2022-04-06T09:13:25Z)
• Decompose to Adapt: Cross-domain Object Detection via Feature Disentanglement [79.2994130944482]
  本研究では,DDF(Domain Disentanglement Faster-RCNN)を設計し,タスク学習のための特徴のソース固有情報を排除した。 DDF法は,グローバルトリプルト・ディアンタングルメント(GTD)モジュールとインスタンス類似性・ディアンタングルメント(ISD)モジュールを用いて,グローバルおよびローカルステージでの機能ディアンタングルを容易にする。 提案手法は,4つのUDAオブジェクト検出タスクにおいて最先端の手法より優れており,広い適用性で有効であることが実証された。
  論文  参考訳（メタデータ） (2022-01-06T05:43:01Z)
• Stagewise Unsupervised Domain Adaptation with Adversarial Self-Training for Road Segmentation of Remote Sensing Images [93.50240389540252]
  リモートセンシング画像からの道路セグメンテーションは、幅広い応用可能性を持つ課題である。 本稿では,この領域における領域シフト(DS)問題に対処するため,RoadDAと呼ばれる新たな段階的ドメイン適応モデルを提案する。 2つのベンチマーク実験の結果、RoadDAはドメインギャップを効率的に減らし、最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-08-28T09:29:14Z)
• Re-energizing Domain Discriminator with Sample Relabeling for Adversarial Domain Adaptation [88.86865069583149]
  Unsupervised Domain Adapt (UDA)メソッドは、ドメインの競合トレーニングを利用して、機能を調整してドメインのギャップを減らす。 本研究では,Re-enforceable Adversarial Domain Adaptation (RADA) と呼ばれる効率的な最適化戦略を提案する。 RADAは、動的ドメインラベルを使用して、トレーニング中にドメイン識別器を再活性化することを目指しています。
  論文  参考訳（メタデータ） (2021-03-22T08:32:55Z)
• Discrepancy Minimization in Domain Generalization with Generative Nearest Neighbors [13.047289562445242]
  ドメイン一般化(Domain Generalization, DG)は、複数のソースドメインでトレーニングされた機械学習モデルが、統計の異なるターゲットドメインでうまく一般化できないという、ドメインシフトの問題を扱う。 シフト対象領域の一般化を保証するのに失敗するソースドメイン全体にわたるドメイン不変表現を学習することにより、ドメイン一般化の問題を解決するために、複数のアプローチが提案されている。 本稿では,GNNDM(Generative Nearest Neighbor Based Discrepancy Minimization)法を提案する。
  論文  参考訳（メタデータ） (2020-07-28T14:54:25Z)
• Unified Multi-Domain Learning and Data Imputation using Adversarial Autoencoder [5.933303832684138]
  マルチドメイン学習(MDL)、データ計算(DI)、マルチタスク学習(MTL)を組み合わせた新しいフレームワークを提案する。 本手法のコアとなるのは,(1)ドメイン間の差を小さくするためにドメイン不変な埋め込みを生成すること,(2)各ドメインのデータ分布を学習し,欠落データに対するデータ計算を正しく行うこと,である。
  論文  参考訳（メタデータ） (2020-03-15T19:55:07Z)
• Supervised Domain Adaptation using Graph Embedding [86.3361797111839]
  領域適応法は、2つの領域間の分布がシフトし、それを認識しようとすると仮定する。 グラフ埋め込みに基づく汎用フレームワークを提案する。 提案手法が強力なドメイン適応フレームワークにつながることを示す。
  論文  参考訳（メタデータ） (2020-03-09T12:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。