論文の概要: Dynamically Decoding Source Domain Knowledge For Unseen Domain Generalization

• arxiv url: http://arxiv.org/abs/2110.03027v1
• Date: Wed, 6 Oct 2021 19:21:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-08 15:44:28.246400
• Title: Dynamically Decoding Source Domain Knowledge For Unseen Domain Generalization
• Title（参考訳）: unseenドメイン一般化のための動的デコードソースドメイン知識
• Authors: Cuicui Kang and Karthik Nandakumar
• Abstract要約: 本稿では,ドメイン一般化のためのソースドメイン知識を動的に復号化するためにトランスフォーマーを適用することを提案する。 提案手法は,領域一般化分野の3つのベンチマークで評価する。 最先端手法との比較により,提案手法が最高の性能を発揮することを示す。
• 参考スコア（独自算出の注目度）: 8.106918528575267
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain generalization is an important problem which has gain much attention recently. While most existing studies focus on learning domain-invariant feature representations, some researchers try ensemble learning of multi experts and demonstrate promising performance. However, in existing multi-expert learning frameworks, the source domain knowledge has not yet been much explored, resulting in sub-optimal performance. In this paper, we propose to adapt Transformers for the purpose of dynamically decoding source domain knowledge for domain generalization. Specifically, we build one domain-specific local expert per source domain, and one domain-agnostic feature branch as query. Then, all local-domain features will be encoded by Transformer encoders, as source domain knowledge in memory. While in the Transformer decoders, the domain-agnostic query will interact with the memory in the cross-attention module, where similar domains with the input will contribute more in the attention output. This way, the source domain knowledge will be dynamically decoded for the inference of the current input from unseen domain. Therefore, this mechanism makes the proposed method well generalizable to unseen domains. The proposed method is evaluated on three benchmarks in the domain generalization field. The comparison with the state-of-the-art methods shows that the proposed method achieves the best performance, outperforming the others with a clear gap.
• Abstract（参考訳）: ドメインの一般化は近年注目を集めている重要な問題です。 既存の研究はドメイン不変の特徴表現の学習に重点を置いているが、研究者の中には多専門家の学習をアンサンブルし、有望なパフォーマンスを実証する者もいる。 しかし、既存のマルチエキスパート学習フレームワークでは、ソースドメインの知識はまだあまり研究されておらず、結果として準最適性能が得られる。 本稿では,ソースドメインの知識を動的に復号化してドメインの一般化を実現するためにトランスフォーマーを適用することを提案する。 具体的には、ソースドメインごとに1つのドメイン固有のローカルエキスパートと、クエリとして1つのドメインに依存しない機能ブランチを構築します。 その後、すべてのローカルドメイン機能はTransformerエンコーダによって、メモリ内のソースドメイン知識としてエンコードされる。 トランスフォーマデコーダでは、ドメインに依存しないクエリがクロスアテンションモジュールのメモリと相互作用する。 この方法では、ソースドメインの知識を動的にデコードし、unseenドメインからの現在の入力を推論します。 したがって、この機構により、提案手法を未発見領域に一般化することができる。 提案手法は領域一般化分野の3つのベンチマークで評価する。 最先端手法との比較により,提案手法が最良性能を達成し,他の手法よりも高い差をみせた。

関連論文リスト

• Domain Generalization via Causal Adjustment for Cross-Domain Sentiment Analysis [59.73582306457387]
  クロスドメイン感情分析における領域一般化の問題に焦点をあてる。 本稿では,ドメイン固有表現とドメイン不変表現をアンタングル化するバックドア調整に基づく因果モデルを提案する。 一連の実験は、我々のモデルの優れたパフォーマンスと堅牢性を示しています。
  論文  参考訳（メタデータ） (2024-02-22T13:26:56Z)
• Meta-causal Learning for Single Domain Generalization [102.53303707563612]
  単一ドメインの一般化は、単一のトレーニングドメイン(ソースドメイン)からモデルを学び、それを複数の未確認テストドメイン(ターゲットドメイン)に適用することを目的としている。 既存の方法は、ターゲットドメインをカバーするためのトレーニングドメインの配布拡大に重点を置いているが、ソースとターゲットドメイン間のドメインシフトを見積もることはできない。 そこで本研究では,まず,対象ドメインとして補助ドメインを構築することによってドメインシフトをシミュレートし,ドメインシフトの原因を解析し,最終的にモデル適応のためのドメインシフトを低減する,新たな学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-04-07T15:46:38Z)
• Aggregation of Disentanglement: Reconsidering Domain Variations in Domain Generalization [9.577254317971933]
  ドメイン変種には、下流のタスクに有用な情報、すなわち分類対応情報も含まれている、と我々は主張する。 本稿では,ドメインエキスパートの特徴をソース・ドメイン・イメージから切り離すために,DDN(Domain Disentanglement Network)と呼ばれる新しいパラダイムを提案する。 また、ドメインの専門家がよりバランスよく分離可能な機能空間を形成するための、新しい対照的な学習方法を提案します。
  論文  参考訳（メタデータ） (2023-02-05T09:48:57Z)
• Domain Invariant Masked Autoencoders for Self-supervised Learning from Multi-domains [73.54897096088149]
  マルチドメインからの自己教師型学習のためのドメイン不変のMasked AutoEncoder (DiMAE)を提案する。 中心となる考え方は、入力画像を異なるドメインからのスタイルノイズで拡張し、拡張イメージの埋め込みからイメージを再構築することである。 PACSとDomainNetの実験は、最近の最先端の手法と比較して、DiMAEがかなりの利益を得ていることを示している。
  論文  参考訳（メタデータ） (2022-05-10T09:49:40Z)
• Exploiting Domain-Specific Features to Enhance Domain Generalization [10.774902700296249]
  ドメイン一般化(Domain Generalization, DG)は、観測されていないターゲットドメインで正常に動作するために、複数の観測されたソースドメインからモデルをトレーニングすることを目的としている。 以前のDGアプローチでは、ターゲットドメインを一般化するために、ソース間でのドメイン不変情報を抽出することに重点を置いていた。 本稿ではメタドメイン固有ドメイン不変量(mD)を提案する。
  論文  参考訳（メタデータ） (2021-10-18T15:42:39Z)
• Domain Adaptation for Sentiment Analysis Using Increased Intraclass Separation [31.410122245232373]
  ドメイン間感情分析手法は注目されている。 埋め込み空間における異なるクラス間の大きなマージンを誘導する新しい領域適応法を提案する。 この埋め込み空間は、ドメイン間のデータ分散をマッチングすることによって、ドメインに依存しないように訓練される。
  論文  参考訳（メタデータ） (2021-07-04T11:39:12Z)
• Unsupervised Sentiment Analysis by Transferring Multi-source Knowledge [22.880509132587807]
  感情分析のための2段階のドメイン適応フレームワークを提案する。 最初の段階では、マルチタスクの方法論に基づく共有プライベートアーキテクチャを使用して、ドメイン共通機能を明示的にモデル化する。 第2段階では、複数のソースドメインから知識を転送するために、共有プライベートアーキテクチャに2つの精巧なメカニズムが組み込まれています。
  論文  参考訳（メタデータ） (2021-05-09T03:02:19Z)
• Open Domain Generalization with Domain-Augmented Meta-Learning [83.59952915761141]
  オープンドメイン一般化(OpenDG)の新しい実践的問題について研究する。 本稿では,オープンドメイン一般化表現を学ぶためのメタ学習フレームワークを提案する。 種々のマルチドメインデータセットの実験結果から、提案したドメイン拡張メタラーニング(DAML)が、未確認ドメイン認識の先行手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-04-08T09:12:24Z)
• Domain Conditioned Adaptation Network [90.63261870610211]
  本稿では,ドメイン条件付きチャネルアテンション機構を用いて,異なる畳み込みチャネルを励起するドメイン条件適応ネットワーク(DCAN)を提案する。 これは、ディープDAネットワークのドメインワイドな畳み込みチャネルアクティベーションを探求する最初の試みである。
  論文  参考訳（メタデータ） (2020-05-14T04:23:24Z)
• Mind the Gap: Enlarging the Domain Gap in Open Set Domain Adaptation [65.38975706997088]
  オープンセットドメイン適応(OSDA)は、ターゲットドメインに未知のクラスが存在することを前提としている。 既存の最先端手法は、より大きなドメインギャップが存在する場合、かなりの性能低下を被ることを示す。 我々は、より大きなドメインギャップに特に対処するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-08T14:20:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。