論文の概要: Domain Invariant Masked Autoencoders for Self-supervised Learning from Multi-domains

• arxiv url: http://arxiv.org/abs/2205.04771v1
• Date: Tue, 10 May 2022 09:49:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-14 15:40:49.735419
• Title: Domain Invariant Masked Autoencoders for Self-supervised Learning from Multi-domains
• Title（参考訳）: マルチドメインからの自己教師付き学習のためのドメイン不変マスキングオートエンコーダ
• Authors: Haiyang Yang, Meilin Chen, Yizhou Wang, Shixiang Tang, Feng Zhu, Lei Bai, Rui Zhao, Wanli Ouyang
• Abstract要約: マルチドメインからの自己教師型学習のためのドメイン不変のMasked AutoEncoder (DiMAE)を提案する。 中心となる考え方は、入力画像を異なるドメインからのスタイルノイズで拡張し、拡張イメージの埋め込みからイメージを再構築することである。 PACSとDomainNetの実験は、最近の最先端の手法と比較して、DiMAEがかなりの利益を得ていることを示している。
• 参考スコア（独自算出の注目度）: 73.54897096088149
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Generalizing learned representations across significantly different visual domains is a fundamental yet crucial ability of the human visual system. While recent self-supervised learning methods have achieved good performances with evaluation set on the same domain as the training set, they will have an undesirable performance decrease when tested on a different domain. Therefore, the self-supervised learning from multiple domains task is proposed to learn domain-invariant features that are not only suitable for evaluation on the same domain as the training set but also can be generalized to unseen domains. In this paper, we propose a Domain-invariant Masked AutoEncoder (DiMAE) for self-supervised learning from multi-domains, which designs a new pretext task, \emph{i.e.,} the cross-domain reconstruction task, to learn domain-invariant features. The core idea is to augment the input image with style noise from different domains and then reconstruct the image from the embedding of the augmented image, regularizing the encoder to learn domain-invariant features. To accomplish the idea, DiMAE contains two critical designs, 1) content-preserved style mix, which adds style information from other domains to input while persevering the content in a parameter-free manner, and 2) multiple domain-specific decoders, which recovers the corresponding domain style of input to the encoded domain-invariant features for reconstruction. Experiments on PACS and DomainNet illustrate that DiMAE achieves considerable gains compared with recent state-of-the-art methods.
• Abstract（参考訳）: 異なる視覚領域にまたがる学習表現を一般化することは、人間の視覚システムの基本的かつ重要な能力である。 近年の自己教師型学習手法は,トレーニングセットと同じドメインで評価を行い,優れたパフォーマンスを達成しているが,異なるドメインでテストした場合,望ましくないパフォーマンスが低下する。 したがって、複数のドメインタスクから自己教師付き学習を行い、トレーニングセットと同じドメインの評価に適するだけでなく、未知のドメインにも一般化できるドメイン不変特徴を学習する。 本稿では,マルチドメインから自己教師付き学習を行うためのドメイン不変マスク型オートエンコーダ(dimae)を提案する。 コアとなるアイデアは、異なるドメインからのスタイルノイズで入力イメージを増強し、拡張画像の埋め込みからイメージを再構築し、エンコーダを正則化してドメイン不変の特徴を学ぶことである。 DiMAEには2つの重要な設計が含まれている。 1) パラメータフリーでコンテンツを持続しながら入力に他のドメインからのスタイル情報を追加するコンテンツ保存スタイルミックス 2)複数のドメイン固有デコーダは、コード化されたドメイン不変の機能に対応する入力のドメインスタイルを復元する。 PACSとDomainNetの実験は、最近の最先端の手法と比較して、DiMAEがかなりの利益を得ていることを示している。
• 全文 参考訳へのリンク

関連論文リスト

• Dynamic Instance Domain Adaptation [109.53575039217094]
  教師なしのドメイン適応に関するほとんどの研究は、各ドメインのトレーニングサンプルがドメインラベルを伴っていると仮定している。 適応的な畳み込みカーネルを持つ動的ニューラルネットワークを開発し、各インスタンスにドメインに依存しない深い特徴を適応させるために、インスタンス適応残差を生成する。 我々のモデルはDIDA-Netと呼ばれ、複数の一般的な単一ソースおよび複数ソースのUDAデータセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-09T20:05:54Z)
• Efficient Hierarchical Domain Adaptation for Pretrained Language Models [77.02962815423658]
  生成言語モデルは、多種多様な一般的なドメインコーパスに基づいて訓練される。 計算効率のよいアダプタアプローチを用いて,ドメイン適応を多種多様なドメインに拡張する手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T11:09:29Z)
• Unsupervised Domain Generalization by Learning a Bridge Across Domains [78.855606355957]
  Unsupervised Domain Generalization (UDG) のセットアップでは、ソースもターゲットドメインもトレーニングの監督は行わない。 本手法は,各トレーニング領域からBrADへの視覚的(イメージ間)マッピングを保存したセマンティクスのセットを伴って,補助的なブリッジドメインであるBrAD(Bridge Across Domains)の自己教師型学習に基づいている。 我々は,エッジレギュラー化したBrADを用いて,UDG,Few-shot UDA,マルチドメインデータセット間の教師なし一般化など,複数のベンチマークやタスクにまたがる大幅な向上を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-12-04T10:25:45Z)
• Exploiting Both Domain-specific and Invariant Knowledge via a Win-win Transformer for Unsupervised Domain Adaptation [14.623272346517794]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的としている。 既存のUDAアプローチのほとんどは、ドメイン不変表現を学習し、2つのドメインにまたがる1つの分類器を共有することによって、知識伝達を可能にする。 我々はWin-Win TRansformerフレームワークを提案し、各ドメインのドメイン固有の知識を別々に探索し、ドメイン間の知識を交換する。
  論文  参考訳（メタデータ） (2021-11-25T06:45:07Z)
• AFAN: Augmented Feature Alignment Network for Cross-Domain Object Detection [90.18752912204778]
  オブジェクト検出のための教師なしドメイン適応は、多くの現実世界のアプリケーションにおいて難しい問題である。 本稿では、中間領域画像生成とドメイン・アドバイザリー・トレーニングを統合した新しい機能アライメント・ネットワーク(AFAN)を提案する。 提案手法は、類似および異種ドメイン適応の双方において、標準ベンチマークにおける最先端の手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2021-06-10T05:01:20Z)
• Self-Supervised Learning of Domain Invariant Features for Depth Estimation [35.74969527929284]
  単一画像深度推定のための教師なし合成-現実的領域適応の課題に対処する。 単一画像深度推定の重要なビルディングブロックはエンコーダ・デコーダ・タスク・ネットワークであり、RGB画像を入力とし、出力として深度マップを生成する。 本稿では,タスクネットワークにドメイン不変表現を自己教師型で学習させる新たなトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2021-06-04T16:45:48Z)
• Achieving Domain Generalization in Underwater Object Detection by Image Stylization and Domain Mixup [8.983901488753967]
  既存の水中物体検出手法は複雑な水中環境に起因する領域シフト問題に直面すると深刻に劣化する。 本稿では,データ拡張の観点からのドメイン一般化手法を提案する。 S-UODAC 2020データセットに関する総合的な実験は、提案手法がドメイン不変表現を学習できることを実証している。
  論文  参考訳（メタデータ） (2021-04-06T01:45:07Z)
• Boosting Binary Masks for Multi-Domain Learning through Affine Transformations [49.25451497933657]
  マルチドメイン学習の目標は、すべてのドメインでタスクを実行する単一のモデルを作成することです。 最近の研究は、学習されたバイナリ変数を通して、与えられた元のconv-netの内部重みをマスキングすることでこの問題に対処できることを示した。 元のネットワークパラメータのアフィン変換によるマルチドメイン学習のためのバイナリマスクベースのモデルの一般定式化を提供する。
  論文  参考訳（メタデータ） (2021-03-25T14:54:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。