論文の概要: Robust Representation Learning with Self-Distillation for Domain
Generalization
- arxiv url: http://arxiv.org/abs/2302.06874v1
- Date: Tue, 14 Feb 2023 07:39:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-15 16:13:09.490579
- Title: Robust Representation Learning with Self-Distillation for Domain
Generalization
- Title(参考訳): ドメイン一般化のための自己蒸留によるロバスト表現学習
- Authors: Ankur Singh, Senthilnath Jayavelu
- Abstract要約: ドメインの一般化は機械学習において難しい問題である。
本稿では,ロバスト表現学習(Robust Representation Learning with Self-Distillation)と呼ばれる新しい領域一般化手法を提案する。
3つのデータセットの最先端よりも0.3%から2.3%の範囲の改善が観察されている。
- 参考スコア(独自算出の注目度): 1.0279748604797911
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Domain generalization is a challenging problem in machine learning, where the
goal is to train a model that can generalize well to unseen target domains
without prior knowledge of these domains. Despite the recent success of deep
neural networks, there remains a lack of effective methods for domain
generalization using vision transformers. In this paper, we propose a novel
domain generalization technique called Robust Representation Learning with
Self-Distillation (RRLD) that utilizes a combination of i) intermediate-block
self-distillation and ii) augmentation-guided self-distillation to improve the
generalization capabilities of transformer-based models on unseen domains. This
approach enables the network to learn robust and general features that are
invariant to different augmentations and domain shifts while effectively
mitigating overfitting to source domains. To evaluate the effectiveness of our
proposed method, we perform extensive experiments on PACS [1] and OfficeHome
[2] benchmark datasets, as well as a real-world wafer semiconductor defect
dataset [3]. Our results demonstrate that RRLD achieves robust and accurate
generalization performance. We observe an improvement in the range of 0.3% to
2.3% over the state-of-the-art on the three datasets.
- Abstract(参考訳): ドメインの一般化は、機械学習において難しい問題であり、その目標は、これらのドメインを事前に知ることなく、未確認のターゲットドメインに適切に一般化できるモデルを訓練することである。
近年のディープニューラルネットワークの成功にもかかわらず、視覚トランスフォーマーを用いたドメイン一般化の効果的な方法が欠如している。
本稿では, 自己蒸留によるロバスト表現学習(rrld)と呼ばれる新しい領域一般化手法を提案する。
一 中間ブロック自己蒸留及び
二 未埋蔵領域における変圧器型モデルの一般化能力を向上させるための増倍誘導自己蒸留
このアプローチにより、異なる拡張やドメインシフトに不変な堅牢で一般的な特徴を学習し、ソースドメインへのオーバーフィットを効果的に軽減することができる。
提案手法の有効性を評価するため,PACS [1]およびOfficeHome [2]ベンチマークデータセット,および実世界のウエハ半導体欠陥データセット[3]について広範な実験を行った。
その結果,RRLDはロバストかつ高精度な一般化性能を実現することが示された。
我々は,3つのデータセットの最先端データに対する0.3%から2.3%の範囲の改善を観察した。
関連論文リスト
- CMDA: Cross-Modal and Domain Adversarial Adaptation for LiDAR-Based 3D
Object Detection [14.063365469339812]
LiDARベースの3Dオブジェクト検出法は、ソース(またはトレーニング)データ配布の外部のターゲットドメインにうまく一般化しないことが多い。
画像のモダリティから視覚的セマンティックキューを活用する,CMDA (unsupervised domain adaptation) と呼ばれる新しい手法を提案する。
また、自己学習に基づく学習戦略を導入し、モデルが逆向きに訓練され、ドメイン不変の機能を生成する。
論文 参考訳(メタデータ) (2024-03-06T14:12:38Z) - Foresee What You Will Learn: Data Augmentation for Domain Generalization
in Non-Stationary Environments [14.344721944207599]
既存のドメインの一般化は、目に見えないドメインでもうまく機能する一般化可能なモデルを学ぶことを目的としている。
本稿では,DDA(Directional Domain Augmentation)を提案する。DDA(Directional Domain Augmentation)は,ソースデータをドメイントランスフォーマーを介して拡張としてマッピングすることで,未確認のターゲット特徴をシミュレートする。
提案手法は, 合成データセットと実世界のデータセットの両方で評価し, 実験結果から, 提案手法が既存の手法より優れていることを示す。
論文 参考訳(メタデータ) (2023-01-19T01:51:37Z) - Learning to Augment via Implicit Differentiation for Domain
Generalization [107.9666735637355]
ドメイン一般化(DG)は、複数のソースドメインを活用してドメイン一般化可能なモデルを学ぶことで、この問題を克服することを目的としている。
本稿では,AugLearnと呼ばれる新しい拡張型DG手法を提案する。
AugLearnは、PACS、Office-Home、Digits-DGの3つの標準DGベンチマークで効果を示す。
論文 参考訳(メタデータ) (2022-10-25T18:51:51Z) - On Certifying and Improving Generalization to Unseen Domains [87.00662852876177]
ドメインの一般化は、テスト時に遭遇した見知らぬドメインのパフォーマンスが高いモデルを学ぶことを目的としています。
いくつかのベンチマークデータセットを使用して、DGアルゴリズムを包括的に評価することは困難である。
我々は,任意のDG手法の最悪の性能を効率的に証明できる普遍的な認証フレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-24T16:29:43Z) - Unsupervised Domain Adaptation for Monocular 3D Object Detection via
Self-Training [57.25828870799331]
我々は、Mono3D上での教師なしドメイン適応のための新しい自己学習フレームワークSTMono3Dを提案する。
対象ドメイン上で適応的な擬似ラベルを生成するための教師学生パラダイムを開発する。
STMono3Dは、評価されたすべてのデータセットで顕著なパフォーマンスを達成し、KITTI 3Dオブジェクト検出データセットの完全な教師付き結果を超えています。
論文 参考訳(メタデータ) (2022-04-25T12:23:07Z) - Large-scale ASR Domain Adaptation using Self- and Semi-supervised
Learning [26.110250680951854]
オンラインASRモデルのための大規模生産環境において,自己学習と半教師あり学習を組み合わせることで,未確認領域適応問題を解決する。
このアプローチは、ターゲット領域データのごく一部(3%)でソースドメインデータを使用することで、完全なデータベースラインと比較してパフォーマンスのギャップを回復できることを実証する。
論文 参考訳(メタデータ) (2021-10-01T01:48:33Z) - Coarse to Fine: Domain Adaptive Crowd Counting via Adversarial Scoring
Network [58.05473757538834]
本稿では,ドメイン間のギャップを粗い粒度から細かな粒度に埋める新しい逆スコアリングネットワーク (ASNet) を提案する。
3組のマイグレーション実験により,提案手法が最先端のカウント性能を実現することを示す。
論文 参考訳(メタデータ) (2021-07-27T14:47:24Z) - Unsupervised Domain Adaptive 3D Detection with Multi-Level Consistency [90.71745178767203]
ディープラーニングに基づく3Dオブジェクト検出は、大規模な自律走行データセットの出現によって、前例のない成功を収めた。
既存の3Dドメイン適応検出手法は、しばしばターゲットのドメインアノテーションへの事前アクセスを前提とします。
我々は、ソースドメインアノテーションのみを利用する、より現実的な、教師なしの3Dドメイン適応検出について研究する。
論文 参考訳(メタデータ) (2021-07-23T17:19:23Z) - FixBi: Bridging Domain Spaces for Unsupervised Domain Adaptation [26.929772844572213]
我々は、ソースとターゲットドメイン間の複数の中間ドメインを拡大するために、固定比に基づくミックスアップを導入する。
我々は、相補的な特性を持つソース支配モデルとターゲット支配モデルを訓練する。
提案手法により,モデルが対象ドメインに徐々にドメイン知識を伝達する。
論文 参考訳(メタデータ) (2020-11-18T11:58:19Z) - Discriminative Adversarial Domain Generalization with Meta-learning
based Cross-domain Validation [9.265557367859637]
ドメイン一般化(DG)技術は、機械学習モデルのそのような一般化能力を高めることを目的としている。
メタラーニングに基づくクロスドメイン検証により,DADG(Dariminative Adversarial Domain Generalization)を提案する。
その結果、DADGは強力なベースラインであるDeepAllを一貫して上回り、ほとんどの場合、既存のDGアルゴリズムよりも上回ります。
論文 参考訳(メタデータ) (2020-11-01T07:48:16Z) - Supervised Domain Adaptation using Graph Embedding [86.3361797111839]
領域適応法は、2つの領域間の分布がシフトし、それを認識しようとすると仮定する。
グラフ埋め込みに基づく汎用フレームワークを提案する。
提案手法が強力なドメイン適応フレームワークにつながることを示す。
論文 参考訳(メタデータ) (2020-03-09T12:25:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。