論文の概要: Robust Representation Learning with Self-Distillation for Domain Generalization

• arxiv url: http://arxiv.org/abs/2302.06874v1
• Date: Tue, 14 Feb 2023 07:39:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-15 16:13:09.490579
• Title: Robust Representation Learning with Self-Distillation for Domain Generalization
• Title（参考訳）: ドメイン一般化のための自己蒸留によるロバスト表現学習
• Authors: Ankur Singh, Senthilnath Jayavelu
• Abstract要約: ドメインの一般化は機械学習において難しい問題である。 本稿では,ロバスト表現学習(Robust Representation Learning with Self-Distillation)と呼ばれる新しい領域一般化手法を提案する。 3つのデータセットの最先端よりも0.3%から2.3%の範囲の改善が観察されている。
• 参考スコア（独自算出の注目度）: 1.0279748604797911
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain generalization is a challenging problem in machine learning, where the goal is to train a model that can generalize well to unseen target domains without prior knowledge of these domains. Despite the recent success of deep neural networks, there remains a lack of effective methods for domain generalization using vision transformers. In this paper, we propose a novel domain generalization technique called Robust Representation Learning with Self-Distillation (RRLD) that utilizes a combination of i) intermediate-block self-distillation and ii) augmentation-guided self-distillation to improve the generalization capabilities of transformer-based models on unseen domains. This approach enables the network to learn robust and general features that are invariant to different augmentations and domain shifts while effectively mitigating overfitting to source domains. To evaluate the effectiveness of our proposed method, we perform extensive experiments on PACS [1] and OfficeHome [2] benchmark datasets, as well as a real-world wafer semiconductor defect dataset [3]. Our results demonstrate that RRLD achieves robust and accurate generalization performance. We observe an improvement in the range of 0.3% to 2.3% over the state-of-the-art on the three datasets.
• Abstract（参考訳）: ドメインの一般化は、機械学習において難しい問題であり、その目標は、これらのドメインを事前に知ることなく、未確認のターゲットドメインに適切に一般化できるモデルを訓練することである。 近年のディープニューラルネットワークの成功にもかかわらず、視覚トランスフォーマーを用いたドメイン一般化の効果的な方法が欠如している。 本稿では, 自己蒸留によるロバスト表現学習(rrld)と呼ばれる新しい領域一般化手法を提案する。 一 中間ブロック自己蒸留及び 二 未埋蔵領域における変圧器型モデルの一般化能力を向上させるための増倍誘導自己蒸留 このアプローチにより、異なる拡張やドメインシフトに不変な堅牢で一般的な特徴を学習し、ソースドメインへのオーバーフィットを効果的に軽減することができる。 提案手法の有効性を評価するため,PACS [1]およびOfficeHome [2]ベンチマークデータセット,および実世界のウエハ半導体欠陥データセット[3]について広範な実験を行った。 その結果,RRLDはロバストかつ高精度な一般化性能を実現することが示された。 我々は,3つのデータセットの最先端データに対する0.3%から2.3%の範囲の改善を観察した。

関連論文リスト

• Feature Fusion Transferability Aware Transformer for Unsupervised Domain Adaptation [1.9035011984138845]
  Unsupervised domain adapt (UDA) は、ラベル付きソースドメインから学んだ知識を活用し、ラベルなしターゲットドメインのパフォーマンスを改善することを目的としている。 近年の研究では、視覚変換器(ViT)の応用が期待されている。 本稿では,UDAタスクにおけるVT性能を向上させるために,FFTAT(Feature Fusion Transferability Aware Transformer)を提案する。
  論文  参考訳（メタデータ） (2024-11-10T22:23:12Z)
• Domain penalisation for improved Out-of-Distribution Generalisation [1.979158763744267]
  ドメインの一般化(DG)は、多種多様な未確認のターゲットドメインにおける堅牢なパフォーマンスを保証することを目的としている。 本稿では、複数のソースドメインからデータをサンプリングすると仮定した、オブジェクト検出のタスクのためのフレームワークを提案する。 より多くの注意を必要とするドメインを優先することで、私たちのアプローチはトレーニングプロセスのバランスを効果的に保ちます。
  論文  参考訳（メタデータ） (2024-08-03T11:06:47Z)
• Self-Supervised Modality-Agnostic Pre-Training of Swin Transformers [0.7496510641958004]
  我々はSwin Transformerを拡張して、異なる医用画像モダリティから学習し、下流のパフォーマンスを向上させる。 SwinFUSEと呼ばれるこのモデルは,事前学習中にCT(Computed Tomography)とMRI(Magical Resonance Images)の両方から学習し,補完的な特徴表現をもたらす。
  論文  参考訳（メタデータ） (2024-05-21T13:28:32Z)
• CMDA: Cross-Modal and Domain Adversarial Adaptation for LiDAR-Based 3D Object Detection [14.063365469339812]
  LiDARベースの3Dオブジェクト検出法は、ソース(またはトレーニング)データ配布の外部のターゲットドメインにうまく一般化しないことが多い。 画像のモダリティから視覚的セマンティックキューを活用する,CMDA (unsupervised domain adaptation) と呼ばれる新しい手法を提案する。 また、自己学習に基づく学習戦略を導入し、モデルが逆向きに訓練され、ドメイン不変の機能を生成する。
  論文  参考訳（メタデータ） (2024-03-06T14:12:38Z)
• Improving Source-Free Target Adaptation with Vision Transformers Leveraging Domain Representation Images [8.626222763097335]
  Unsupervised Domain Adaptation (UDA)メソッドは、ラベル付きソースドメインからラベル付きターゲットドメインへの知識転送を容易にする。 本稿では、キー、クエリ、値要素がViT結果にどのように影響するかを評価することから、ソースフリーなターゲット適応におけるViT性能を高める革新的な方法を提案する。 ドメイン表現画像(DRI)は、ドメイン固有のマーカーとして機能し、トレーニングレギュレータとシームレスにマージする。
  論文  参考訳（メタデータ） (2023-11-21T13:26:13Z)
• MADAv2: Advanced Multi-Anchor Based Active Domain Adaptation Segmentation [98.09845149258972]
  セマンティックセグメンテーションタスクに関するドメイン適応を支援するために,アクティブなサンプル選択を導入する。 これらのサンプルを手動でアノテートする作業量が少ないため、ターゲット領域分布の歪みを効果的に緩和することができる。 長期分布問題を緩和するために、強力な半教師付きドメイン適応戦略を提案する。
  論文  参考訳（メタデータ） (2023-01-18T07:55:22Z)
• Generalizability of Adversarial Robustness Under Distribution Shifts [57.767152566761304]
  本研究は, 実証的, 証明された敵対的堅牢性間の相互作用と, ドメインの一般化を両立させるための第一歩を踏み出した。 複数のドメインでロバストモデルをトレーニングし、その正確性とロバスト性を評価する。 本研究は, 現実の医療応用をカバーするために拡張され, 敵の増大は, クリーンデータ精度に最小限の影響を伴って, 強靭性の一般化を著しく促進する。
  論文  参考訳（メタデータ） (2022-09-29T18:25:48Z)
• On Certifying and Improving Generalization to Unseen Domains [87.00662852876177]
  ドメインの一般化は、テスト時に遭遇した見知らぬドメインのパフォーマンスが高いモデルを学ぶことを目的としています。 いくつかのベンチマークデータセットを使用して、DGアルゴリズムを包括的に評価することは困難である。 我々は,任意のDG手法の最悪の性能を効率的に証明できる普遍的な認証フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-24T16:29:43Z)
• Coarse to Fine: Domain Adaptive Crowd Counting via Adversarial Scoring Network [58.05473757538834]
  本稿では,ドメイン間のギャップを粗い粒度から細かな粒度に埋める新しい逆スコアリングネットワーク (ASNet) を提案する。 3組のマイグレーション実験により,提案手法が最先端のカウント性能を実現することを示す。
  論文  参考訳（メタデータ） (2021-07-27T14:47:24Z)
• Unsupervised Domain Adaptive 3D Detection with Multi-Level Consistency [90.71745178767203]
  ディープラーニングに基づく3Dオブジェクト検出は、大規模な自律走行データセットの出現によって、前例のない成功を収めた。 既存の3Dドメイン適応検出手法は、しばしばターゲットのドメインアノテーションへの事前アクセスを前提とします。 我々は、ソースドメインアノテーションのみを利用する、より現実的な、教師なしの3Dドメイン適応検出について研究する。
  論文  参考訳（メタデータ） (2021-07-23T17:19:23Z)
• Transformer-Based Source-Free Domain Adaptation [134.67078085569017]
  本研究では,ソースフリードメイン適応(SFDA)の課題について検討する。 我々は、FDAの一般化モデルを学ぶためのTransformer(TransDA)という、汎用的で効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-28T23:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。