論文の概要: Robust Representation Learning with Self-Distillation for Domain Generalization

• arxiv url: http://arxiv.org/abs/2302.06874v2
• Date: Fri, 12 Apr 2024 04:42:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-15 20:15:54.676755
• Title: Robust Representation Learning with Self-Distillation for Domain Generalization
• Title（参考訳）: ドメイン一般化のための自己蒸留によるロバスト表現学習
• Authors: Ankur Singh, Senthilnath Jayavelu,
• Abstract要約: 本稿では,ロバスト表現学習(Robust Representation Learning with Self-Distillation)と呼ばれる新しい領域一般化手法を提案する。 3つのデータセットの最先端データに対して、平均精度を1.2%から2.3%に改善する。
• 参考スコア（独自算出の注目度）: 2.0817769887373245
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the recent success of deep neural networks, there remains a need for effective methods to enhance domain generalization using vision transformers. In this paper, we propose a novel domain generalization technique called Robust Representation Learning with Self-Distillation (RRLD) comprising i) intermediate-block self-distillation and ii) augmentation-guided self-distillation to improve the generalization capabilities of transformer-based models on unseen domains. This approach enables the network to learn robust and general features that are invariant to different augmentations and domain shifts while effectively mitigating overfitting to source domains. To evaluate the effectiveness of our proposed method, we perform extensive experiments on PACS and OfficeHome benchmark datasets, as well as an industrial wafer semiconductor defect dataset. The results demonstrate that RRLD achieves robust and accurate generalization performance. We observe an average accuracy improvement in the range of 1.2% to 2.3% over the state-of-the-art on the three datasets.
• Abstract（参考訳）: 近年のディープニューラルネットワークの成功にもかかわらず、視覚変換器を使用してドメインの一般化を強化する効果的な方法が依然として必要である。 本稿では, 自己蒸留を用いたロバスト表現学習(RRLD)と呼ばれる新しい領域一般化手法を提案する。 一 中間ブロックの自己蒸留及び 二 変圧器を用いた非表示領域の一般化能力を向上させるための増倍誘導自己蒸留 このアプローチにより、ネットワークは、ソースドメインへのオーバーフィッティングを効果的に軽減しつつ、異なる拡張やドメインシフトに不変な、堅牢で一般的な機能を学ぶことができる。 提案手法の有効性を評価するため,PACSおよびOfficeHomeベンチマークデータセットおよび産業用ウエハ半導体欠陥データセットについて広範な実験を行った。 その結果,RRLDはロバストかつ高精度な一般化性能を実現することが示された。 3つのデータセットの最先端技術よりも、平均精度が1.2%から2.3%向上しているのを観察する。

関連論文リスト

• Feature Fusion Transferability Aware Transformer for Unsupervised Domain Adaptation [1.9035011984138845]
  Unsupervised domain adapt (UDA) は、ラベル付きソースドメインから学んだ知識を活用し、ラベルなしターゲットドメインのパフォーマンスを改善することを目的としている。 近年の研究では、視覚変換器(ViT)の応用が期待されている。 本稿では,UDAタスクにおけるVT性能を向上させるために,FFTAT(Feature Fusion Transferability Aware Transformer)を提案する。
  論文  参考訳（メタデータ） (2024-11-10T22:23:12Z)
• Domain penalisation for improved Out-of-Distribution Generalisation [1.979158763744267]
  ドメインの一般化(DG)は、多種多様な未確認のターゲットドメインにおける堅牢なパフォーマンスを保証することを目的としている。 本稿では、複数のソースドメインからデータをサンプリングすると仮定した、オブジェクト検出のタスクのためのフレームワークを提案する。 より多くの注意を必要とするドメインを優先することで、私たちのアプローチはトレーニングプロセスのバランスを効果的に保ちます。
  論文  参考訳（メタデータ） (2024-08-03T11:06:47Z)
• Self-Supervised Modality-Agnostic Pre-Training of Swin Transformers [0.7496510641958004]
  我々はSwin Transformerを拡張して、異なる医用画像モダリティから学習し、下流のパフォーマンスを向上させる。 SwinFUSEと呼ばれるこのモデルは,事前学習中にCT(Computed Tomography)とMRI(Magical Resonance Images)の両方から学習し,補完的な特徴表現をもたらす。
  論文  参考訳（メタデータ） (2024-05-21T13:28:32Z)
• CMDA: Cross-Modal and Domain Adversarial Adaptation for LiDAR-Based 3D Object Detection [14.063365469339812]
  LiDARベースの3Dオブジェクト検出法は、ソース(またはトレーニング)データ配布の外部のターゲットドメインにうまく一般化しないことが多い。 画像のモダリティから視覚的セマンティックキューを活用する,CMDA (unsupervised domain adaptation) と呼ばれる新しい手法を提案する。 また、自己学習に基づく学習戦略を導入し、モデルが逆向きに訓練され、ドメイン不変の機能を生成する。
  論文  参考訳（メタデータ） (2024-03-06T14:12:38Z)
• Improving Source-Free Target Adaptation with Vision Transformers Leveraging Domain Representation Images [8.626222763097335]
  Unsupervised Domain Adaptation (UDA)メソッドは、ラベル付きソースドメインからラベル付きターゲットドメインへの知識転送を容易にする。 本稿では、キー、クエリ、値要素がViT結果にどのように影響するかを評価することから、ソースフリーなターゲット適応におけるViT性能を高める革新的な方法を提案する。 ドメイン表現画像(DRI)は、ドメイン固有のマーカーとして機能し、トレーニングレギュレータとシームレスにマージする。
  論文  参考訳（メタデータ） (2023-11-21T13:26:13Z)
• MADAv2: Advanced Multi-Anchor Based Active Domain Adaptation Segmentation [98.09845149258972]
  セマンティックセグメンテーションタスクに関するドメイン適応を支援するために,アクティブなサンプル選択を導入する。 これらのサンプルを手動でアノテートする作業量が少ないため、ターゲット領域分布の歪みを効果的に緩和することができる。 長期分布問題を緩和するために、強力な半教師付きドメイン適応戦略を提案する。
  論文  参考訳（メタデータ） (2023-01-18T07:55:22Z)
• Generalizability of Adversarial Robustness Under Distribution Shifts [57.767152566761304]
  本研究は, 実証的, 証明された敵対的堅牢性間の相互作用と, ドメインの一般化を両立させるための第一歩を踏み出した。 複数のドメインでロバストモデルをトレーニングし、その正確性とロバスト性を評価する。 本研究は, 現実の医療応用をカバーするために拡張され, 敵の増大は, クリーンデータ精度に最小限の影響を伴って, 強靭性の一般化を著しく促進する。
  論文  参考訳（メタデータ） (2022-09-29T18:25:48Z)
• On Certifying and Improving Generalization to Unseen Domains [87.00662852876177]
  ドメインの一般化は、テスト時に遭遇した見知らぬドメインのパフォーマンスが高いモデルを学ぶことを目的としています。 いくつかのベンチマークデータセットを使用して、DGアルゴリズムを包括的に評価することは困難である。 我々は,任意のDG手法の最悪の性能を効率的に証明できる普遍的な認証フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-24T16:29:43Z)
• Coarse to Fine: Domain Adaptive Crowd Counting via Adversarial Scoring Network [58.05473757538834]
  本稿では,ドメイン間のギャップを粗い粒度から細かな粒度に埋める新しい逆スコアリングネットワーク (ASNet) を提案する。 3組のマイグレーション実験により,提案手法が最先端のカウント性能を実現することを示す。
  論文  参考訳（メタデータ） (2021-07-27T14:47:24Z)
• Unsupervised Domain Adaptive 3D Detection with Multi-Level Consistency [90.71745178767203]
  ディープラーニングに基づく3Dオブジェクト検出は、大規模な自律走行データセットの出現によって、前例のない成功を収めた。 既存の3Dドメイン適応検出手法は、しばしばターゲットのドメインアノテーションへの事前アクセスを前提とします。 我々は、ソースドメインアノテーションのみを利用する、より現実的な、教師なしの3Dドメイン適応検出について研究する。
  論文  参考訳（メタデータ） (2021-07-23T17:19:23Z)
• Transformer-Based Source-Free Domain Adaptation [134.67078085569017]
  本研究では,ソースフリードメイン適応(SFDA)の課題について検討する。 我々は、FDAの一般化モデルを学ぶためのTransformer(TransDA)という、汎用的で効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-28T23:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。