論文の概要: Exploring the Benefits of Vision Foundation Models for Unsupervised Domain Adaptation
- arxiv url: http://arxiv.org/abs/2406.09896v1
- Date: Fri, 14 Jun 2024 10:13:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-17 14:14:45.466170
- Title: Exploring the Benefits of Vision Foundation Models for Unsupervised Domain Adaptation
- Title（参考訳）: 教師なしドメイン適応のためのビジョン基礎モデルの利点を探る
- Authors: Brunó B. Englert, Fabrizio J. Piva, Tommie Kerssies, Daan de Geus, Gijs Dubbelman,
- Abstract要約: 本研究では、VFM(Vision Foundation Models)とUnsupervised Domain Adaptation(Unsupervised Domain Adaptation)の手法が相補的かどうかを検討する。
その結果,VFMとUDAを併用することで,VFMのアウト・オブ・ディストリビューション性能を維持しつつ,UDAのパフォーマンスが向上し,また,(b)特定の時間を消費するUDAコンポーネントを冗長にする,という2つの利点が示された。
- 参考スコア（独自算出の注目度）: 1.5845117761091052
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Achieving robust generalization across diverse data domains remains a significant challenge in computer vision. This challenge is important in safety-critical applications, where deep-neural-network-based systems must perform reliably under various environmental conditions not seen during training. Our study investigates whether the generalization capabilities of Vision Foundation Models (VFMs) and Unsupervised Domain Adaptation (UDA) methods for the semantic segmentation task are complementary. Results show that combining VFMs with UDA has two main benefits: (a) it allows for better UDA performance while maintaining the out-of-distribution performance of VFMs, and (b) it makes certain time-consuming UDA components redundant, thus enabling significant inference speedups. Specifically, with equivalent model sizes, the resulting VFM-UDA method achieves an 8.4$\times$ speed increase over the prior non-VFM state of the art, while also improving performance by +1.2 mIoU in the UDA setting and by +6.1 mIoU in terms of out-of-distribution generalization. Moreover, when we use a VFM with 3.6$\times$ more parameters, the VFM-UDA approach maintains a 3.3$\times$ speed up, while improving the UDA performance by +3.1 mIoU and the out-of-distribution performance by +10.3 mIoU. These results underscore the significant benefits of combining VFMs with UDA, setting new standards and baselines for Unsupervised Domain Adaptation in semantic segmentation.
- Abstract（参考訳）: 多様なデータ領域にまたがる堅牢な一般化を実現することは、コンピュータビジョンにおいて重要な課題である。
この課題は、ディープ・ニューラル・ネットワークベースのシステムが、トレーニング中に見えない様々な環境条件下で確実に動作しなければならない、安全クリティカルなアプリケーションにおいて重要である。
本研究では,視覚基礎モデル(VFM)と教師なしドメイン適応法(UDA)のセグメンテーションタスクにおける一般化能力について検討した。
その結果,VFMとUDAの併用には2つの利点があることがわかった。
(a)VFMのアウト・オブ・ディストリビューション性能を維持しつつ、より優れたUDA性能を実現し、
b) 特定の時間を消費するUDAコンポーネントを冗長にすることで、大きな推論スピードアップを可能にします。
具体的には、同値なモデルサイズで、結果のVFM-UDA法は、以前のVFM状態よりも8.4$\times$の速度向上を実現し、UDA設定では+1.2 mIoU、分布外一般化では+6.1 mIoUの性能向上を実現している。
さらに、3.6$\times$以上のパラメータを持つVFMを使用する場合、VFM-UDAアプローチは3.3$\times$のスピードアップを維持し、UDAのパフォーマンスは+3.1 mIoUで改善され、アウト・オブ・ディストリビューション性能は+10.3 mIoUで向上する。
これらの結果は、VFMとUDAを組み合わせることにより、セマンティックセグメンテーションにおけるアン教師なしドメイン適応のための新しい標準とベースラインを確立するという大きなメリットを浮き彫りにしている。
関連論文リスト
- Unveiling the Superior Paradigm: A Comparative Study of Source-Free Domain Adaptation and Unsupervised Domain Adaptation [52.36436121884317]
Source-Free Domain Adaptation (SFDA) は、現実のシナリオにおいて、Unsupervised Domain Adaptation (UDA) よりも一般的に優れていることを示す。
SFDAは、時間効率、ストレージ要件、対象とする学習目標、負の移動リスクの低減、過度な適合に対する堅牢性の向上といった利点を提供している。
利用可能なソースデータをマルチSFDA手法に効果的に統合する新しい重み推定法を提案する。
論文 参考訳（メタデータ） (2024-11-24T13:49:29Z) - ALOcc: Adaptive Lifting-based 3D Semantic Occupancy and Cost Volume-based Flow Prediction [89.89610257714006]
既存の手法は、これらのタスクの要求に応えるために高い精度を優先する。
本稿では,3次元セマンティック占有率予測とフロー推定のための一連の改善点を紹介する。
私たちの純粋な時間的アーキテクチャフレームワークであるALOccは、速度と精度の最適なトレードオフを実現しています。
論文 参考訳（メタデータ） (2024-11-12T11:32:56Z) - Cooperative Students: Navigating Unsupervised Domain Adaptation in Nighttime Object Detection [1.6624384368855527]
教師なし領域適応 (Unsupervised Domain Adaptation, UDA) は、厳密な条件下での物体検出において顕著な進歩を示した。
UDAのパフォーマンスは特に夜間の低可視性シナリオで低下する。
この問題に対処するため,textbfCooperative textbfStudents (textbfCoS) フレームワークを提案する。
論文 参考訳（メタデータ） (2024-04-02T14:26:18Z) - Prompt-based Distribution Alignment for Unsupervised Domain Adaptation [42.77798810726824]
教師なし学習型視覚言語モデル(VLM)は、ソースドメインとターゲットドメイン間の分布差を著しく低減できることを示す。
このようなモデルを下流のUDAタスクに直接デプロイする上での大きな課題は、迅速なエンジニアリングである。
本稿では,ドメイン知識を素早い学習に組み込むためのPDA手法を提案する。
論文 参考訳（メタデータ） (2023-12-15T06:15:04Z) - MoPA: Multi-Modal Prior Aided Domain Adaptation for 3D Semantic
Segmentation [38.42077782990957]
マルチモーダル・アン教師付きドメイン適応(MM-UDA)は、高価なポイントワイドアノテーションを使わずに自律システムに意味理解を組み込むための実用的なソリューションである。
従来のMM-UDAメソッドは、クラス不均衡な性能に悩まされ、実際のアプリケーションでの利用を制限する。
本稿では,レアオブジェクトの性能向上を目的としたマルチモーダルプライオリティ・エイドド(MoPA)ドメイン適応を提案する。
論文 参考訳（メタデータ） (2023-09-21T07:30:21Z) - Generalized Face Forgery Detection via Adaptive Learning for Pre-trained Vision Transformer [54.32283739486781]
適応学習パラダイムの下で,textbfForgery-aware textbfAdaptive textbfVision textbfTransformer(FA-ViT)を提案する。
FA-ViTは、クロスデータセット評価において、Celeb-DFおよびDFDCデータセット上で93.83%と78.32%のAUCスコアを達成する。
論文 参考訳（メタデータ） (2023-09-20T06:51:11Z) - FDAPT: Federated Domain-adaptive Pre-training for Language Models [15.755622890097941]
本稿では,DAPT(Domain-Adaptive Pre-Training)の具体例について述べる。
FDAPT(Federated Domain-Adaptive Pre-Training)の成績を評価するための総合的実証的研究を行った。
我々はFFDAPT(Frozen Federated Domain-Adaptive Pre-Training)という新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-07-12T17:04:28Z) - MEnsA: Mix-up Ensemble Average for Unsupervised Multi Target Domain
Adaptation on 3D Point Clouds [9.568577396815602]
Unlabelled Domain adaptation (UDA) は、教師なしターゲットドメインとラベル付きソースドメインの間の分散シフトの問題に対処する。
我々は,すべてのドメインの特徴表現を混合して,アンサンブル平均によるドメイン適応性能を向上させることを提案する。
混合表現では、ドメイン分類器を用いて、ソースドメインの特徴表現を、共有潜在空間における対象ドメインの特徴表現と区別する。
論文 参考訳（メタデータ） (2023-04-04T06:13:33Z) - IDA: Informed Domain Adaptive Semantic Segmentation [51.12107564372869]
クラスレベルのセグメンテーション性能に基づいてデータを混合する自己学習フレームワークであるDomain Informed Adaptation (IDA) モデルを提案する。
IDAモデルでは、クラスレベルの性能を期待信頼スコア(ECS)によって追跡し、動的スケジュールを用いて異なる領域のデータに対する混合比を決定する。
提案手法は,GTA-Vの都市景観への適応において1.1 mIoU,SynTHIAの都市への適応において0.9 mIoUのマージンで,最先端のUDA-SS法よりも優れる。
論文 参考訳（メタデータ） (2023-03-05T18:16:34Z) - MIC: Masked Image Consistency for Context-Enhanced Domain Adaptation [104.40114562948428]
教師なしドメイン適応(UDA)では、ソースデータ(例えば、合成)に基づいて訓練されたモデルは、ターゲットアノテーションにアクセスすることなく、ターゲットデータ(例えば、現実世界)に適応する。
本研究では,対象領域の空間的コンテキスト関係を学習し,UDAを向上するMasked Image Consistency (MIC)モジュールを提案する。
MICは、合成からリアルタイム、日夜、クリア・ツー・リバース・ウェザーUDAの様々な認識タスクにおいて、最先端の性能を著しく向上させる。
論文 参考訳（メタデータ） (2022-12-02T17:29:32Z) - FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization [73.41395947275473]
本稿では、変換周波数領域において、ドメイン固有の特徴をフィルタリングする新しい周波数認識アーキテクチャを提案する。
3つのベンチマークの実験では、最先端の手法をそれぞれ3%、4%、9%のマージンで上回った。
論文 参考訳（メタデータ） (2022-03-24T07:26:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。