論文の概要: Saliency Guided Image Warping for Unsupervised Domain Adaptation
- arxiv url: http://arxiv.org/abs/2403.12712v2
- Date: Wed, 31 Jul 2024 02:33:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-01 20:15:23.108118
- Title: Saliency Guided Image Warping for Unsupervised Domain Adaptation
- Title(参考訳): 教師なし領域適応のための親和性誘導画像ワープ
- Authors: Shen Zheng, Anurag Ghosh, Srinivasa G. Narasimhan,
- Abstract要約: 位置画像ワープを用いて、有能な対象領域に焦点を合わせることにより、UDAトレーニングを改善する。
我々は、オブジェクト領域を適応的にオーバーサンプリングするために、インスタンスレベルの正当性ガイダンスを設計する。
我々のアプローチは、地理、照明、気象条件の順応を改善します。
- 参考スコア(独自算出の注目度): 19.144094571994756
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Driving is challenging in conditions like night, rain, and snow. The lack of good labeled datasets has hampered progress in scene understanding under such conditions. Unsupervised domain adaptation (UDA) using large labeled clear-day datasets is a promising research direction in such cases. Current UDA methods, however, treat all image pixels uniformly, leading to over-reliance on the dominant scene backgrounds (e.g., roads, sky, sidewalks) that appear dramatically different across domains. As a result, they struggle to learn effective features of smaller and often sparse foreground objects (e.g., people, vehicles, signs). In this work, we improve UDA training by using in-place image warping to focus on salient object regions. Our insight is that while backgrounds vary significantly across domains (e.g., snowy night vs. clear day), object appearances vary to a lesser extent. Therefore, we design instance-level saliency guidance to adaptively oversample object regions, which reduces adverse effects from background context and enhances backbone feature learning. We then unwarp the better learned features while adapting from source to target. Our approach improves adaptation across geographies, lighting, and weather conditions, and is agnostic to the task (segmentation, detection), domain adaptation algorithm, saliency guidance, and underlying model architecture. Result highlights include +6.1 mAP50 for BDD100K Clear $\rightarrow$ DENSE Foggy, +3.7 mAP50 for BDD100K Day $\rightarrow$ Night, +3.0 mAP50 for BDD100K Clear $\rightarrow$ Rainy, and +6.3 mIoU for Cityscapes $\rightarrow$ ACDC. Our method adds minimal training memory and incurs no additional inference latency. Please see Appendix for more results and analysis.
- Abstract(参考訳): 夜間、雨、雪などでは運転が難しい。
良質なラベル付きデータセットの欠如は、そのような条件下でのシーン理解の進歩を妨げている。
大規模ラベル付き明日データセットを用いた教師なしドメイン適応(UDA)は、そのようなケースにおいて有望な研究方向である。
しかし、現在のUDA法では、すべての画像ピクセルを均一に処理し、ドメイン間で劇的に異なるシーン背景(道路、空、歩道など)に過度に依存する。
その結果、より小さく、しばしば疎い前景の物体(例えば、人、車、標識)の効果的な特徴を学ぶのに苦労した。
本研究は、位置画像ワープを用いて、有能な対象領域に焦点を合わせることにより、UDAトレーニングを改善するものである。
我々の洞察では、背景は領域によって大きく異なるが(例:雪の夜と晴れた日)、物体の外観はそれほど変化しない。
そこで我々は,背景環境からの悪影響を低減し,バックボーンの特徴学習を強化するため,オブジェクト領域を適応的にオーバーサンプリングするインスタンスレベルのサリエンシガイダンスを設計する。
そして、ソースからターゲットに適応しながら、より良い学習機能をアンウォープします。
提案手法は,地理,照明,気象条件の順応性を改善し,タスク(セグメンテーション,検出),ドメイン適応アルゴリズム,サリエンシガイダンス,基礎となるモデルアーキテクチャに依存しない。
結果のハイライトは、BDD100K Clear $\rightarrow$ DENSE Foggy, +3.7 mAP50 for BDD100K Day $\rightarrow$ Night, +3.0 mAP50 for BDD100K Clear $\rightarrow$ Rainy, +6.3 mooU for Cityscapes $\rightarrow$ ACDCである。
我々の方法は、最小限のトレーニングメモリを追加し、追加の推論遅延を発生させない。
さらなる結果と分析については、Appendixをご覧ください。
関連論文リスト
- Stepwise Regression and Pre-trained Edge for Robust Stereo Matching [2.8908326904081334]
本稿では,SR-Stereoと呼ばれる新しいステレオマッチング手法を提案する。
また,事前訓練されたエッジ(DAPE)に基づくドメイン適応手法を提案する。
これらの手法は,SceneFlow,KITTI,Middbury 2014,ETH3Dで広く評価されている。
論文 参考訳(メタデータ) (2024-06-11T05:25:25Z) - Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。
雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文 参考訳(メタデータ) (2024-03-11T16:22:41Z) - Test-Time Adaptation for Depth Completion [9.304152205375757]
いくつかの(ソース)データセットでトレーニングされたモデルを転送して、ドメイン間のギャップによってテストデータをターゲットにする場合、パフォーマンスの劣化を観測することが一般的である。
本稿では,1枚の画像とそれに伴うスパース深度マップから高密度深度マップを推定するタスクである深度完成のためのオンラインテスト時間適応手法を提案する。
論文 参考訳(メタデータ) (2024-02-05T18:59:52Z) - A Comprehensive Study of Image Classification Model Sensitivity to
Foregrounds, Backgrounds, and Visual Attributes [58.633364000258645]
このデータセットをRIVAL10と呼びます。
本研究では,前景,背景,属性の騒音劣化に対する幅広いモデルの感度を評価する。
本稿では,多種多様な最先端アーキテクチャ (ResNets, Transformers) とトレーニング手順 (CLIP, SimCLR, DeiT, Adversarial Training) について考察する。
論文 参考訳(メタデータ) (2022-01-26T06:31:28Z) - Self-Supervised Pre-Training for Transformer-Based Person
Re-Identification [54.55281692768765]
トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する
ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。
この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
論文 参考訳(メタデータ) (2021-11-23T18:59:08Z) - Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
我々は,推論中に深層モデルを新しい環境に適応させることを提案する。
バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。
また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
論文 参考訳(メタデータ) (2021-10-06T08:45:03Z) - Dynamic Scale Training for Object Detection [111.33112051962514]
本稿では,オブジェクト検出におけるスケール変動問題を軽減するために,動的スケールトレーニングパラダイム(DST)を提案する。
提案したDSTのスケール変動処理に対する有効性を示す実験結果を得た。
推論オーバーヘッドを導入せず、一般的な検出設定のための無料ランチとして機能する。
論文 参考訳(メタデータ) (2020-04-26T16:48:17Z) - Disp R-CNN: Stereo 3D Object Detection via Shape Prior Guided Instance
Disparity Estimation [51.17232267143098]
ステレオ画像から3次元物体を検出するための新しいシステムDisp R-CNNを提案する。
我々は、LiDAR点雲を必要とせずに、統計的形状モデルを用いて、密度の異なる擬似地下構造を生成する。
KITTIデータセットの実験によると、LiDARの基盤構造がトレーニング時に利用できない場合でも、Disp R-CNNは競争性能を達成し、平均精度で従来の最先端手法を20%上回っている。
論文 参考訳(メタデータ) (2020-04-07T17:48:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。