論文の概要: Similarity Min-Max: Zero-Shot Day-Night Domain Adaptation
- arxiv url: http://arxiv.org/abs/2307.08779v1
- Date: Mon, 17 Jul 2023 18:50:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-19 17:39:28.932450
- Title: Similarity Min-Max: Zero-Shot Day-Night Domain Adaptation
- Title(参考訳): 類似性 Min-Max: ゼロショットデイナイトドメイン適応
- Authors: Rundong Luo, Wenjing Wang, Wenhan Yang, Jiaying Liu
- Abstract要約: 低照度条件は人間の視覚経験を妨げるだけでなく、下流の視覚タスクにおけるモデルの性能を低下させる。
この論文は、境界適用性、すなわちゼロショットの昼夜ドメイン適応に関するより複雑なシナリオに挑戦する。
我々は、それらを統一された枠組みで考える類似性 min-max パラダイムを提案する。
- 参考スコア(独自算出の注目度): 71.43256600739856
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Low-light conditions not only hamper human visual experience but also degrade
the model's performance on downstream vision tasks. While existing works make
remarkable progress on day-night domain adaptation, they rely heavily on domain
knowledge derived from the task-specific nighttime dataset. This paper
challenges a more complicated scenario with border applicability, i.e.,
zero-shot day-night domain adaptation, which eliminates reliance on any
nighttime data. Unlike prior zero-shot adaptation approaches emphasizing either
image-level translation or model-level adaptation, we propose a similarity
min-max paradigm that considers them under a unified framework. On the image
level, we darken images towards minimum feature similarity to enlarge the
domain gap. Then on the model level, we maximize the feature similarity between
the darkened images and their normal-light counterparts for better model
adaptation. To the best of our knowledge, this work represents the pioneering
effort in jointly optimizing both aspects, resulting in a significant
improvement of model generalizability. Extensive experiments demonstrate our
method's effectiveness and broad applicability on various nighttime vision
tasks, including classification, semantic segmentation, visual place
recognition, and video action recognition. Code and pre-trained models are
available at https://red-fairy.github.io/ZeroShotDayNightDA-Webpage/.
- Abstract(参考訳): 低照度条件は人間の視覚経験を妨げるだけでなく、下流の視覚タスクにおけるモデルの性能を低下させる。
既存の作業は昼夜のドメイン適応において著しく進歩するが、それらはタスク固有の夜間データセットから派生したドメイン知識に大きく依存する。
本稿では、夜間データに依存しないゼロショットの昼夜領域適応という、境界適用性を伴うより複雑なシナリオに挑戦する。
画像レベルの翻訳やモデルレベルの適応を強調する以前のゼロショット適応アプローチとは異なり、これらを統一されたフレームワークで考慮した類似性min-maxパラダイムを提案する。
画像レベルでは、最小限の機能の類似性に向かって画像を暗くして、ドメインギャップを拡大します。
そして、モデルレベルでは、暗い画像と通常の光との特徴の類似性を最大化し、より良いモデル適応を行う。
私たちの知る限りでは、この研究は両方の側面を共同で最適化する先駆的な取り組みであり、結果としてモデルの一般化性が大幅に向上します。
提案手法は,分類,意味セグメンテーション,視覚位置認識,映像行動認識など,様々な夜間視覚タスクにおいて有効性と幅広い適用性を示す。
コードと事前トレーニングされたモデルは、https://red-fairy.github.io/zeroshotdaynightda-webpage/で入手できる。
関連論文リスト
- Appearance Codes using Joint Embedding Learning of Multiple Modalities [0.0]
このテクニックの大きな制限は、推論のすべてのシーンで、新しい外観コードを再訓練する必要があることである。
本研究では,異なるモダリティ間の対照的な損失制約を強制することにより,シーンの外観と構造に対する共同埋め込み空間を学習するフレームワークを提案する。
提案手法は,未知の画像に対する外観符号を学習することなく,類似した品質の世代を達成できることを示す。
論文 参考訳(メタデータ) (2023-11-19T21:24:34Z) - Bilevel Fast Scene Adaptation for Low-Light Image Enhancement [50.639332885989255]
低照度シーンにおける画像の強調は、コンピュータビジョンにおいて難しいが、広く懸念されている課題である。
主な障害は、異なるシーンにまたがる分散の相違によるモデリングの混乱にある。
上述の潜在対応をモデル化するための双レベルパラダイムを導入する。
エンコーダのシーン非関連な一般化を多様なシーンにもたらすために、双方向学習フレームワークを構築した。
論文 参考訳(メタデータ) (2023-06-02T08:16:21Z) - TINYCD: A (Not So) Deep Learning Model For Change Detection [68.8204255655161]
変化検出(CD)の目的は、同じ領域で発生した変化を異なる時間に撮影された2つの画像を比較して検出することである。
ディープラーニングの分野での最近の進歩により、研究者はこの分野で卓越した成果を得られるようになった。
我々はTinyCDと呼ばれる新しいモデルを提案し、軽量かつ効果的であることを実証した。
論文 参考訳(メタデータ) (2022-07-26T19:28:48Z) - Cross-Domain Correlation Distillation for Unsupervised Domain Adaptation
in Nighttime Semantic Segmentation [17.874336775904272]
CCDistillと呼ばれるクロスドメイン相関蒸留による新しいドメイン適応フレームワークを提案する。
特徴に含まれる内容やスタイルの知識を抽出し、2つの画像間の固有または照度差の度合いを算出する。
Dark Zurich と ACDC の実験では,CCDistill が夜間セマンティックセマンティックセグメンテーションの最先端性能を達成することを示した。
論文 参考訳(メタデータ) (2022-05-02T12:42:04Z) - Toward Fast, Flexible, and Robust Low-Light Image Enhancement [87.27326390675155]
我々は、現実の低照度シナリオにおいて、高速でフレキシブルで頑健な鮮明化のための新しい自己校正イルミネーション(SCI)学習フレームワークを開発した。
カスケードパターンの計算負担を考慮すると、各ステージの結果の収束を実現する自己校正モジュールを構築する。
我々は,SCI固有の特性について,操作不感適応性やモデル非関係の一般性を含む包括的探索を行う。
論文 参考訳(メタデータ) (2022-04-21T14:40:32Z) - Bi-Mix: Bidirectional Mixing for Domain Adaptive Nighttime Semantic
Segmentation [83.97914777313136]
自律運転では、様々な環境条件に適応できるセグメンテーションモデルを学ぶことが重要である。
本稿では,識別型夜間モデル学習を目的としたDANSS(Domain Adaptive Nighttime Semantic)の問題点について考察する。
本稿では,DANSS のための新しい Bi-Mix フレームワークを提案する。
論文 参考訳(メタデータ) (2021-11-19T17:39:47Z) - PixMatch: Unsupervised Domain Adaptation via Pixelwise Consistency
Training [4.336877104987131]
教師なしドメイン適応はセマンティックセグメンテーションの有望なテクニックである。
対象領域整合性訓練の概念に基づく非監視領域適応のための新しいフレームワークを提案する。
私たちのアプローチはシンプルで、実装が簡単で、トレーニング時にメモリ効率が向上します。
論文 参考訳(メタデータ) (2021-05-17T19:36:28Z) - DANNet: A One-Stage Domain Adaptation Network for Unsupervised Nighttime
Semantic Segmentation [18.43890050736093]
夜間セマンティックセグメンテーションのための新しいドメイン適応ネットワーク(DANNet)を提案する。
ラベル付きデイタイムデータセットとラベルなしデータセットを備えた敵対的なトレーニングを採用している。
本手法は,夜間セマンティックセグメンテーションにおける最新性能を実現する。
論文 参考訳(メタデータ) (2021-04-22T02:49:28Z) - Co-Attention for Conditioned Image Matching [91.43244337264454]
照明, 視点, コンテキスト, 素材に大きな変化がある場合, 野生のイメージペア間の対応性を決定するための新しい手法を提案する。
他のアプローチでは、イメージを個別に扱うことで、画像間の対応を見出すが、その代わりに、画像間の差異を暗黙的に考慮するよう、両画像に条件を付ける。
論文 参考訳(メタデータ) (2020-07-16T17:32:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。