論文の概要: Exploring the Common Appearance-Boundary Adaptation for Nighttime Optical Flow

• arxiv url: http://arxiv.org/abs/2401.17642v1
• Date: Wed, 31 Jan 2024 07:51:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-01 15:29:10.018802
• Title: Exploring the Common Appearance-Boundary Adaptation for Nighttime Optical Flow
• Title（参考訳）: 夜間光流に対する共通出現境界適応の探索
• Authors: Hanyu Zhou, Yi Chang, Haoyue Liu, Wending Yan, Yuxing Duan, Zhiwei Shi, Luxin Yan
• Abstract要約: 夜間光流のための新しい外界適応フレームワークを提案する。 外観適応では、補助昼時間像と夜間像を反射率に整合した共通空間に埋め込む。 2つのリフレクタンスマップの運動は、非常によく似ており、昼から夜の領域に動きの外観知識を連続的に伝達する利点がある。
• 参考スコア（独自算出の注目度）: 17.416185015412175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate a challenging task of nighttime optical flow, which suffers from weakened texture and amplified noise. These degradations weaken discriminative visual features, thus causing invalid motion feature matching. Typically, existing methods employ domain adaptation to transfer knowledge from auxiliary domain to nighttime domain in either input visual space or output motion space. However, this direct adaptation is ineffective, since there exists a large domain gap due to the intrinsic heterogeneous nature of the feature representations between auxiliary and nighttime domains. To overcome this issue, we explore a common-latent space as the intermediate bridge to reinforce the feature alignment between auxiliary and nighttime domains. In this work, we exploit two auxiliary daytime and event domains, and propose a novel common appearance-boundary adaptation framework for nighttime optical flow. In appearance adaptation, we employ the intrinsic image decomposition to embed the auxiliary daytime image and the nighttime image into a reflectance-aligned common space. We discover that motion distributions of the two reflectance maps are very similar, benefiting us to consistently transfer motion appearance knowledge from daytime to nighttime domain. In boundary adaptation, we theoretically derive the motion correlation formula between nighttime image and accumulated events within a spatiotemporal gradient-aligned common space. We figure out that the correlation of the two spatiotemporal gradient maps shares significant discrepancy, benefitting us to contrastively transfer boundary knowledge from event to nighttime domain. Moreover, appearance adaptation and boundary adaptation are complementary to each other, since they could jointly transfer global motion and local boundary knowledge to the nighttime domain.
• Abstract（参考訳）: 本研究では, 夜間光学的流れの微弱化と増幅雑音に悩まされる課題について検討する。 これらの劣化は、識別的な視覚特徴を弱め、不正な運動特徴マッチングを引き起こす。 既存の手法では、入力された視覚空間または出力された運動空間において、補助領域から夜間領域への知識伝達にドメイン適応を用いる。 しかし、この直接適応は、補助ドメインと夜間ドメインの間の特徴表現の固有の不均一性に起因する大きなドメインギャップが存在するため、効果がない。 この問題を克服するため,我々は,補助領域と夜間領域の機能アライメントを強化する中間ブリッジとして,共通相対空間を探索する。 本研究は,2つの補助昼時間領域とイベント領域を活用し,夜間光流に対する新しい共通適応フレームワークを提案する。 外観適応では,昼の補助画像と夜の画像を反射率調整された共通空間に埋め込むために,内在的な画像分解を用いる。 2つの反射マップの運動分布は非常によく似ており、昼から夜の領域に動きの外観知識を連続的に伝達する利点がある。 境界適応法では,時空画像と時空間勾配整列共通空間内の蓄積事象の運動相関式を理論的に導出する。 2つの時空間勾配写像の相関関係は大きな不一致を伴っており、対照的に境界知識を事象から夜間領域に移すことができる。 さらに、グローバルな動きと局所的な境界知識を夜間領域に共同で転送できるので、外観適応と境界適応は相補的である。

関連論文リスト

• Exploring Reliable Matching with Phase Enhancement for Night-time Semantic Segmentation [58.180226179087086]
  夜間セマンティックセマンティックセグメンテーションに適した新しいエンドツーエンド最適化手法であるNightFormerを提案する。 具体的には,画素レベルのテクスチャ・エンハンスメント・モジュールを設計し,フェーズ・エンハンスメントとアンプリメント・アテンションとともに階層的にテクスチャ・アウェア機能を取得する。 提案手法は、最先端の夜間セマンティックセグメンテーション手法に対して好意的に機能する。
  論文  参考訳（メタデータ） (2024-08-25T13:59:31Z)
• Similarity Min-Max: Zero-Shot Day-Night Domain Adaptation [52.923298434948606]
  低照度条件は人間の視覚経験を妨げるだけでなく、下流の視覚タスクにおけるモデルの性能を低下させる。 この論文は、境界適用性、すなわちゼロショットの昼夜ドメイン適応に関するより複雑なシナリオに挑戦する。 我々は、それらを統一された枠組みで考える類似性 min-max パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-17T18:50:15Z)
• Local-Global Temporal Difference Learning for Satellite Video Super-Resolution [55.69322525367221]
  本稿では,時間的差分を効果的かつ効果的な時間的補償に利用することを提案する。 フレーム内における局所的・大域的時間的情報を完全に活用するために,短期・長期的時間的相違を体系的にモデル化した。 5つの主流ビデオ衛星に対して行われた厳密な客観的および主観的評価は、我々の手法が最先端のアプローチに対して好適に機能することを実証している。
  論文  参考訳（メタデータ） (2023-04-10T07:04:40Z)
• Unsupervised Hierarchical Domain Adaptation for Adverse Weather Optical Flow [18.900658568158054]
  階層的な動き境界適応による悪天候光流の非教師なしフレームワークを提案する。 我々の重要な洞察は、悪天候はシーンの内在的な光学的流れを変えるのではなく、清潔な画像と劣化した画像の間にワープ誤差を生じさせることである。
  論文  参考訳（メタデータ） (2023-03-24T02:17:51Z)
• Spatiotemporal Multi-scale Bilateral Motion Network for Gait Recognition [3.1240043488226967]
  本稿では,光学的流れに動機づけられた両動方向の特徴について述べる。 動作コンテキストを多段階の時間分解能でリッチに記述する多段階の時間表現を開発する。
  論文  参考訳（メタデータ） (2022-09-26T01:36:22Z)
• Cross-Domain Correlation Distillation for Unsupervised Domain Adaptation in Nighttime Semantic Segmentation [17.874336775904272]
  CCDistillと呼ばれるクロスドメイン相関蒸留による新しいドメイン適応フレームワークを提案する。 特徴に含まれる内容やスタイルの知識を抽出し、2つの画像間の固有または照度差の度合いを算出する。 Dark Zurich と ACDC の実験では,CCDistill が夜間セマンティックセマンティックセグメンテーションの最先端性能を達成することを示した。
  論文  参考訳（メタデータ） (2022-05-02T12:42:04Z)
• Contrast and Mix: Temporal Contrastive Video Domain Adaptation with Background Mixing [55.73722120043086]
  Contrast and Mix(CoMix)は、教師なしビデオドメイン適応のための識別的不変な特徴表現を学習することを目的とした、新しいコントラスト学習フレームワークである。 まず,2つの異なる速度でラベル付きビデオの符号化表現の類似性を最大化することにより,時間的コントラスト学習を用いてドメインギャップをブリッジする。 第2に,両ドメイン間で共有されるアクションセマンティクスを活用するために,アンカー毎の肯定的な追加を可能にするバックグラウンドミキシングを用いることにより,時間的コントラスト損失の新たな拡張を提案する。
  論文  参考訳（メタデータ） (2021-10-28T14:03:29Z)
• Learning Cross-modal Contrastive Features for Video Domain Adaptation [138.75196499580804]
  本稿では、クロスモーダルとクロスドメインの特徴表現を同時に正規化する、ビデオドメイン適応のための統合フレームワークを提案する。 具体的には、ドメインの各モダリティを視点として扱い、コントラスト学習手法を適切に設計されたサンプリング戦略で活用する。
  論文  参考訳（メタデータ） (2021-08-26T18:14:18Z)
• Exploring Rich and Efficient Spatial Temporal Interactions for Real Time Video Salient Object Detection [87.32774157186412]
  メインストリーム方式は、主に2つの独立した場所、すなわち空間的分岐と時間的分岐からビデオ・サリエンシを定式化する。 本稿では,このような改善を実現するための時間的ネットワークを提案する。 提案手法は実装が簡単で,50FPSで高精細度をリアルタイムに検出できる。
  論文  参考訳（メタデータ） (2020-08-07T03:24:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。