論文の概要: Adverse Weather Optical Flow: Cumulative Homogeneous-Heterogeneous Adaptation

• arxiv url: http://arxiv.org/abs/2409.17001v1
• Date: Wed, 25 Sep 2024 15:05:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-27 03:15:16.432287
• Title: Adverse Weather Optical Flow: Cumulative Homogeneous-Heterogeneous Adaptation
• Title（参考訳）: 逆気象オプティカルフロー:累積均質不均質適応
• Authors: Hanyu Zhou, Yi Chang, Zhiwei Shi, Wending Yan, Gang Chen, Yonghong Tian, Luxin Yan,
• Abstract要約: 実際の悪天候光流に対する累積均質不均一適応フレームワークを提案する。 具体的には, 静的気象は, シーンの内在的な動きを変化させることのない, 深度結合同質な特徴を有する。 合成-実遷移の場合、コストボリューム相関は、合成ドメインと実際の劣化ドメインの類似した統計ヒストグラムを共有することが判明した。
• 参考スコア（独自算出の注目度）: 36.63698348549319
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optical flow has made great progress in clean scenes, while suffers degradation under adverse weather due to the violation of the brightness constancy and gradient continuity assumptions of optical flow. Typically, existing methods mainly adopt domain adaptation to transfer motion knowledge from clean to degraded domain through one-stage adaptation. However, this direct adaptation is ineffective, since there exists a large gap due to adverse weather and scene style between clean and real degraded domains. Moreover, even within the degraded domain itself, static weather (e.g., fog) and dynamic weather (e.g., rain) have different impacts on optical flow. To address above issues, we explore synthetic degraded domain as an intermediate bridge between clean and real degraded domains, and propose a cumulative homogeneous-heterogeneous adaptation framework for real adverse weather optical flow. Specifically, for clean-degraded transfer, our key insight is that static weather possesses the depth-association homogeneous feature which does not change the intrinsic motion of the scene, while dynamic weather additionally introduces the heterogeneous feature which results in a significant boundary discrepancy in warp errors between clean and degraded domains. For synthetic-real transfer, we figure out that cost volume correlation shares a similar statistical histogram between synthetic and real degraded domains, benefiting to holistically aligning the homogeneous correlation distribution for synthetic-real knowledge distillation. Under this unified framework, the proposed method can progressively and explicitly transfer knowledge from clean scenes to real adverse weather. In addition, we further collect a real adverse weather dataset with manually annotated optical flow labels and perform extensive experiments to verify the superiority of the proposed method.
• Abstract（参考訳）: 光流は清潔な場面で大きく進展したが、光流の明るさ不安定性や勾配連続性の仮定に反し、悪天候下では劣化する。 通常、既存の手法は主にドメイン適応を用いて、クリーンドメインからデグレードドメインへ1段階の適応を通して動きの知識を伝達する。 しかし、この直接的な適応は、悪天候による大きなギャップと、清潔な領域と実際の荒廃したドメインの間にはシーンスタイルがあるため、効果がない。 さらに、劣化した領域内においても、静的気象(例、霧)と動的気象(例、雨)は光学的流れに異なる影響を与える。 以上の課題に対処するため,クリーン領域とリアルドメインの中間ブリッジとしての合成劣化ドメインを探索し,実際の悪天候光流に対する累積均質不均一適応フレームワークを提案する。 具体的には, 静的気象は, シーンの内在的な動きを変化させることなく, 奥行きの同質な特徴を有するのに対し, 動的気象は, クリーンドメインとデグレードドメインのワープエラーに有意な境界差をもたらす異質な特徴も導入する。 合成実数移動において, コスト容積相関は, 合成実数分裂領域と実数分解領域の類似の統計ヒストグラムを共有し, 合成実数蒸留における同質相関分布を均一に整合させる効果があることがわかった。 この統合された枠組みの下で、提案手法は、クリーンなシーンから実際の悪天候への知識の段階的かつ明示的に伝達することができる。 さらに,手動でアノテートした光フローラベルを用いた実際の悪天候データセットを収集し,提案手法の優位性を検証するための広範囲な実験を行った。

関連論文リスト

• SSRFlow: Semantic-aware Fusion with Spatial Temporal Re-embedding for Real-world Scene Flow [6.995663556921384]
  シーンフローは、2つの連続する点雲から第1フレームの3次元運動場を提供する。 本稿では,2つのフレーム間の融合とアライメントのためのDCA(Dual Cross Attentive)という新しい手法を提案する。 我々は、新しいドメイン適応損失を利用して、合成から実世界への動き推論のギャップを効果的に橋渡しする。
  論文  参考訳（メタデータ） (2024-07-31T02:28:40Z)
• Denoising as Adaptation: Noise-Space Domain Adaptation for Image Restoration [64.84134880709625]
  拡散モデルを用いて,雑音空間を介して領域適応を行うことが可能であることを示す。 特に、補助的な条件入力が多段階の復調過程にどのように影響するかというユニークな性質を活用することにより、有意義な拡散損失を導出する。 拡散モデルにおけるチャネルシャッフル層や残留スワッピング型コントラスト学習などの重要な戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-26T17:40:30Z)
• Typhoon Intensity Prediction with Vision Transformer [51.84456610977905]
  台風強度を正確に予測するために「台風強度変換器(Tint)」を導入する。 Tintは、層ごとにグローバルな受容野を持つ自己認識機構を使用する。 公開されている台風ベンチマークの実験は、Tintの有効性を検証する。
  論文  参考訳（メタデータ） (2023-11-28T03:11:33Z)
• WaterFlow: Heuristic Normalizing Flow for Underwater Image Enhancement and Beyond [52.27796682972484]
  既存の水中画像強調法は, 画像品質の向上に重点を置いており, 実践への影響を無視している。 本稿では,検出駆動型水中画像強調のための正規化フローであるWaterFlowを提案する。 微分可能性や解釈可能性を考慮すると、事前をデータ駆動マッピング手法に組み込む。
  論文  参考訳（メタデータ） (2023-08-02T04:17:35Z)
• Unsupervised Hierarchical Domain Adaptation for Adverse Weather Optical Flow [18.900658568158054]
  階層的な動き境界適応による悪天候光流の非教師なしフレームワークを提案する。 我々の重要な洞察は、悪天候はシーンの内在的な光学的流れを変えるのではなく、清潔な画像と劣化した画像の間にワープ誤差を生じさせることである。
  論文  参考訳（メタデータ） (2023-03-24T02:17:51Z)
• Unsupervised Cumulative Domain Adaptation for Foggy Scene Optical Flow [19.640250999870307]
  クリーン・ツー・フォッギー領域のギャップを埋めるために、既存の手法は通常、運動知識をクリーン・フォッジー領域から合成フォッジー領域に転送するためにドメイン適応を採用する。 本稿では,非教師付き累積領域適応光フローフレームワークを提案する。 この統合された枠組みの下で、提案された累積的適応は、クリーンなシーンから実際の霧のシーンへの知識の移行を徐々に進める。
  論文  参考訳（メタデータ） (2023-03-14T01:10:59Z)
• Unsupervised Deraining: Where Asymmetric Contrastive Learning Meets Self-similarity [33.188738443097336]
  本稿では,各層内の内在的相似性と2層間の排他性について検討する。 教師なし非局所コントラスト学習 (NLCL) デライン法を提案する。
  論文  参考訳（メタデータ） (2022-11-02T02:47:20Z)
• Domain Adaptation for Underwater Image Enhancement [51.71570701102219]
  本稿では,ドメイン間およびドメイン内ギャップを最小限に抑えるために,新しい2相水中ドメイン適応ネットワーク(TUDA)を提案する。 第1段階では、入力画像のリアリズムを強化する翻訳部と、拡張部とを含む新しい二重配向ネットワークを設計する。 第2フェーズでは、ランクベースの水中品質評価手法が組み込まれている強化画像の評価品質に応じて、実データを簡単に分類する。
  論文  参考訳（メタデータ） (2021-08-22T06:38:19Z)
• Consistency Guided Scene Flow Estimation [159.24395181068218]
  CGSFは立体映像からの3次元シーン構造と動きの同時再構成のための自己教師型フレームワークである。 提案モデルでは,課題の画像の相違やシーンフローを確実に予測できることを示す。 最先端技術よりも優れた一般化を実現し、目に見えない領域に迅速かつ堅牢に適応する。
  論文  参考訳（メタデータ） (2020-06-19T17:28:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。