論文の概要: Adapting Depth Anything to Adverse Imaging Conditions with Events
- arxiv url: http://arxiv.org/abs/2601.02020v1
- Date: Mon, 05 Jan 2026 11:29:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-06 16:25:23.045509
- Title: Adapting Depth Anything to Adverse Imaging Conditions with Events
- Title(参考訳): 事象を伴う逆画像条件への奥行きの適応
- Authors: Shihan Peng, Yuyang Xiong, Hanyu Zhou, Zhiwei Shi, Haoyue Liu, Gang Chen, Luxin Yan, Yi Chang,
- Abstract要約: 劣化シーンにおける奥行き情報のためのイベント誘導型時間融合フレームワークであるADAEを提案する。
我々は,情報エントロピー戦略を用いて,フレームベースとイベントベースの機能を適応的にマージする。
我々は、ぼやけた地域で不明瞭な特徴を再検討するために、イベントベースの動きキューを利用する。
- 参考スコア(独自算出の注目度): 36.04942562030614
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robust depth estimation under dynamic and adverse lighting conditions is essential for robotic systems. Currently, depth foundation models, such as Depth Anything, achieve great success in ideal scenes but remain challenging under adverse imaging conditions such as extreme illumination and motion blur. These degradations corrupt the visual signals of frame cameras, weakening the discriminative features of frame-based depths across the spatial and temporal dimensions. Typically, existing approaches incorporate event cameras to leverage their high dynamic range and temporal resolution, aiming to compensate for corrupted frame features. However, such specialized fusion models are predominantly trained from scratch on domain-specific datasets, thereby failing to inherit the open-world knowledge and robust generalization inherent to foundation models. In this work, we propose ADAE, an event-guided spatiotemporal fusion framework for Depth Anything in degraded scenes. Our design is guided by two key insights: 1) Entropy-Aware Spatial Fusion. We adaptively merge frame-based and event-based features using an information entropy strategy to indicate illumination-induced degradation. 2) Motion-Guided Temporal Correction. We resort to the event-based motion cue to recalibrate ambiguous features in blurred regions. Under our unified framework, the two components are complementary to each other and jointly enhance Depth Anything under adverse imaging conditions. Extensive experiments have been performed to verify the superiority of the proposed method. Our code will be released upon acceptance.
- Abstract(参考訳): 動的および有害な照明条件下でのロバスト深度推定はロボットシステムにとって不可欠である。
現在、Depth Anythingのような深度基礎モデルは理想的なシーンで大きな成功を収めているが、極端な照明や動きのぼやけのような悪い画像条件下では難しいままである。
これらの劣化はフレームカメラの視覚信号を劣化させ、空間的および時間的次元にわたるフレームベース深さの識別的特徴を弱める。
通常、既存のアプローチでは、イベントカメラを高ダイナミックレンジと時間分解能の活用に取り入れており、破損したフレームの特徴を補うことを目的としている。
しかし、そのような特殊な融合モデルは、ドメイン固有のデータセットをゼロから訓練することで、基礎モデル固有のオープンワールドの知識と堅牢な一般化を継承することができない。
本研究では,イベント誘導型時空間融合フレームワークであるADAEを提案する。
私たちのデザインは2つの重要な洞察で導かれています。
1)エントロピーを考慮した空間融合
我々は、照明による劣化を示す情報エントロピー戦略を用いて、フレームベースの特徴とイベントベースの特徴を適応的にマージする。
2)動作ガイドによる時間補正。
我々は、ぼやけた地域で不明瞭な特徴を再検討するために、イベントベースの動きキューを利用する。
統合された枠組みの下では、2つのコンポーネントは互いに相補的であり、悪い撮像条件下ではDepth Anythingを共同で強化する。
提案手法の優位性を検証するため, 広範囲な実験が実施されている。
私たちのコードは受け入れ次第解放されます。
関連論文リスト
- Does FLUX Already Know How to Perform Physically Plausible Image Composition? [26.848563827256914]
ShiNEは、中性化エラーを伴うシームレス、高忠実な挿入のためのトレーニング不要のフレームワークである。
我々は,低照度,強い照明,複雑な影,反射面などの多様な解像度と課題を特徴とするコンプレックスコンプレックスを導入する。
論文 参考訳(メタデータ) (2025-09-25T15:01:49Z) - Bidirectional Image-Event Guided Fusion Framework for Low-Light Image Enhancement [24.5584423318892]
極端に低照度な条件下では、フレームベースのカメラは、ダイナミックレンジの制限により、細部が著しく失われる。
近年の研究では、イベント誘導型低照度画像強調のためのイベントカメラが導入されている。
低光画像強調のための双方向画像イベント誘導融合フレームワークBiLIEを提案する。
論文 参考訳(メタデータ) (2025-06-06T14:28:17Z) - Event-Driven Dynamic Scene Depth Completion [50.01494043834177]
EventDCは、最初のイベント駆動のディープコンプリートフレームワークである。
Event-Modulated Alignment (EMA) と Local Depth Filtering (LDF) の2つの重要なコンポーネントで構成されている。
論文 参考訳(メタデータ) (2025-05-19T16:02:37Z) - Parallax-Tolerant Unsupervised Deep Image Stitching [57.76737888499145]
本稿では,パララックス耐性の非教師あり深層画像縫合技術であるUDIS++を提案する。
まず,グローバルなホモグラフィから局所的な薄板スプライン運動への画像登録をモデル化するための,頑健で柔軟なワープを提案する。
本研究では, 縫合された画像をシームレスに合成し, シーム駆動合成マスクの教師なし学習を行うことを提案する。
論文 参考訳(メタデータ) (2023-02-16T10:40:55Z) - Shakes on a Plane: Unsupervised Depth Estimation from Unstabilized
Photography [54.36608424943729]
2秒で取得した12メガピクセルのRAWフレームの「長バースト」では,自然手震動のみからの視差情報で高品質のシーン深度を回復できることが示されている。
我々は、長時間バーストデータにニューラルRGB-D表現を適合させるテスト時間最適化手法を考案し、シーン深度とカメラモーションを同時に推定する。
論文 参考訳(メタデータ) (2022-12-22T18:54:34Z) - DEVO: Depth-Event Camera Visual Odometry in Challenging Conditions [30.892930944644853]
本稿では,深度・高解像度イベントカメラのステレオ設定のための新しいリアルタイムビジュアル・オドメトリー・フレームワークを提案する。
本フレームワークは, 計算効率に対する精度と堅牢性を, 挑戦シナリオにおける高い性能にバランスさせる。
論文 参考訳(メタデータ) (2022-02-05T13:46:47Z) - DeFMO: Deblurring and Shape Recovery of Fast Moving Objects [139.67524021201103]
生成モデルは、ぼやけたオブジェクトのイメージを潜在空間表現に埋め込み、背景を歪め、シャープな外観を描画する。
DeFMOは芸術の状態を上回り、高品質の時間超解像フレームを生成する。
論文 参考訳(メタデータ) (2020-12-01T16:02:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。