論文の概要: Deep Lidar-guided Image Deblurring

• arxiv url: http://arxiv.org/abs/2412.07262v1
• Date: Tue, 10 Dec 2024 07:42:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:36:01.615721
• Title: Deep Lidar-guided Image Deblurring
• Title（参考訳）: 深層ライダー誘導画像の劣化
• Authors: Ziyao Yi, Diego Valsesia, Tiziano Bianchi, Enrico Magli,
• Abstract要約: 本稿では,移動体Lidarセンサによって提供される深度情報が画像の劣化に有効かどうかを考察する。 奥行き情報を効率よく前処理し、画像特徴を奥行き特徴で変調するユニバーサルアダプタ構造を開発する。 我々は,真の深度情報を利用することで,デブロアリングアルゴリズムの有効性を著しく向上させることができることを示した。
• 参考スコア（独自算出の注目度）: 22.870337280402346
• License:
• Abstract: The rise of portable Lidar instruments, including their adoption in smartphones, opens the door to novel computational imaging techniques. Being an active sensing instrument, Lidar can provide complementary data to passive optical sensors, particularly in situations like low-light imaging where motion blur can affect photos. In this paper, we study if the depth information provided by mobile Lidar sensors is useful for the task of image deblurring and how to integrate it with a general approach that transforms any state-of-the-art neural deblurring model into a depth-aware one. To achieve this, we developed a universal adapter structure that efficiently preprocesses the depth information to modulate image features with depth features. Additionally, we applied a continual learning strategy to pretrained encoder-decoder models, enabling them to incorporate depth information as an additional input with minimal extra data requirements. We demonstrate that utilizing true depth information can significantly boost the effectiveness of deblurring algorithms, as validated on a dataset with real-world depth data captured by a smartphone Lidar.
• Abstract（参考訳）: スマートフォンの普及を含むポータブルLidar機器の台頭は、新しい計算イメージング技術への扉を開く。 Lidarはアクティブなセンサーであり、特に動きのぼかしが写真に影響を及ぼす低照度画像のような状況において、受動光学センサーに補完的なデータを提供することができる。 本稿では,移動体Lidarセンサによって提供される深度情報が画像のデブリ処理に有用かどうかを,最先端のニューラルデブロアモデルから深度認識モデルへ変換する一般的なアプローチと一体化する方法について検討する。 これを実現するために,奥行き情報を効率よく前処理し,画像特徴を奥行き特徴で変調するユニバーサルアダプタ構造を開発した。 さらに,事前学習したエンコーダ・デコーダモデルに連続的な学習戦略を適用し,最小限の余分なデータ要求を伴う追加入力として深度情報を組み込むことができた。 スマートフォンLidarが取得した実世界深度データを用いたデータセットにおいて,真の深度情報を利用することで,デブロアリングアルゴリズムの有効性が著しく向上することが実証された。

関連論文リスト

• Prompting Depth Anything for 4K Resolution Accurate Metric Depth Estimation [108.04354143020886]
  本稿では、深度基礎モデルにプロンプトを導入し、Prompt Depth Anythingと呼ばれる計量深度推定のための新しいパラダイムを作成する。 低コストのLiDARを用いて、Depth Anythingモデルによる正確なメートル法深度出力を導出し、最大4K解像度を達成する。
  論文  参考訳（メタデータ） (2024-12-18T16:32:12Z)
• ClearDepth: Enhanced Stereo Perception of Transparent Objects for Robotic Manipulation [18.140839442955485]
  我々は透明物体の立体深度回復のための視覚変換器に基づくアルゴリズムを開発した。 提案手法は,効率的なデータ生成のためのパラメータ整合,ドメイン適応,物理的に現実的なSim2Realシミュレーションを含む。 実世界のシナリオにおけるSim2Realの例外的な一般化性を示す実験結果を得た。
  論文  参考訳（メタデータ） (2024-09-13T15:44:38Z)
• Robust Depth Enhancement via Polarization Prompt Fusion Tuning [112.88371907047396]
  様々な深度センサによる不正確な深度測定を改善するために偏光イメージングを利用するフレームワークを提案する。 まず、偏光データとセンサ深度マップから高密度で完全な深度マップを推定するために、ニューラルネットワークを訓練した学習ベースの戦略を採用する。 大規模データセット上で事前学習したRGBモデルを有効に活用するためのPPFT(Polarization Prompt Fusion Tuning)戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-05T17:55:33Z)
• Deep Phase Coded Image Prior [34.84063452418995]
  位相符号化イメージングは受動深度推定や拡大深度推定といった課題に対処する手法である。 深度推定やオールインフォーカスイメージングのための現在のディープラーニングベースの手法のほとんどは、高品質の深度マップを備えたトレーニングデータセットを必要とする。 本稿では,深度マップと全焦点画像の同時復元のためのDPCIP (Deep Phase Coded Image Prior) を提案する。
  論文  参考訳（メタデータ） (2024-04-05T05:58:40Z)
• Improving Lens Flare Removal with General Purpose Pipeline and Multiple Light Sources Recovery [69.71080926778413]
  フレアアーティファクトは、画像の視覚的品質と下流のコンピュータビジョンタスクに影響を与える。 現在の方法では、画像信号処理パイプラインにおける自動露光やトーンマッピングは考慮されていない。 本稿では、ISPを再検討し、より信頼性の高い光源回収戦略を設計することで、レンズフレア除去性能を向上させるソリューションを提案する。
  論文  参考訳（メタデータ） (2023-08-31T04:58:17Z)
• Joint Learning of Salient Object Detection, Depth Estimation and Contour Extraction [91.43066633305662]
  RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。 具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。 実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
  論文  参考訳（メタデータ） (2022-03-09T17:20:18Z)
• Controllable Data Augmentation Through Deep Relighting [75.96144853354362]
  我々は、既存のモデルが照度変化に不変である能力を改善するために、リライトを通じて様々な画像データセットを拡大する方法を探る。 我々は,エンコーダ・デコーダネットワークをベースとして,様々な入力シーンの照明の様々なバリエーションを迅速に生成できるツールを開発した。 パイプラインで拡張されたデータセットのモデルをトレーニングすることで、ローカライゼーションベンチマークでより高いパフォーマンスを実現することが可能であることを実証した。
  論文  参考訳（メタデータ） (2021-10-26T20:02:51Z)
• Homography augumented momentum constrastive learning for SAR image retrieval [3.9743795764085545]
  本稿では, ホログラフィ変換を用いた画像検索手法を提案する。 また,ラベル付け手順を必要としないコントラスト学習によって誘導されるDNNのトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-21T17:27:07Z)
• Aug3D-RPN: Improving Monocular 3D Object Detection by Synthetic Images with Virtual Depth [64.29043589521308]
  仮想深度で画像を合成することでトレーニングデータを増強するレンダリングモジュールを提案する。 レンダリングモジュールは、RGB画像と対応するスパース深度画像とを入力として、さまざまなフォトリアリスティック合成画像を出力する。 さらに,深度推定タスクを通じて共同で最適化することで,検出モデルを改善する補助モジュールを導入する。
  論文  参考訳（メタデータ） (2021-07-28T11:00:47Z)
• On Deep Learning Techniques to Boost Monocular Depth Estimation for Autonomous Navigation [1.9007546108571112]
  画像の深さを推定することはコンピュータビジョンの分野における根本的な逆問題である。 本稿では,新しい特徴抽出モデルと組み合わせ,軽量で高速なCNNアーキテクチャを提案する。 また,SIDE問題を解くために,単純な幾何2.5D損失関数と組み合わせて効率的な表面正規化モジュールを導入する。
  論文  参考訳（メタデータ） (2020-10-13T18:37:38Z)
• Movement Tracking by Optical Flow Assisted Inertial Navigation [18.67291804847956]
  学習に基づく光フローモデルと従来の慣性ナビゲーションを組み合わせる方法を示す。 確率的深層学習のアイデアが測定更新の堅牢性にどのように役立つかを示す。 この実用性は、iPadが取得した現実世界のデータで実証されている。
  論文  参考訳（メタデータ） (2020-06-24T16:36:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。