Fugu-MT 論文翻訳(概要): Depth-Aware Endoscopic Video Inpainting

論文の概要: Depth-Aware Endoscopic Video Inpainting

arxiv url: http://arxiv.org/abs/2407.02675v1
Date: Tue, 2 Jul 2024 21:28:36 GMT
ステータス: 処理完了
システム内更新日: 2024-07-04 18:04:33.752836
Title: Depth-Aware Endoscopic Video Inpainting
Title（参考訳）: 奥行きを意識した内視鏡的ビデオインペインティング
Authors: Francis Xiatian Zhang, Shuang Chen, Xianghua Xie, Hubert P. H. Shum,
Abstract要約: ビデオのインペイントは、破壊されたビデオコンテンツに、もっともらしい代替品を埋める。近年の内視鏡的映像の塗布は, 内視鏡的映像の質を高める可能性を示している。主に臨床参照のために重要な3次元空間的詳細を保存することなく2次元視覚情報を修復する。本稿では,新しいDepth-awareendoscopic Video Inpaintingフレームワークを提案する。
参考スコア（独自算出の注目度）: 11.885452717243744
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Video inpainting fills in corrupted video content with plausible replacements. While recent advances in endoscopic video inpainting have shown potential for enhancing the quality of endoscopic videos, they mainly repair 2D visual information without effectively preserving crucial 3D spatial details for clinical reference. Depth-aware inpainting methods attempt to preserve these details by incorporating depth information. Still, in endoscopic contexts, they face challenges including reliance on pre-acquired depth maps, less effective fusion designs, and ignorance of the fidelity of 3D spatial details. To address them, we introduce a novel Depth-aware Endoscopic Video Inpainting (DAEVI) framework. It features a Spatial-Temporal Guided Depth Estimation module for direct depth estimation from visual features, a Bi-Modal Paired Channel Fusion module for effective channel-by-channel fusion of visual and depth information, and a Depth Enhanced Discriminator to assess the fidelity of the RGB-D sequence comprised of the inpainted frames and estimated depth images. Experimental evaluations on established benchmarks demonstrate our framework's superiority, achieving a 2% improvement in PSNR and a 6% reduction in MSE compared to state-of-the-art methods. Qualitative analyses further validate its enhanced ability to inpaint fine details, highlighting the benefits of integrating depth information into endoscopic inpainting.
Abstract（参考訳）: ビデオのインペイントは、破壊されたビデオコンテンツに、もっともらしい代替品を埋める。近年の内視鏡的映像の塗布は, 内視鏡的映像の質を高める可能性を示しているが, 臨床参照のために重要な3次元空間的詳細を効果的に保存することなく, 主に2次元視覚情報を修復している。深度を意識した塗装法は深度情報を取り入れることでこれらの詳細を保存しようとする。それでも、内視鏡的文脈では、事前に取得した深度マップへの依存、より効果的な融合設計、三次元空間の詳細の忠実さの無視といった課題に直面している。そこで我々は,DAEVI(Depth-awareendoscopic Video Inpainting)フレームワークを提案する。視覚的特徴から直接の深度推定を行う空間時間ガイド深度推定モジュールと、視覚的および深度情報の効果的チャネル・バイ・チャンネル融合を行うバイモーダルペアドチャネルフュージョンモジュールと、塗布されたフレームと推定深度画像からなるRGB-Dシーケンスの忠実度を評価する深度識別器とを備える。確立されたベンチマーク実験により,PSNRの2%向上,MSEの6%削減が達成された。定性的分析により細部を塗布する能力がさらに向上し、深部情報を内視鏡的塗布に組み込むことの利点が強調された。

関連論文リスト

MetaFE-DE: Learning Meta Feature Embedding for Depth Estimation from Monocular Endoscopic Images [18.023231290573268]
既存の手法ではRGB画像から直接深度情報を推定する。メタ機能埋め込み(MetaFE)と呼ばれる新しい概念を紹介する。本稿では,分子内深度推定のための2段階の自己教師型学習パラダイムを提案する。
論文参考訳（メタデータ） (2025-02-05T02:52:30Z)
DepthLab: From Partial to Complete [80.58276388743306]
不足する値は、幅広いアプリケーションにわたる深度データにとって共通の課題である。この作業は、イメージ拡散プリエントを利用した基礎深度塗装モデルであるDepthLabと、このギャップを埋めるものだ。提案手法は,3Dシーンのインペイント,テキストから3Dシーン生成,DUST3Rによるスパースビュー再構成,LiDAR深度補完など,様々なダウンストリームタスクにおいて有用であることを示す。
論文参考訳（メタデータ） (2024-12-24T04:16:38Z)
Align3R: Aligned Monocular Depth Estimation for Dynamic Videos [50.28715151619659]
動的ビデオの時間的一貫した深度マップを推定するために,Align3Rと呼ばれる新しいビデオ深度推定法を提案する。我々のキーとなる考え方は、最近のDUSt3Rモデルを用いて、異なる時間ステップの単分子深度マップを整列させることである。実験により、Align3Rは一貫したビデオ深度を推定し、カメラはベースライン法よりも優れた性能を持つ単眼ビデオのポーズを示す。
論文参考訳（メタデータ） (2024-12-04T07:09:59Z)
Helvipad: A Real-World Dataset for Omnidirectional Stereo Depth Estimation [83.841877607646]
全方位ステレオ深度推定のための実世界のデータセットであるHelvipadを紹介する。このデータセットは、3Dポイント雲を等方形画像に投影することで、正確な深度と不均質のラベルを含む。標準画像と全方位画像のステレオ深度推定モデルをベンチマークする。
論文参考訳（メタデータ） (2024-11-27T13:34:41Z)
BrightVAE: Luminosity Enhancement in Underexposed Endoscopic Images [6.687072439993227]
過度に露出した内視鏡画像は、コントラストの低下と不均一な明るさに悩まされることが多い。階層型ベクトル量子変分オートエンコーダ(階層型VQ-VAE)に基づくアーキテクチャであるBrightVAEを紹介する。私たちのアーキテクチャは、内視鏡画像に固有のユニークな課題に取り組むために慎重に設計されています。
論文参考訳（メタデータ） (2024-11-22T01:41:27Z)
A Two-Stage Masked Autoencoder Based Network for Indoor Depth Completion [10.519644854849098]
室内深度補完のための2段階トランスフォーマーネットワークを提案する。提案するネットワークは,Matterport3Dデータセット上での最先端性能を実現する。また, 深度完了作業の重要性を検証するため, 室内3次元再構成に本手法を適用した。
論文参考訳（メタデータ） (2024-06-14T07:42:27Z)
Leveraging Near-Field Lighting for Monocular Depth Estimation from Endoscopy Videos [12.497782583094281]
内視鏡ビデオにおける単眼深度推定は、補助手術やロボット手術により、臓器のより良いカバレッジと様々な健康問題の検出が可能になる。主流の自然画像深度推定では有望な進歩があったが、内視鏡画像では技術が不十分であった。本稿では, 内視鏡から放射される光を表面から反射する光学的手がかりを用いて, 単分子深度推定を改善する。
論文参考訳（メタデータ） (2024-03-26T17:52:23Z)
MonoDVPS: A Self-Supervised Monocular Depth Estimation Approach to Depth-aware Video Panoptic Segmentation [3.2489082010225494]
単眼深度推定とビデオパノプティックセグメンテーションを行うマルチタスクネットワークを用いた新しいソリューションを提案する。トレーニング信号の劣化を回避するため,物体を移動させるための新しいパノプティカルマスキング方式と,パノプティカル誘導による奥行き損失を導入した。
論文参考訳（メタデータ） (2022-10-14T07:00:42Z)
Deep Direct Volume Rendering: Learning Visual Feature Mappings From Exemplary Images [57.253447453301796]
本稿では,ディープ・ダイレクト・ボリューム・レンダリング(Deep Direct Volume Rendering,DVR)を導入し,ディープ・ニューラル・ネットワークをDVRアルゴリズムに統合する。潜在色空間におけるレンダリングを概念化し、深層アーキテクチャを用いて特徴抽出と分類のための暗黙マッピングを学習できるようにする。我々の一般化は、画像空間の例から直接エンドツーエンドにトレーニングできる新しいボリュームレンダリングアーキテクチャを導き出すのに役立つ。
論文参考訳（メタデータ） (2021-06-09T23:03:00Z)
Progressive Depth Learning for Single Image Dehazing [56.71963910162241]
既存の脱湿法は、しばしば深度を無視し、より重いヘイズが視界を乱す遠くの地域で失敗する。画像深度と伝送マップを反復的に推定するディープエンドツーエンドモデルを提案する。私たちのアプローチは、画像深度と伝送マップの内部関係を明示的にモデリングすることから利益を得ます。
論文参考訳（メタデータ） (2021-02-21T05:24:18Z)
Video Depth Estimation by Fusing Flow-to-Depth Proposals [65.24533384679657]
本稿では,映像深度推定のためのフロー・ツー・ディープス・レイヤの異なる手法を提案する。モデルは、フロー・トゥ・ディープス層、カメラ・ポーズ・リファインメント・モジュール、ディープ・フュージョン・ネットワークから構成される。提案手法は,最先端の深度推定法より優れ,合理的なデータセット一般化能力を有する。
論文参考訳（メタデータ） (2019-12-30T10:45:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。