Fugu-MT 論文翻訳(概要): Depth-Aware Endoscopic Video Inpainting

論文の概要: Depth-Aware Endoscopic Video Inpainting

arxiv url: http://arxiv.org/abs/2407.02675v1
Date: Tue, 2 Jul 2024 21:28:36 GMT
ステータス: 処理完了
システム内更新日: 2024-07-04 18:04:33.752836
Title: Depth-Aware Endoscopic Video Inpainting
Title（参考訳）: 奥行きを意識した内視鏡的ビデオインペインティング
Authors: Francis Xiatian Zhang, Shuang Chen, Xianghua Xie, Hubert P. H. Shum,
Abstract要約: ビデオのインペイントは、破壊されたビデオコンテンツに、もっともらしい代替品を埋める。近年の内視鏡的映像の塗布は, 内視鏡的映像の質を高める可能性を示している。主に臨床参照のために重要な3次元空間的詳細を保存することなく2次元視覚情報を修復する。本稿では,新しいDepth-awareendoscopic Video Inpaintingフレームワークを提案する。
参考スコア（独自算出の注目度）: 11.885452717243744
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Video inpainting fills in corrupted video content with plausible replacements. While recent advances in endoscopic video inpainting have shown potential for enhancing the quality of endoscopic videos, they mainly repair 2D visual information without effectively preserving crucial 3D spatial details for clinical reference. Depth-aware inpainting methods attempt to preserve these details by incorporating depth information. Still, in endoscopic contexts, they face challenges including reliance on pre-acquired depth maps, less effective fusion designs, and ignorance of the fidelity of 3D spatial details. To address them, we introduce a novel Depth-aware Endoscopic Video Inpainting (DAEVI) framework. It features a Spatial-Temporal Guided Depth Estimation module for direct depth estimation from visual features, a Bi-Modal Paired Channel Fusion module for effective channel-by-channel fusion of visual and depth information, and a Depth Enhanced Discriminator to assess the fidelity of the RGB-D sequence comprised of the inpainted frames and estimated depth images. Experimental evaluations on established benchmarks demonstrate our framework's superiority, achieving a 2% improvement in PSNR and a 6% reduction in MSE compared to state-of-the-art methods. Qualitative analyses further validate its enhanced ability to inpaint fine details, highlighting the benefits of integrating depth information into endoscopic inpainting.
Abstract（参考訳）: ビデオのインペイントは、破壊されたビデオコンテンツに、もっともらしい代替品を埋める。近年の内視鏡的映像の塗布は, 内視鏡的映像の質を高める可能性を示しているが, 臨床参照のために重要な3次元空間的詳細を効果的に保存することなく, 主に2次元視覚情報を修復している。深度を意識した塗装法は深度情報を取り入れることでこれらの詳細を保存しようとする。それでも、内視鏡的文脈では、事前に取得した深度マップへの依存、より効果的な融合設計、三次元空間の詳細の忠実さの無視といった課題に直面している。そこで我々は,DAEVI(Depth-awareendoscopic Video Inpainting)フレームワークを提案する。視覚的特徴から直接の深度推定を行う空間時間ガイド深度推定モジュールと、視覚的および深度情報の効果的チャネル・バイ・チャンネル融合を行うバイモーダルペアドチャネルフュージョンモジュールと、塗布されたフレームと推定深度画像からなるRGB-Dシーケンスの忠実度を評価する深度識別器とを備える。確立されたベンチマーク実験により,PSNRの2%向上,MSEの6%削減が達成された。定性的分析により細部を塗布する能力がさらに向上し、深部情報を内視鏡的塗布に組み込むことの利点が強調された。

関連論文リスト

BrightVAE: Luminosity Enhancement in Underexposed Endoscopic Images [6.687072439993227]
過度に露出した内視鏡画像は、コントラストの低下と不均一な明るさに悩まされることが多い。階層型ベクトル量子変分オートエンコーダ(階層型VQ-VAE)に基づくアーキテクチャであるBrightVAEを紹介する。私たちのアーキテクチャは、内視鏡画像に固有のユニークな課題に取り組むために慎重に設計されています。
論文参考訳（メタデータ） (2024-11-22T01:41:27Z)
Depth-guided Texture Diffusion for Image Semantic Segmentation [47.46257473475867]
本稿では,この課題を効果的に解決するディープスガイド型テクスチャ拡散手法を提案する。本手法は,テクスチャ画像を作成するために,エッジやテクスチャから低レベル特徴を抽出する。この拡張深度マップを元のRGB画像と結合した特徴埋め込みに統合することにより,深度マップと画像との相違を効果的に橋渡しする。
論文参考訳（メタデータ） (2024-08-17T04:55:03Z)
A Two-Stage Masked Autoencoder Based Network for Indoor Depth Completion [10.519644854849098]
室内深度補完のための2段階トランスフォーマーネットワークを提案する。提案するネットワークは,Matterport3Dデータセット上での最先端性能を実現する。また, 深度完了作業の重要性を検証するため, 室内3次元再構成に本手法を適用した。
論文参考訳（メタデータ） (2024-06-14T07:42:27Z)
Leveraging Near-Field Lighting for Monocular Depth Estimation from Endoscopy Videos [12.497782583094281]
内視鏡ビデオにおける単眼深度推定は、補助手術やロボット手術により、臓器のより良いカバレッジと様々な健康問題の検出が可能になる。主流の自然画像深度推定では有望な進歩があったが、内視鏡画像では技術が不十分であった。本稿では, 内視鏡から放射される光を表面から反射する光学的手がかりを用いて, 単分子深度推定を改善する。
論文参考訳（メタデータ） (2024-03-26T17:52:23Z)
MonoDVPS: A Self-Supervised Monocular Depth Estimation Approach to Depth-aware Video Panoptic Segmentation [3.2489082010225494]
単眼深度推定とビデオパノプティックセグメンテーションを行うマルチタスクネットワークを用いた新しいソリューションを提案する。トレーニング信号の劣化を回避するため,物体を移動させるための新しいパノプティカルマスキング方式と,パノプティカル誘導による奥行き損失を導入した。
論文参考訳（メタデータ） (2022-10-14T07:00:42Z)
3D endoscopic depth estimation using 3D surface-aware constraints [16.161276518580262]
深度推定は3次元表面から行うことができることを示す。本研究では,表面認識制約を統合した深度推定のための損失関数を提案する。カメラパラメータは、深さ推定の制御と透明性を高めるために、トレーニングパイプラインに組み込まれる。
論文参考訳（メタデータ） (2022-03-04T04:47:20Z)
Adversarial Domain Feature Adaptation for Bronchoscopic Depth Estimation [111.89519571205778]
そこで本研究では,深度推定のためのドメイン適応手法を提案する。提案する2段階構造は,まず,ラベル付き合成画像を用いた深度推定ネットワークを教師付きで訓練する。実験の結果,提案手法は実画像上でのネットワーク性能をかなりの差で向上させることがわかった。
論文参考訳（メタデータ） (2021-09-24T08:11:34Z)
Deep Direct Volume Rendering: Learning Visual Feature Mappings From Exemplary Images [57.253447453301796]
本稿では,ディープ・ダイレクト・ボリューム・レンダリング(Deep Direct Volume Rendering,DVR)を導入し,ディープ・ニューラル・ネットワークをDVRアルゴリズムに統合する。潜在色空間におけるレンダリングを概念化し、深層アーキテクチャを用いて特徴抽出と分類のための暗黙マッピングを学習できるようにする。我々の一般化は、画像空間の例から直接エンドツーエンドにトレーニングできる新しいボリュームレンダリングアーキテクチャを導き出すのに役立つ。
論文参考訳（メタデータ） (2021-06-09T23:03:00Z)
Progressive Depth Learning for Single Image Dehazing [56.71963910162241]
既存の脱湿法は、しばしば深度を無視し、より重いヘイズが視界を乱す遠くの地域で失敗する。画像深度と伝送マップを反復的に推定するディープエンドツーエンドモデルを提案する。私たちのアプローチは、画像深度と伝送マップの内部関係を明示的にモデリングすることから利益を得ます。
論文参考訳（メタデータ） (2021-02-21T05:24:18Z)
Depth Completion Using a View-constrained Deep Prior [73.21559000917554]
近年の研究では、畳み込みニューラルネットワーク(CNN)の構造が、自然画像に有利な強い先行性をもたらすことが示されている。この前者はディープ・イメージ・先行 (DIP) と呼ばれ、画像の装飾や塗装といった逆問題において有効な正則化器である。我々は、DIPの概念を深度画像に拡張し、色画像とノイズと不完全な目標深度マップから、CNNネットワーク構造を先行して復元された深度マップを再構成する。
論文参考訳（メタデータ） (2020-01-21T21:56:01Z)
Video Depth Estimation by Fusing Flow-to-Depth Proposals [65.24533384679657]
本稿では,映像深度推定のためのフロー・ツー・ディープス・レイヤの異なる手法を提案する。モデルは、フロー・トゥ・ディープス層、カメラ・ポーズ・リファインメント・モジュール、ディープ・フュージョン・ネットワークから構成される。提案手法は,最先端の深度推定法より優れ,合理的なデータセット一般化能力を有する。
論文参考訳（メタデータ） (2019-12-30T10:45:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。