論文の概要: Real-time Dense Reconstruction of Tissue Surface from Stereo Optical Video

• arxiv url: http://arxiv.org/abs/2007.12623v1
• Date: Thu, 16 Jul 2020 19:14:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 23:41:51.231721
• Title: Real-time Dense Reconstruction of Tissue Surface from Stereo Optical Video
• Title（参考訳）: ステレオビデオによる組織表面のリアルタイム密度再構成
• Authors: Haoyin Zhou, Jagadeesan Jayender
• Abstract要約: 立体光学ビデオから組織表面の高密度3次元モデル(3次元)をリアルタイムに再構成する手法を提案する。 まずステレオマッチングを用いてビデオフレームから3D情報を抽出し,再構成した3Dモデルをモザイクする。 2mm未満の精度で高分解能テクスチャを有する復元3Dモデルについて, 生体内および生体内データによる実験結果を得た。
• 参考スコア（独自算出の注目度）: 10.181846237133167
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose an approach to reconstruct dense three-dimensional (3D) model of tissue surface from stereo optical videos in real-time, the basic idea of which is to first extract 3D information from video frames by using stereo matching, and then to mosaic the reconstructed 3D models. To handle the common low texture regions on tissue surfaces, we propose effective post-processing steps for the local stereo matching method to enlarge the radius of constraint, which include outliers removal, hole filling and smoothing. Since the tissue models obtained by stereo matching are limited to the field of view of the imaging modality, we propose a model mosaicking method by using a novel feature-based simultaneously localization and mapping (SLAM) method to align the models. Low texture regions and the varying illumination condition may lead to a large percentage of feature matching outliers. To solve this problem, we propose several algorithms to improve the robustness of SLAM, which mainly include (1) a histogram voting-based method to roughly select possible inliers from the feature matching results, (2) a novel 1-point RANSAC-based P$n$P algorithm called as DynamicR1PP$n$P to track the camera motion and (3) a GPU-based iterative closest points (ICP) and bundle adjustment (BA) method to refine the camera motion estimation results. Experimental results on ex- and in vivo data showed that the reconstructed 3D models have high resolution texture with an accuracy error of less than 2 mm. Most algorithms are highly parallelized for GPU computation, and the average runtime for processing one key frame is 76.3 ms on stereo images with 960x540 resolution.
• Abstract（参考訳）: 本研究では,立体光学映像から組織表面の密集した3次元モデル(3次元)をリアルタイムに再構成する手法を提案し,ステレオマッチングを用いてまず映像フレームから3次元情報を抽出し,その再構成した3次元モデルをモザイク化する。 組織表面上の共通の低テクスチャ領域を扱うために, 局所ステレオマッチング法において, 異常除去, ホール充填, 平滑化など, 制約半径を拡大するための効果的な後処理手順を提案する。 ステレオマッチングにより得られた組織モデルはイメージングモダリティの視野に制限されるため,新しい特徴量に基づく同時局在化マッピング(slam)法を用いてモデルモザイク化手法を提案する。 低テクスチャ領域と様々な照明条件は、多くの特徴マッチングアウトレイラをもたらす可能性がある。 この問題を解決するために,(1)特徴マッチング結果から可能なイリアーを大まかに選択するヒストグラム投票に基づく手法,(2)カメラ動作を追跡するdynamicr1pp$n$pと呼ばれる新しい1点ransacベースのp$n$pアルゴリズム,(3)カメラ動作推定結果を洗練するためのgpuベースの反復的最接近点(icp)とバンドル調整(ba)法など,slamのロバスト性を改善するアルゴリズムを提案する。 2mm未満の精度で高分解能テクスチャを有する復元3Dモデルについて, 生体内および生体内データによる実験結果を得た。 ほとんどのアルゴリズムはgpu計算のために高度に並列化されており、1つのキーフレームを処理する平均ランタイムは960x540解像度のステレオ画像上で76.3msである。

関連論文リスト

• Towards Realistic Example-based Modeling via 3D Gaussian Stitching [31.710954782769377]
  サンプル誘導合成を用いた点ベース表現における複数のガウス場を組み合わせた例に基づくモデリング手法を提案する。 具体的には、構成について、複数のフィールドをリアルタイムでセグメント化し変換するGUIを作成し、意味論的に意味のあるモデルの合成を容易に得る。 テクスチャブレンディングでは、3DGSの離散的および不規則な性質のため、SeamlssNeRFがサポートされないため、直接勾配伝播を適用する。
  論文  参考訳（メタデータ） (2024-08-28T11:13:27Z)
• SD-MVS: Segmentation-Driven Deformation Multi-View Stereo with Spherical Refinement and EM optimization [6.886220026399106]
  テクスチャレス領域の3次元再構成における課題を解決するために,多視点ステレオ (SD-MVS) を導入する。 私たちは、シーン内のセグメンテーションインスタンスを区別するためにSAM(Segment Anything Model)を採用した最初の人です。 球面座標と正規点の勾配勾配と深度の画素方向探索間隔を組み合わせた独自の精細化戦略を提案する。
  論文  参考訳（メタデータ） (2024-01-12T05:25:57Z)
• Wonder3D: Single Image to 3D using Cross-Domain Diffusion [105.16622018766236]
  Wonder3Dは、単一視点画像から高忠実なテクスチャメッシュを効率的に生成する新しい手法である。 画像から3Dまでのタスクの品質,一貫性,効率性を総括的に改善するため,領域間拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-10-23T15:02:23Z)
• Generalization of pixel-wise phase estimation by CNN and improvement of phase-unwrapping by MRF optimization for one-shot 3D scan [0.621405559652172]
  シングルパターンプロジェクション(ワンショット3Dスキャン)を用いたアクティブステレオ技術は、産業や医療目的などから広く注目を集めている。 ワンショット3Dスキャンの深刻な欠点はスパース再構成である。 パターンが正規かつ周期的であれば,任意のタイプの静的パターンに適用可能なワンショットスキャンのための画素ワイズ手法を提案する。
  論文  参考訳（メタデータ） (2023-09-26T10:45:04Z)
• Towards Scalable Multi-View Reconstruction of Geometry and Materials [27.660389147094715]
  本稿では,3次元シーンのカメラポーズ,オブジェクト形状,空間変化の両方向反射分布関数(svBRDF)のジョイントリカバリ手法を提案する。 入力は高解像度のRGBD画像であり、アクティブ照明用の点灯付き携帯型ハンドヘルドキャプチャシステムによってキャプチャされる。
  論文  参考訳（メタデータ） (2023-06-06T15:07:39Z)
• $PC^2$: Projection-Conditioned Point Cloud Diffusion for Single-Image 3D Reconstruction [97.06927852165464]
  単一のRGB画像から物体の3次元形状を再構築することは、コンピュータビジョンにおける長年の課題である。 条件付き偏光拡散プロセスによりスパース点雲を生成する単一像3次元再構成法を提案する。
  論文  参考訳（メタデータ） (2023-02-21T13:37:07Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)
• Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo [103.08512487830669]
  多視点測光ステレオ問題(MVPS)に対する現代的な解法を提案する。 我々は、光度ステレオ(PS)画像形成モデルを用いて表面配向を取得し、それを多視点のニューラルラディアンス場表現とブレンドして物体の表面形状を復元する。 本手法は,多視点画像のニューラルレンダリングを行い,深部光度ステレオネットワークによって推定される表面の正規性を活用している。
  論文  参考訳（メタデータ） (2021-10-11T20:20:03Z)
• Learning Stereopsis from Geometric Synthesis for 6D Object Pose Estimation [11.999630902627864]
  現在のモノクラーベース6Dオブジェクトポーズ推定法は、一般的にRGBDベースの手法よりも競争力の低い結果が得られる。 本稿では,短いベースライン2ビュー設定による3次元幾何体積に基づくポーズ推定手法を提案する。 実験により,本手法は最先端の単分子法よりも優れ,異なる物体やシーンにおいて堅牢であることが示された。
  論文  参考訳（メタデータ） (2021-09-25T02:55:05Z)
• Reinforced Axial Refinement Network for Monocular 3D Object Detection [160.34246529816085]
  モノクロ3次元物体検出は、2次元入力画像から物体の位置と特性を抽出することを目的としている。 従来のアプローチでは、空間から3D境界ボックスをサンプリングし、対象オブジェクトと各オブジェクトの関係を推定するが、有効サンプルの確率は3D空間で比較的小さい。 我々は,まず最初の予測から始めて,各ステップで1つの3dパラメータだけを変えて,基礎的真理に向けて徐々に洗練することを提案する。 これは、いくつかのステップの後に報酬を得るポリシーを設計する必要があるため、最適化するために強化学習を採用します。
  論文  参考訳（メタデータ） (2020-08-31T17:10:48Z)
• Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled Representation [57.11299763566534]
  空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。 我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。 アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
  論文  参考訳（メタデータ） (2020-04-05T12:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。