論文の概要: OpticFusion: Multi-Modal Neural Implicit 3D Reconstruction of Microstructures by Fusing White Light Interferometry and Optical Microscopy
- arxiv url: http://arxiv.org/abs/2501.09259v1
- Date: Thu, 16 Jan 2025 03:02:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-17 15:09:03.956462
- Title: OpticFusion: Multi-Modal Neural Implicit 3D Reconstruction of Microstructures by Fusing White Light Interferometry and Optical Microscopy
- Title（参考訳）: 光学フュージョン:白色光干渉法と光学顕微鏡による多モードニューラルインシシット3次元組織再構成
- Authors: Shuo Chen, Yijin Li, Guofeng Zhang,
- Abstract要約: 白色光干渉計(White Light Interferometry, WLI)は、微細構造の3次元トポグラフィーを測定するための精密光学ツールである。
従来の手法では、WLIハードウェアと解析ソフトウェアを変更することで、この制限を克服しようと試みてきた。
我々は,光学顕微鏡を付加して自然色テクスチャを用いた3次元再構成を実現する新しいアプローチである OpticFusion を紹介する。
- 参考スコア（独自算出の注目度）: 6.928166962619509
- License:
- Abstract: White Light Interferometry (WLI) is a precise optical tool for measuring the 3D topography of microstructures. However, conventional WLI cannot capture the natural color of a sample's surface, which is essential for many microscale research applications that require both 3D geometry and color information. Previous methods have attempted to overcome this limitation by modifying WLI hardware and analysis software, but these solutions are often costly. In this work, we address this challenge from a computer vision multi-modal reconstruction perspective for the first time. We introduce OpticFusion, a novel approach that uses an additional digital optical microscope (OM) to achieve 3D reconstruction with natural color textures using multi-view WLI and OM images. Our method employs a two-step data association process to obtain the poses of WLI and OM data. By leveraging the neural implicit representation, we fuse multi-modal data and apply color decomposition technology to extract the sample's natural color. Tested on our multi-modal dataset of various microscale samples, OpticFusion achieves detailed 3D reconstructions with color textures. Our method provides an effective tool for practical applications across numerous microscale research fields. The source code and our real-world dataset are available at https://github.com/zju3dv/OpticFusion.
- Abstract（参考訳）: 白色光干渉計(White Light Interferometry, WLI)は、微細構造の3次元トポグラフィーを測定するための精密光学ツールである。
しかし、従来のWLIは試料表面の自然色をキャプチャすることはできず、これは3次元幾何学と色情報の両方を必要とする多くのマイクロスケールの研究用途に欠かせない。
従来の方法では、WLIハードウェアと分析ソフトウェアを変更することで、この制限を克服しようと試みてきたが、これらのソリューションは、しばしばコストがかかる。
本研究では,コンピュータビジョンのマルチモーダル再構築の観点から,この課題に初めて対処する。
マルチビューWLIとOM画像を用いた自然色テクスチャによる3次元再構成を実現するために,追加のデジタル光学顕微鏡(OM)を用いた新しいアプローチであるOpticFusionを導入する。
提案手法では,WLIデータとOMデータのポーズを得るために2段階のデータアソシエーションプロセスを用いる。
ニューラル暗示表現を活用することで、多モードデータを融合し、色分解技術を適用してサンプルの自然色を抽出する。
様々なマイクロスケールサンプルのマルチモーダルデータセットを用いて、オプティクスフュージョンは色のテクスチャで詳細な3D再構成を行う。
本手法は,多数のマイクロスケール研究分野にまたがる実践的応用に有効なツールを提供する。
ソースコードと実世界のデータセットはhttps://github.com/zju3dv/OpticFusion.comで公開されている。
関連論文リスト
- IDArb: Intrinsic Decomposition for Arbitrary Number of Input Views and Illuminations [64.07859467542664]
画像から幾何学的および物質的情報をキャプチャすることは、コンピュータビジョンとグラフィックスの基本的な課題である。
従来の最適化に基づく手法では、密集した多視点入力から幾何学、材料特性、環境照明を再構築するために数時間の計算時間を必要とすることが多い。
IDArbは、様々な照明条件下で、任意の画像に対して本質的な分解を行うために設計された拡散モデルである。
論文 参考訳（メタデータ） (2024-12-16T18:52:56Z) - Textured Mesh Saliency: Bridging Geometry and Texture for Human Perception in 3D Graphics [50.23625950905638]
6自由度(6-DOF)VR環境下での革新的な視線追跡実験により構築したテクスチャメッシュ・サリエンシのための新しいデータセットを提案する。
本モデルでは,各三角形の面を個々の単位として扱い,各局所表面領域の重要性を反映した塩分濃度値を割り当てることで,テクスチャメッシュ表面の塩分濃度マップを推定する。
論文 参考訳（メタデータ） (2024-12-11T08:27:33Z) - MTFusion: Reconstructing Any 3D Object from Single Image Using Multi-word Textual Inversion [10.912989885886617]
高忠実度3D再構成に画像データとテキスト記述の両方を活用するMTFusionを提案する。
提案手法は,2つの段階から構成される。まず,新しい多語テキスト変換手法を採用し,詳細なテキスト記述を抽出する。
そして、この記述と画像を用いてFlexiCubesで3Dモデルを生成する。
論文 参考訳（メタデータ） (2024-11-19T03:29:18Z) - Large Spatial Model: End-to-end Unposed Images to Semantic 3D [79.94479633598102]
大空間モデル(LSM)は、RGB画像を直接意味的放射場に処理する。
LSMは、単一のフィードフォワード操作における幾何学、外観、意味を同時に推定する。
新しい視点で言語と対話することで、多目的ラベルマップを生成することができる。
論文 参考訳（メタデータ） (2024-10-24T17:54:42Z) - Multispectral Texture Synthesis using RGB Convolutional Neural Networks [2.3213238782019316]
最先端のRGBテクスチャ合成アルゴリズムは、深い特徴の統計によって計算されるスタイル距離に依存している。
本稿では,これらの手法をマルチスペクトルイメージングに拡張する2つの方法を提案する。
論文 参考訳（メタデータ） (2024-10-21T13:49:54Z) - Mastoidectomy Multi-View Synthesis from a Single Microscopy Image [4.777201894011511]
単一CI顕微鏡画像から合成多視点映像を生成することができる新しいパイプラインを提案する。
本研究は, 術前CT検査を用いて, 乳頭切除後の表面を予測し, 本目的のために設計した方法である。
論文 参考訳（メタデータ） (2024-08-31T16:45:24Z) - Self-Supervised Representation Learning for Nerve Fiber Distribution
Patterns in 3D-PLI [36.136619420474766]
3D-PLI(3D-PLI)は、高分解能の髄質神経線維の微細構造を観察できる顕微鏡イメージング技術である。
3D-PLIにおけるファイバアーキテクチャのオブザーバ非依存的特徴付けのためのベストプラクティスはまだ提供されていない。
自己教師付き表現学習を用いた3次元PLI画像における神経線維構造を特徴付けるための完全データ駆動型アプローチを提案する。
論文 参考訳（メタデータ） (2024-01-30T17:49:53Z) - High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。
提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文 参考訳（メタデータ） (2022-11-28T18:59:52Z) - Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
多視点画像観測による材料と照明の協調最適化手法を提案する。
従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
論文 参考訳（メタデータ） (2021-11-24T13:58:20Z) - Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo [103.08512487830669]
多視点測光ステレオ問題(MVPS)に対する現代的な解法を提案する。
我々は、光度ステレオ(PS)画像形成モデルを用いて表面配向を取得し、それを多視点のニューラルラディアンス場表現とブレンドして物体の表面形状を復元する。
本手法は,多視点画像のニューラルレンダリングを行い,深部光度ステレオネットワークによって推定される表面の正規性を活用している。
論文 参考訳（メタデータ） (2021-10-11T20:20:03Z) - Programmable 3D snapshot microscopy with Fourier convolutional networks [3.2156268397508314]
3Dスナップショット顕微鏡は、単一の2Dカメラ画像で3Dボリュームをキャプチャすることにより、カメラと同じくらい高速なボリュームイメージングを可能にします。
3Dスナップショット画像にエンコードされたグローバル混合情報を効率的に統合できるグローバルカーネルフーリエ畳み込みニューラルネットワークのクラスを紹介します。
論文 参考訳（メタデータ） (2021-04-21T16:09:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。