論文の概要: Generalizing Spatial Transformers to Projective Geometry with
Applications to 2D/3D Registration
- arxiv url: http://arxiv.org/abs/2003.10987v1
- Date: Tue, 24 Mar 2020 17:26:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 09:16:54.903765
- Title: Generalizing Spatial Transformers to Projective Geometry with
Applications to 2D/3D Registration
- Title(参考訳): 空間変換器の射影幾何学への一般化と2d/3d登録への応用
- Authors: Cong Gao, Xingtong Liu, Wenhao Gu, Benjamin Killeen, Mehran Armand,
Russell Taylor and Mathias Unberath
- Abstract要約: 微分レンダリングは、3Dシーンと対応する2D画像とを接続する技術である。
本稿では,空間変換器を射影幾何学に一般化する新しい射影空間変換器モジュールを提案する。
- 参考スコア(独自算出の注目度): 11.219924013808852
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differentiable rendering is a technique to connect 3D scenes with
corresponding 2D images. Since it is differentiable, processes during image
formation can be learned. Previous approaches to differentiable rendering focus
on mesh-based representations of 3D scenes, which is inappropriate for medical
applications where volumetric, voxelized models are used to represent anatomy.
We propose a novel Projective Spatial Transformer module that generalizes
spatial transformers to projective geometry, thus enabling differentiable
volume rendering. We demonstrate the usefulness of this architecture on the
example of 2D/3D registration between radiographs and CT scans. Specifically,
we show that our transformer enables end-to-end learning of an image processing
and projection model that approximates an image similarity function that is
convex with respect to the pose parameters, and can thus be optimized
effectively using conventional gradient descent. To the best of our knowledge,
this is the first time that spatial transformers have been described for
projective geometry. The source code will be made public upon publication of
this manuscript and we hope that our developments will benefit related 3D
research applications.
- Abstract(参考訳): 微分レンダリングは、3Dシーンと対応する2Dイメージを接続する技術である。
微分可能であるため、画像形成中のプロセスを学ぶことができる。
差別化可能なレンダリングに対する従来のアプローチは、3Dシーンのメッシュベースの表現に重点を置いていた。
本稿では,空間変換器を射影幾何学に一般化した新しい射影空間変換器モジュールを提案する。
本アーキテクチャの有用性を,ラジオグラフとctスキャンの2d/3d登録例で示す。
具体的には,ポーズパラメータに対して凸な画像類似度関数を近似した画像処理と投影モデルのエンドツーエンド学習が可能であり,従来の勾配勾配を用いて効果的に最適化可能であることを示す。
私たちの知る限りでは、空間トランスフォーマーが射影幾何学のために記述されたのはこれが初めてです。
ソースコードはこの原稿の公開時に公開され、我々の開発が関連する3D研究アプリケーションに利益をもたらすことを期待します。
関連論文リスト
- Multiple View Geometry Transformers for 3D Human Pose Estimation [35.26756920323391]
多視点人間のポーズ推定におけるトランスフォーマーの3次元推論能力の向上を目指す。
本稿では,一連の幾何学的および外観的モジュールを反復的に構成した新しいハイブリッドモデルMVGFormerを提案する。
論文 参考訳(メタデータ) (2023-11-18T06:32:40Z) - Unaligned 2D to 3D Translation with Conditional Vector-Quantized Code
Diffusion using Transformers [26.500355873271634]
本稿では,ベクトル量子化符号を用いた条件拡散に基づく,単純で斬新な2Dから3D合成手法を提案する。
情報豊富なコード空間で操作することで、ビュー全体にわたるフルカバレッジの注意を通して、高解像度の3D合成が可能になる。
論文 参考訳(メタデータ) (2023-08-27T16:22:09Z) - Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。
我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
論文 参考訳(メタデータ) (2023-08-18T17:55:47Z) - Michelangelo: Conditional 3D Shape Generation based on Shape-Image-Text
Aligned Latent Representation [47.945556996219295]
本稿では2次元画像やテキストに基づいて3次元形状を生成する新しいアライメント前世代手法を提案する。
我々のフレームワークは、形状-画像-テキスト対応変分自動エンコーダ(SITA-VAE)と条件付き形状遅延拡散モデル(ASLDM)の2つのモデルで構成されている。
論文 参考訳(メタデータ) (2023-06-29T17:17:57Z) - High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。
提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文 参考訳(メタデータ) (2022-11-28T18:59:52Z) - GAN2X: Non-Lambertian Inverse Rendering of Image GANs [85.76426471872855]
GAN2Xは、教師なし画像のみをトレーニングに使用する、教師なし逆レンダリングの新しい手法である。
3次元形状を主眼とする従来のShape-from-GANアプローチとは異なり、GANが生成した擬似ペアデータを利用して、非ランベルト材料特性を復元する試みは初めてである。
実験により, GAN2Xは2次元画像を3次元形状, アルベド, 特異な特性に正確に分解し, 教師なしの単視3次元顔再構成の最先端性能を実現することができた。
論文 参考訳(メタデータ) (2022-06-18T16:58:49Z) - Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。
以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。
本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
論文 参考訳(メタデータ) (2022-04-09T03:46:18Z) - 3D-Aware Indoor Scene Synthesis with Depth Priors [62.82867334012399]
既存の手法では、室内配置や内部の物体の多様さのため、屋内シーンのモデル化に失敗する。
室内のシーンは共通な内在構造を持たず、2次元画像のみを用いるだけでは3次元形状のモデルが適切にガイドできない。
論文 参考訳(メタデータ) (2022-02-17T09:54:29Z) - Geometry-Free View Synthesis: Transformers and no 3D Priors [16.86600007830682]
トランスフォーマーモデルでは,手作業による3次元バイアスを伴わずに全く新しいビューを合成できることを示す。
i)ソースビューとターゲットビューの長距離3D対応を暗黙的に学習するグローバルアテンションメカニズムによって実現される。
論文 参考訳(メタデータ) (2021-04-15T17:58:05Z) - Fully Understanding Generic Objects: Modeling, Segmentation, and
Reconstruction [33.95791350070165]
2D画像からジェネリックオブジェクトの3D構造を推定することは、コンピュータビジョンの長年の目標です。
半教師付き学習による代替アプローチを取る。
つまり、ジェネリックオブジェクトの2Dイメージでは、カテゴリ、形状、およびアルベドの潜在的な表現に分解します。
完全な形状とアルベドモデリングにより、モデリングとモデルフィッティングの両方で実際の2Dイメージを活用できることを示しています。
論文 参考訳(メタデータ) (2021-04-02T02:39:29Z) - Geometric Correspondence Fields: Learned Differentiable Rendering for 3D
Pose Refinement in the Wild [96.09941542587865]
野生の任意のカテゴリのオブジェクトに対する微分可能レンダリングに基づく新しい3次元ポーズ精細化手法を提案する。
このようにして、3DモデルとRGB画像のオブジェクトを正確に整列し、3Dポーズ推定を大幅に改善する。
我々は、Pix3Dデータセットの挑戦に対するアプローチを評価し、複数のメトリクスにおける最先端の精錬手法と比較して、最大55%の改善を実現した。
論文 参考訳(メタデータ) (2020-07-17T12:34:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。