論文の概要: Symmetry Strikes Back: From Single-Image Symmetry Detection to 3D Generation
- arxiv url: http://arxiv.org/abs/2411.17763v1
- Date: Tue, 26 Nov 2024 04:14:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-28 15:27:01.037643
- Title: Symmetry Strikes Back: From Single-Image Symmetry Detection to 3D Generation
- Title（参考訳）: シンメトリが逆戻り:シングルイメージのシンメトリ検出から3D生成へ
- Authors: Xiang Li, Zixuan Huang, Anh Thai, James M. Rehg,
- Abstract要約: 我々は,多種多様な実世界のシナリオに対して堅牢な一般化が可能なスケーラブルなゼロショット対称性検出器であるReflect3Dを紹介する。
検出された対称性を単一画像の3D生成パイプラインに組み込むことの実用的利点を示す。
- 参考スコア（独自算出の注目度）: 29.732780338284353
- License:
- Abstract: Symmetry is a ubiquitous and fundamental property in the visual world, serving as a critical cue for perception and structure interpretation. This paper investigates the detection of 3D reflection symmetry from a single RGB image, and reveals its significant benefit on single-image 3D generation. We introduce Reflect3D, a scalable, zero-shot symmetry detector capable of robust generalization to diverse and real-world scenarios. Inspired by the success of foundation models, our method scales up symmetry detection with a transformer-based architecture. We also leverage generative priors from multi-view diffusion models to address the inherent ambiguity in single-view symmetry detection. Extensive evaluations on various data sources demonstrate that Reflect3D establishes a new state-of-the-art in single-image symmetry detection. Furthermore, we show the practical benefit of incorporating detected symmetry into single-image 3D generation pipelines through a symmetry-aware optimization process. The integration of symmetry significantly enhances the structural accuracy, cohesiveness, and visual fidelity of the reconstructed 3D geometry and textures, advancing the capabilities of 3D content creation.
- Abstract（参考訳）: 対称性は視覚の世界においてユビキタスで基本的な性質であり、知覚と構造解釈の重要な手がかりとなっている。
本稿では,1枚のRGB画像から3次元反射対称性を検出することを検討した。
我々は,多種多様な実世界のシナリオに対して堅牢な一般化が可能なスケーラブルなゼロショット対称性検出器であるReflect3Dを紹介する。
基礎モデルの成功に触発された本手法は,トランスフォーマーアーキテクチャを用いて対称性検出をスケールアップする。
また,多視点拡散モデルから生成した先行情報を利用して,一視点対称性検出における固有曖昧性に対処する。
様々なデータソースに対する広範囲な評価は、リフレクション3Dが単一画像対称性検出において新しい最先端技術を確立していることを示している。
さらに, 検出された対称性を, 対称性を考慮した最適化プロセスを通じて, 単一画像の3次元生成パイプラインに組み込むことの実用的メリットを示す。
対称性の統合により、再構成された3次元形状とテクスチャの構造精度、凝集度、視覚的忠実度が大幅に向上し、3次元コンテンツ作成能力が向上する。
関連論文リスト
- PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。
本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
論文 参考訳（メタデータ） (2024-10-29T15:28:15Z) - GeoGS3D: Single-view 3D Reconstruction via Geometric-aware Diffusion Model and Gaussian Splatting [81.03553265684184]
単視点画像から詳細な3Dオブジェクトを再構成するフレームワークであるGeoGS3Dを紹介する。
本稿では,GDS(Gaussian Divergence Significance)という新しい指標を提案する。
実験により、GeoGS3Dはビュー間で高い一貫性を持つ画像を生成し、高品質な3Dオブジェクトを再構成することを示した。
論文 参考訳（メタデータ） (2024-03-15T12:24:36Z) - Partial Symmetry Detection for 3D Geometry using Contrastive Learning
with Geodesic Point Cloud Patches [10.48309709793733]
我々は,測地線点雲パッチの回転,反射,翻訳,スケール不変な局所形状の特徴を学習することを提案する。
この曖昧な問題に対して,本手法は複数の有効な解を抽出可能であることを示す。
検出された対称性を領域成長アルゴリズムと組み合わせて下流タスクを実証する。
論文 参考訳（メタデータ） (2023-12-13T15:48:50Z) - Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。
以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。
本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
論文 参考訳（メタデータ） (2022-04-09T03:46:18Z) - A Model for Multi-View Residual Covariances based on Perspective
Deformation [88.21738020902411]
マルチビューSfM, オードメトリ, SLAMセットアップにおける視覚的残差の共分散モデルの導出を行う。
我々は、合成データと実データを用いてモデルを検証し、それを光度および特徴量に基づくバンドル調整に統合する。
論文 参考訳（メタデータ） (2022-02-01T21:21:56Z) - SIDER: Single-Image Neural Optimization for Facial Geometric Detail
Recovery [54.64663713249079]
SIDERは、教師なしの方法で単一の画像から詳細な顔形状を復元する新しい光度最適化手法である。
以前の作業とは対照的に、SIDERはデータセットの事前に依存せず、複数のビュー、照明変更、地上の真実の3D形状から追加の監視を必要としない。
論文 参考訳（メタデータ） (2021-08-11T22:34:53Z) - Recurrently Estimating Reflective Symmetry Planes from Partial
Pointclouds [5.098175145801009]
代わりに、高さ次元に沿ってデータをスライスし、2次元畳み込み再帰回帰スキームに順次渡す新しい符号化法を提案する。
提案手法は,全合成対象の平面反射対称性推定作業における最先端技術に匹敵する精度を有することを示す。
論文 参考訳（メタデータ） (2021-06-30T15:26:15Z) - NeRD: Neural 3D Reflection Symmetry Detector [27.626579746101292]
ニューラル3次元反射対称性検出器NeRDについて述べる。
まず、粗大な戦略で対称性平面を列挙し、それから3次元のコストボリュームを構築することで最良の平面を見つける。
実験の結果,本手法で検出した対称性平面は直接CNN回帰から検出した平面よりもかなり精度が高いことがわかった。
論文 参考訳（メタデータ） (2021-04-19T17:25:51Z) - SymmetryNet: Learning to Predict Reflectional and Rotational Symmetries
of 3D Shapes from Single-View RGB-D Images [26.38270361331076]
本稿では3次元物体の反射対称性と回転対称性の両方を予測できるエンドツーエンドのディープニューラルネットワークを提案する。
単視点RGB-D画像に基づく3次元対称性検出のベンチマークにも貢献する。
論文 参考訳（メタデータ） (2020-08-02T14:10:09Z) - PaMIR: Parametric Model-Conditioned Implicit Representation for
Image-based Human Reconstruction [67.08350202974434]
本研究では,パラメトリックボディモデルと自由形深部暗黙関数を組み合わせたパラメトリックモデル記述型暗黙表現(PaMIR)を提案する。
本手法は, 挑戦的なポーズや衣料品のタイプにおいて, 画像に基づく3次元再構築のための最先端性能を実現する。
論文 参考訳（メタデータ） (2020-07-08T02:26:19Z) - Learning to Detect 3D Reflection Symmetry for Single-View Reconstruction [32.14605731030579]
単一のRGB画像からの3D再構成は、コンピュータビジョンにおいて難しい問題である。
従来の手法は通常データ駆動であり、不正確な3次元形状の復元と限定的な一般化能力をもたらす。
本稿では,人造物体によく見られる反射対称性の鏡面を初めて検出し,その対称性の画素内対応を見いだして深度マップを予測する。
論文 参考訳（メタデータ） (2020-06-17T17:58:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。