論文の概要: Guiding Image-to-3D Generation with Test-Time Partial Observations
- arxiv url: http://arxiv.org/abs/2609.10531v1
- Date: Wed, 09 Sep 2026 17:58:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:09.14095
- Title: Guiding Image-to-3D Generation with Test-Time Partial Observations
- Title(参考訳): テスト時間部分観察による3次元画像生成の誘導
- Abstract要約: 本研究では,事前学習された画像から3次元生成モデルに部分的幾何学的観察を組み込むための学習自由フレームワークを提案する。
以上の結果から,事前学習した画像から3Dモデルまでが,明示的なテスト時間ガイダンスにより,部分的幾何学的観察を効果的に統合できることが示唆された。
- 参考スコア(独自算出の注目度): 10.438161423840938
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Image-to-3D models can generate visually compelling 3D assets from a single RGB image, but their geometry is often only loosely constrained by the available observations, limiting their use in applications that require geometric fidelity. In many real-world settings, however, partial geometric observations of the object may be available at test time. We introduce a training-free framework for incorporating such evidence into pretrained image-to-3D generative models without retraining or finetuning. To do this, we guide generation using a ray-consistent observation likelihood defined over the model's occupancy representation, combining surface occupancy and free-space evidence. Applied to SAM 3D and its multi-view extension, our approach substantially improves geometric fidelity across different levels of observability, as well as visual quality. Our results demonstrate that pretrained image-to-3D models can effectively integrate partial geometric observations through explicit test-time guidance, complementing their learned generative priors without modifying the underlying model.
- Abstract(参考訳): 画像から3Dのモデルでは、単一のRGB画像から視覚的に魅力的な3Dアセットを生成することができるが、幾何学的忠実さを必要とするアプリケーションでの使用を制限するため、利用可能な観測値にゆるやかに制限されることが多い。
しかし、多くの実世界の環境では、オブジェクトの部分的な幾何学的な観察がテスト時に利用可能である可能性がある。
本研究では,事前学習された画像から3D生成モデルにそのようなエビデンスを組み込むためのトレーニング不要のフレームワークを提案する。
これを実現するために, モデルの占有率表現上に定義された光一貫性観測可能性を用いて, 表面占有率と自由空間エビデンスを組み合わせた生成を導出する。
SAM 3Dとその多視点拡張に応用して,観測可能性の異なる範囲における幾何学的忠実度と視覚的品質を大幅に改善する。
以上の結果から,事前学習した画像から3Dモデルまでを明示的なテスト時間ガイダンスにより効果的に統合できることが示唆された。
関連論文リスト
- Towards Realistic and Consistent Orbital Video Generation via 3D Foundation Priors [61.34273238077091]
本稿では,物体の単一画像からオービタルビデオを生成する新しい手法を提案する。
本手法は,最先端の手法と比較して,視覚的品質,形状リアリズム,多視点整合性を実現している。
論文 参考訳(メタデータ) (2026-04-14T05:35:46Z) - E-RayZer: Self-supervised 3D Reconstruction as Spatial Visual Pre-training [55.61379509038588]
E-RayZerは、ラベルのない画像から直接、真の3D認識表現を学習する、自己教師付き大規模3Dビジョンモデルである。
E-RayZerは直接3D空間で動作し、明示幾何学を用いて自己教師付き3D再構成を行う。
論文 参考訳(メタデータ) (2025-12-11T18:59:53Z) - Geometry and Perception Guided Gaussians for Multiview-consistent 3D Generation from a Single Image [10.648593818811976]
既存のアプローチはしばしば、微調整された事前訓練された2D拡散モデルや、高速ネットワーク推論を通じて直接3D情報を生成することに依存している。
本稿では,新たなモデルトレーニングを必要とせず,幾何学と知覚情報をシームレスに統合する新しい手法を提案する。
実験結果から,新しい視点合成法や3次元再構成法よりも優れ,頑健で一貫した3次元オブジェクト生成を実証した。
論文 参考訳(メタデータ) (2025-06-26T11:22:06Z) - Shape from Semantics: 3D Shape Generation from Multi-View Semantics [30.969299308083723]
既存の3D再構成手法では, 3次元画像, 3次元点雲, 形状輪郭, 単一意味論などのガイダンスを用いて3次元表面を復元する。
図形や外観が、異なる視点から見ると、与えられたテキストの意味と一致した3Dモデルを作成することを目的として、新しい3Dモデリングタスク「Shape from Semantics'」を提案する。
論文 参考訳(メタデータ) (2025-02-01T07:51:59Z) - CtrlNeRF: The Generative Neural Radiation Fields for the Controllable Synthesis of High-fidelity 3D-Aware Images [5.50550810374347]
生成神経放射場(GRAF)は、3Dの監督なしにランダムノイズzから画像を生成することができる。
実際には、形状と外観をそれぞれz_sとz_aでモデル化し、推論中に別々に操作する。
本稿では,複数のシーンを共有重みで表現するために,単一のネットワークを用いた制御可能な生成モデルを提案する。
論文 参考訳(メタデータ) (2024-12-01T10:19:24Z) - DreamPolish: Domain Score Distillation With Progressive Geometry Generation [66.94803919328815]
本稿では,高精細な幾何学と高品質なテクスチャの創出に優れたテキスト・ツー・3D生成モデルであるDreamPolishを紹介する。
幾何構成フェーズでは, 合成過程の安定性を高めるために, 複数のニューラル表現を利用する。
テクスチャ生成フェーズでは、そのような領域に向けて神経表現を導くために、新しいスコア蒸留、すなわちドメインスコア蒸留(DSD)を導入する。
論文 参考訳(メタデータ) (2024-11-03T15:15:01Z) - G-NeRF: Geometry-enhanced Novel View Synthesis from Single-View Images [45.66479596827045]
我々は,幾何誘導多視点合成手法により,幾何先行性を高めるための幾何強調型NeRF(G-NeRF)を提案する。
単一視点画像に対する多視点監視の欠如に対処するために,深度認識型トレーニングアプローチを設計する。
論文 参考訳(メタデータ) (2024-04-11T04:58:18Z) - Structured 3D Features for Reconstructing Controllable Avatars [43.36074729431982]
パラメトリックな統計的メッシュ表面からサンプリングされた高密度な3次元点に画素整列画像特徴をプールする,新しい暗黙の3次元表現に基づくモデルであるStructured 3D Featuresを紹介する。
本研究では,S3Fモデルがモノクロ3D再構成やアルベド,シェーディング推定など,これまでの課題を超越していることを示す。
論文 参考訳(メタデータ) (2022-12-13T18:57:33Z) - Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。
我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。
我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
論文 参考訳(メタデータ) (2022-04-21T03:42:31Z) - Disentangled3D: Learning a 3D Generative Model with Disentangled
Geometry and Appearance from Monocular Images [94.49117671450531]
最先端の3D生成モデルは、合成に神経的な3Dボリューム表現を使用するGANである。
本稿では,単分子観察だけで物体の絡み合ったモデルを学ぶことができる3D GANを設計する。
論文 参考訳(メタデータ) (2022-03-29T22:03:18Z) - Pix2Surf: Learning Parametric 3D Surface Models of Objects from Images [64.53227129573293]
1つ以上の視点から見れば、新しいオブジェクトの3次元パラメトリック表面表現を学習する際の課題について検討する。
ビュー間で一貫した高品質なパラメトリックな3次元表面を生成できるニューラルネットワークを設計する。
提案手法は,共通対象カテゴリからの形状の公開データセットに基づいて,教師と訓練を行う。
論文 参考訳(メタデータ) (2020-08-18T06:33:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。