論文の概要: Points-to-3D: Structure-Aware 3D Generation with Point Cloud Priors

• arxiv url: http://arxiv.org/abs/2603.18782v2
• Date: Fri, 20 Mar 2026 05:43:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 13:01:03.90651
• Title: Points-to-3D: Structure-Aware 3D Generation with Point Cloud Priors
• Title（参考訳）: Points-to-3D: Point Cloud Priors を用いた構造対応3D生成
• Authors: Jiatong Xia, Zicheng Duan, Anton van den Hengel, Lingqiao Liu,
• Abstract要約: 幾何学制御可能な3Dアセットとシーン生成にポイントクラウドを活用できる拡散ベースのフレームワークであるPoints-to-3Dを紹介する。 TRELLISフレームワーク内で、グローバルな構造的インペイントを学習するために設計されたタスク固有データに基づいてトレーニングされた構造的インペイントネットワークを用いて、ステージ化されたサンプリング戦略を用いて推論を行う。 オブジェクトとシーンシナリオの両方の実験は、レンダリング品質と幾何学的忠実度の観点から、最先端のベースラインよりも優れたパフォーマンスを一貫して示している。
• 参考スコア（独自算出の注目度）: 47.080898117231435
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent progress in 3D generation has been driven largely by models conditioned on images or text, while readily available 3D priors are still underused. In many real-world scenarios, the visible-region point cloud are easy to obtain from active sensors such as LiDAR or from feed-forward predictors like VGGT, offering explicit geometric constraints that current methods fail to exploit. In this work, we introduce Points-to-3D, a diffusion-based framework that leverages point cloud priors for geometry-controllable 3D asset and scene generation. Built on a latent 3D diffusion model TRELLIS, Points-to-3D first replaces pure-noise sparse structure latent initialization with a point cloud priors tailored input formulation.A structure inpainting network, trained within the TRELLIS framework on task-specific data designed to learn global structural inpainting, is then used for inference with a staged sampling strategy (structural inpainting followed by boundary refinement), completing the global geometry while preserving the visible regions of the input priors. In practice, Points-to-3D can take either accurate point-cloud priors or VGGT-estimated point clouds from single images as input. Experiments on both objects and scene scenarios consistently demonstrate superior performance over state-of-the-art baselines in terms of rendering quality and geometric fidelity, highlighting the effectiveness of explicitly embedding point-cloud priors for achieving more accurate and structurally controllable 3D generation.
• Abstract（参考訳）: 3D生成の最近の進歩は、画像やテキストに条件付けされたモデルによって大きく推進されているが、容易に利用できる3Dプリエントはまだ使われていない。 多くの現実のシナリオでは、可視領域の雲はLiDARのようなアクティブなセンサーやVGGTのようなフィードフォワード予測器から容易に得ることができ、現在のメソッドが利用できない明確な幾何学的制約を提供する。 本研究では,3次元の幾何学制御可能なアセットとシーン生成にポイントクラウドを活用可能な拡散型フレームワークであるPoints-to-3Dを紹介する。 潜在3次元拡散モデルTRELLIS上に構築されたPoints-to-3Dは、まず純雑音のスパース構造を、点雲の先行した入力定式化に置き換える。TRELLISフレームワーク内で訓練された構造インパインティングネットワークは、グローバル構造インパインティングを学習するために設計されたタスク固有データに基づいて、ステージドサンプリング戦略(構造インパインティングおよび境界修正)を推論し、入力先行の可視領域を保存しながら、グローバルジオメトリを完了させる。 実際には、Points-to-3Dは単一のイメージから正確なポイントクラウドまたはVGGT推定ポイントクラウドを入力として取ることができる。 オブジェクトとシーンシナリオの両方の実験は、レンダリング品質と幾何学的忠実度の観点から、最先端のベースラインよりも一貫して優れたパフォーマンスを示し、より正確で構造的に制御可能な3D生成を実現するために、ポイントクラウドの事前を明示的に埋め込むことの有効性を強調している。

関連論文リスト

• Adaptive Point-Prompt Tuning: Fine-Tuning Heterogeneous Foundation Models for 3D Point Cloud Analysis [51.37795317716487]
  本稿では,パラメータの少ない事前学習モデルを微調整するAdaptive Point-Prompt Tuning (APPT)法を提案する。 局所幾何学を集約することで原点雲を点埋め込みに変換し、空間的特徴を捉える。 任意のモダリティのソース領域から3Dへの自己アテンションを校正するために,重みを点埋め込みモジュールと共有するプロンプトジェネレータを導入する。
  論文  参考訳（メタデータ） (2025-08-30T06:02:21Z)
• UniPre3D: Unified Pre-training of 3D Point Cloud Models with Cross-Modal Gaussian Splatting [64.31900521467362]
  既存の事前学習方法は、オブジェクトレベルとシーンレベルの両方の点群に対して等しく有効である。 UniPre3Dは,任意のスケールの点群やアーキテクチャの3Dモデルに対してシームレスに適用可能な,最初の統合事前学習手法である。
  論文  参考訳（メタデータ） (2025-06-11T17:23:21Z)
• StarNet: Style-Aware 3D Point Cloud Generation [82.30389817015877]
  StarNetは、マッピングネットワークを使用して高忠実度および3Dポイントクラウドを再構築し、生成することができる。 我々のフレームワークは、クラウドの再構築と生成タスクにおいて、様々なメトリクスで同等の最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2023-03-28T08:21:44Z)
• PointVST: Self-Supervised Pre-training for 3D Point Clouds via View-Specific Point-to-Image Translation [64.858505571083]
  本稿では,翻訳型事前学習フレームワークであるPointVSTを提案する。 3Dポイントクラウドからそれに対応する多様な2Dレンダリング画像へのクロスモーダル変換という,新たな教師付きプレテキストタスクによって駆動される。
  論文  参考訳（メタデータ） (2022-12-29T07:03:29Z)
• PointAttN: You Only Need Attention for Point Cloud Completion [89.88766317412052]
  ポイント・クラウド・コンプリート(Point cloud completion)とは、部分的な3次元ポイント・クラウドから3次元の形状を完成させることである。 そこで我々は,kNNを除去するために,ポイントクラウドをポイント単位に処理する新しいニューラルネットワークを提案する。 提案するフレームワークであるPointAttNはシンプルで簡潔で効果的であり、3次元形状の構造情報を正確に捉えることができる。
  論文  参考訳（メタデータ） (2022-03-16T09:20:01Z)
• RfD-Net: Point Scene Understanding by Semantic Instance Reconstruction [19.535169371240073]
  本稿では,高密度物体表面を直接点雲から検出・再構成するRfD-Netを提案する。 インスタンス再構成を大域的オブジェクトローカライゼーションと局所形状予測に分離する。 我々のアプローチは、オブジェクト再構成において、最先端の技術を一貫して上回り、メッシュIoUの11以上を改善します。
  論文  参考訳（メタデータ） (2020-11-30T12:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。