論文の概要: ACT-R: Adaptive Camera Trajectories for 3D Reconstruction from Single Image

• arxiv url: http://arxiv.org/abs/2505.08239v1
• Date: Tue, 13 May 2025 05:31:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.432967
• Title: ACT-R: Adaptive Camera Trajectories for 3D Reconstruction from Single Image
• Title（参考訳）: ACT-R:単一画像からの3次元再構成のための適応カメラ軌道
• Authors: Yizhi Wang, Mingrui Zhao, Ali Mahdavi-Amiri, Hao Zhang,
• Abstract要約: 多視点合成に適応的なビュープランニングを導入する。 我々は3次元コヒーレンスを高めるために時間的一貫性を活用して一連のビューを生成する。 本手法は, 未知のGSOデータセット上でのSOTAによる3次元再構成を大幅に改善する。
• 参考スコア（独自算出の注目度）: 12.942796503696194
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce adaptive view planning to multi-view synthesis, aiming to improve both occlusion revelation and 3D consistency for single-view 3D reconstruction. Instead of generating an unordered set of views independently or simultaneously, we generate a sequence of views, leveraging temporal consistency to enhance 3D coherence. Most importantly, our view sequence is not determined by a pre-determined camera setup. Instead, we compute an adaptive camera trajectory (ACT), specifically, an orbit of camera views, which maximizes the visibility of occluded regions of the 3D object to be reconstructed. Once the best orbit is found, we feed it to a video diffusion model to generate novel views around the orbit, which in turn, are passed to a multi-view 3D reconstruction model to obtain the final reconstruction. Our multi-view synthesis pipeline is quite efficient since it involves no run-time training/optimization, only forward inferences by applying the pre-trained models for occlusion analysis and multi-view synthesis. Our method predicts camera trajectories that reveal occlusions effectively and produce consistent novel views, significantly improving 3D reconstruction over SOTA on the unseen GSO dataset, both quantitatively and qualitatively.
• Abstract（参考訳）: 多視点合成に適応的なビュープランニングを導入し、単一視点3次元再構成におけるオクルージョンの啓示と3次元整合性を改善することを目的とした。 順序のないビューを独立あるいは同時に生成するのではなく、時間的一貫性を活用して3Dコヒーレンスを向上させる。 最も重要なことは、私たちのビューシーケンスは、事前に決められたカメラの設定によって決定されないことです。 代わりに、適応カメラ軌道(ACT)、特にカメラビューの軌道を計算し、3Dオブジェクトの隠蔽領域の視認性を最大化する。 最適な軌道が見つかると、それをビデオ拡散モデルに供給して軌道上の新しいビューを生成し、それを複数ビューの3D再構成モデルに渡して最終的な再構成を得る。 私たちのマルチビュー合成パイプラインは、実行時のトレーニング/最適化を伴わず、事前学習したモデルを適用して、オクルージョン分析とマルチビュー合成を行うことで、フォワード推論のみを行うため、非常に効率的です。 提案手法は,隠蔽を効果的に明らかにし,一貫した新しい視点を導き出すカメラ軌道を予測し,未知のGSOデータセット上でのSOTAによる3次元再構成を定量的かつ定性的に改善する。

関連論文リスト

• SpatialCrafter: Unleashing the Imagination of Video Diffusion Models for Scene Reconstruction from Limited Observations [44.53106180688135]
  この作業は、スパースやシングルビューのインプットから3Dシーンを再構築する上での課題である。 SpatialCrafterは,ビデオ拡散モデルにおける豊富な知識を活用して,可算的な追加観測を生成するフレームワークである。 トレーニング可能なカメラエンコーダと、明示的な幾何学的制約に対するエピポーラアテンション機構により、精密なカメラ制御と3D整合性を実現する。
  論文  参考訳（メタデータ） (2025-05-17T13:05:13Z)
• HORT: Monocular Hand-held Objects Reconstruction with Transformers [61.36376511119355]
  モノクロ画像から手持ちの物体を3Dで再構成することは、コンピュータビジョンにおいて重要な課題である。 ハンドヘルドオブジェクトの高密度な3次元点群を効率的に再構成するトランスフォーマーモデルを提案する。 提案手法は,高速な推測速度で最先端の精度を達成し,画像の幅を最適化する。
  論文  参考訳（メタデータ） (2025-03-27T09:45:09Z)
• EVolSplat: Efficient Volume-based Gaussian Splatting for Urban View Synthesis [61.1662426227688]
  既存のNeRFおよび3DGSベースの手法は、フォトリアリスティックレンダリングを実現する上で有望な結果を示すが、スローでシーンごとの最適化が必要である。 本稿では,都市景観を対象とした効率的な3次元ガウススプレイティングモデルEVolSplatを紹介する。
  論文  参考訳（メタデータ） (2025-03-26T02:47:27Z)
• MUSt3R: Multi-view Network for Stereo 3D Reconstruction [11.61182864709518]
  本稿では,DUSt3Rのペアから複数のビューへの拡張を提案する。 計算複雑性を低減できる多層メモリ機構でモデルを拡張します。 このフレームワークは、オフラインとオンラインの両方で3D再構成を実行するように設計されているため、SfMとビジュアルSLAMシナリオにシームレスに適用できる。
  論文  参考訳（メタデータ） (2025-03-03T15:36:07Z)
• Unposed Sparse Views Room Layout Reconstruction in the Age of Pretrain Model [15.892685514932323]
  マルチビュールームレイアウト推定のための新しい手法であるPlain-DUSt3Rを提案する。 Plane-DUSt3RはDUSt3Rフレームワークを室内レイアウトデータセット(Structure3D)に組み込んで構造平面を推定する。 均一かつ同相な結果を生成することにより、Plane-DUSt3Rは、単一の後処理ステップと2D検出結果のみを用いて、部屋レイアウトの推定を可能にする。
  論文  参考訳（メタデータ） (2025-02-24T02:14:19Z)
• VideoLifter: Lifting Videos to 3D with Fast Hierarchical Stereo Alignment [63.21396416244634]
  VideoLifterは、ローカルからグローバルへの戦略を断片的に活用する、新しいビデオから3Dパイプラインである。 再建プロセスを大幅に加速し、訓練時間を82%以上削減し、現在のSOTA法よりも視覚的品質を向上した。
  論文  参考訳（メタデータ） (2025-01-03T18:52:36Z)
• Sparse-view Pose Estimation and Reconstruction via Analysis by Generative Synthesis [25.898616784744377]
  観察されたビューの少ないセットを考えると、その観察は完全な正確な3Dを得るのに十分な直接的な証拠を与えていないかもしれない。 a) 新規なビュー合成に基づく生成先行を光度目標と組み合わせて、推定された3Dの質を向上させる方法、(b) アウトレーヤを明示的に推論し、連続最適化に基づく戦略による離散探索を用いて補正する手法であるSparseAGSを提案する。
  論文  参考訳（メタデータ） (2024-12-04T18:59:24Z)
• PreF3R: Pose-Free Feed-Forward 3D Gaussian Splatting from Variable-length Image Sequence [3.61512056914095]
  可変長の画像列から,PreF3R, Pose-Free Feed-forward 3D再構成を提案する。 PreF3Rは、カメラキャリブレーションの必要性を排除し、正準座標フレーム内の3次元ガウス場を、未提示画像のシーケンスから直接再構成する。
  論文  参考訳（メタデータ） (2024-11-25T19:16:29Z)
• ViewCrafter: Taming Video Diffusion Models for High-fidelity Novel View Synthesis [63.169364481672915]
  単一またはスパース画像からジェネリックシーンの高忠実な新規ビューを合成する新しい方法である textbfViewCrafter を提案する。 提案手法は,映像拡散モデルの強力な生成能力と,ポイントベース表現によって提供される粗い3D手がかりを利用して高品質な映像フレームを生成する。
  論文  参考訳（メタデータ） (2024-09-03T16:53:19Z)
• MVD-Fusion: Single-view 3D via Depth-consistent Multi-view Generation [54.27399121779011]
  本稿では,多視点RGB-D画像の生成モデルを用いて,単視点3次元推論を行うMVD-Fusionを提案する。 提案手法は,蒸留に基づく3D推論や先行多視点生成手法など,最近の最先端技術と比較して,より正確な合成を実現することができることを示す。
  論文  参考訳（メタデータ） (2024-04-04T17:59:57Z)
• Learning to Render Novel Views from Wide-Baseline Stereo Pairs [26.528667940013598]
  本稿では,単一の広線ステレオ画像ペアのみを付与した新しいビュー合成手法を提案する。 スパース観測による新しいビュー合成への既存のアプローチは、誤った3次元形状の復元によって失敗する。 対象光線に対する画像特徴を組み立てるための,効率的な画像空間のエピポーラ線サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-04-17T17:40:52Z)
• Enhanced Stable View Synthesis [86.69338893753886]
  本稿では,自由に動くカメラから撮影した画像から,新しいビュー合成を強化するアプローチを提案する。 導入されたアプローチは、正確な幾何学的足場とカメラのポーズの復元が困難な屋外シーンに焦点を当てている。
  論文  参考訳（メタデータ） (2023-03-30T01:53:14Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)
• Novel View Synthesis with Diffusion Models [56.55571338854636]
  本稿では,3Dノベルビュー合成のための拡散モデルである3DiMを提案する。 単一のインプットビューを多くのビューで一貫したシャープな補完に変換することができる。 3DiMは、条件付けと呼ばれる新しい技術を使って、3D一貫性のある複数のビューを生成することができる。
  論文  参考訳（メタデータ） (2022-10-06T16:59:56Z)
• Spatiotemporal Bundle Adjustment for Dynamic 3D Human Reconstruction in the Wild [49.672487902268706]
  本稿では,カメラの時間的アライメントと3次元点三角測量を共同で推定する枠組みを提案する。 複数の無同期・無同期ビデオカメラで捉えたイベントにおいて、人間の身体の3次元運動軌跡を再構成する。
  論文  参考訳（メタデータ） (2020-07-24T23:50:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。