論文の概要: ACT-R: Adaptive Camera Trajectories for 3D Reconstruction from Single Image

• arxiv url: http://arxiv.org/abs/2505.08239v1
• Date: Tue, 13 May 2025 05:31:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.432967
• Title: ACT-R: Adaptive Camera Trajectories for 3D Reconstruction from Single Image
• Title（参考訳）: ACT-R:単一画像からの3次元再構成のための適応カメラ軌道
• Authors: Yizhi Wang, Mingrui Zhao, Ali Mahdavi-Amiri, Hao Zhang,
• Abstract要約: 多視点合成に適応的なビュープランニングを導入する。 我々は3次元コヒーレンスを高めるために時間的一貫性を活用して一連のビューを生成する。 本手法は, 未知のGSOデータセット上でのSOTAによる3次元再構成を大幅に改善する。
• 参考スコア（独自算出の注目度）: 12.942796503696194
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce adaptive view planning to multi-view synthesis, aiming to improve both occlusion revelation and 3D consistency for single-view 3D reconstruction. Instead of generating an unordered set of views independently or simultaneously, we generate a sequence of views, leveraging temporal consistency to enhance 3D coherence. Most importantly, our view sequence is not determined by a pre-determined camera setup. Instead, we compute an adaptive camera trajectory (ACT), specifically, an orbit of camera views, which maximizes the visibility of occluded regions of the 3D object to be reconstructed. Once the best orbit is found, we feed it to a video diffusion model to generate novel views around the orbit, which in turn, are passed to a multi-view 3D reconstruction model to obtain the final reconstruction. Our multi-view synthesis pipeline is quite efficient since it involves no run-time training/optimization, only forward inferences by applying the pre-trained models for occlusion analysis and multi-view synthesis. Our method predicts camera trajectories that reveal occlusions effectively and produce consistent novel views, significantly improving 3D reconstruction over SOTA on the unseen GSO dataset, both quantitatively and qualitatively.
• Abstract（参考訳）: 多視点合成に適応的なビュープランニングを導入し、単一視点3次元再構成におけるオクルージョンの啓示と3次元整合性を改善することを目的とした。 順序のないビューを独立あるいは同時に生成するのではなく、時間的一貫性を活用して3Dコヒーレンスを向上させる。 最も重要なことは、私たちのビューシーケンスは、事前に決められたカメラの設定によって決定されないことです。 代わりに、適応カメラ軌道(ACT)、特にカメラビューの軌道を計算し、3Dオブジェクトの隠蔽領域の視認性を最大化する。 最適な軌道が見つかると、それをビデオ拡散モデルに供給して軌道上の新しいビューを生成し、それを複数ビューの3D再構成モデルに渡して最終的な再構成を得る。 私たちのマルチビュー合成パイプラインは、実行時のトレーニング/最適化を伴わず、事前学習したモデルを適用して、オクルージョン分析とマルチビュー合成を行うことで、フォワード推論のみを行うため、非常に効率的です。 提案手法は,隠蔽を効果的に明らかにし,一貫した新しい視点を導き出すカメラ軌道を予測し,未知のGSOデータセット上でのSOTAによる3次元再構成を定量的かつ定性的に改善する。

関連論文リスト

• HORT: Monocular Hand-held Objects Reconstruction with Transformers [61.36376511119355]
  モノクロ画像から手持ちの物体を3Dで再構成することは、コンピュータビジョンにおいて重要な課題である。 ハンドヘルドオブジェクトの高密度な3次元点群を効率的に再構成するトランスフォーマーモデルを提案する。 提案手法は,高速な推測速度で最先端の精度を達成し,画像の幅を最適化する。
  論文  参考訳（メタデータ） (2025-03-27T09:45:09Z)
• MUSt3R: Multi-view Network for Stereo 3D Reconstruction [11.61182864709518]
  本稿では,DUSt3Rのペアから複数のビューへの拡張を提案する。 計算複雑性を低減できる多層メモリ機構でモデルを拡張します。 このフレームワークは、オフラインとオンラインの両方で3D再構成を実行するように設計されているため、SfMとビジュアルSLAMシナリオにシームレスに適用できる。
  論文  参考訳（メタデータ） (2025-03-03T15:36:07Z)
• VideoLifter: Lifting Videos to 3D with Fast Hierarchical Stereo Alignment [63.21396416244634]
  VideoLifterは、ローカルからグローバルへの戦略を断片的に活用する、新しいビデオから3Dパイプラインである。 再建プロセスを大幅に加速し、訓練時間を82%以上削減し、現在のSOTA法よりも視覚的品質を向上した。
  論文  参考訳（メタデータ） (2025-01-03T18:52:36Z)
• Sparse-view Pose Estimation and Reconstruction via Analysis by Generative Synthesis [25.898616784744377]
  観察されたビューの少ないセットを考えると、その観察は完全な正確な3Dを得るのに十分な直接的な証拠を与えていないかもしれない。 a) 新規なビュー合成に基づく生成先行を光度目標と組み合わせて、推定された3Dの質を向上させる方法、(b) アウトレーヤを明示的に推論し、連続最適化に基づく戦略による離散探索を用いて補正する手法であるSparseAGSを提案する。
  論文  参考訳（メタデータ） (2024-12-04T18:59:24Z)
• PreF3R: Pose-Free Feed-Forward 3D Gaussian Splatting from Variable-length Image Sequence [3.61512056914095]
  可変長の画像列から,PreF3R, Pose-Free Feed-forward 3D再構成を提案する。 PreF3Rは、カメラキャリブレーションの必要性を排除し、正準座標フレーム内の3次元ガウス場を、未提示画像のシーケンスから直接再構成する。
  論文  参考訳（メタデータ） (2024-11-25T19:16:29Z)
• Learning to Render Novel Views from Wide-Baseline Stereo Pairs [26.528667940013598]
  本稿では,単一の広線ステレオ画像ペアのみを付与した新しいビュー合成手法を提案する。 スパース観測による新しいビュー合成への既存のアプローチは、誤った3次元形状の復元によって失敗する。 対象光線に対する画像特徴を組み立てるための,効率的な画像空間のエピポーラ線サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-04-17T17:40:52Z)
• Enhanced Stable View Synthesis [86.69338893753886]
  本稿では,自由に動くカメラから撮影した画像から,新しいビュー合成を強化するアプローチを提案する。 導入されたアプローチは、正確な幾何学的足場とカメラのポーズの復元が困難な屋外シーンに焦点を当てている。
  論文  参考訳（メタデータ） (2023-03-30T01:53:14Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)
• Spatiotemporal Bundle Adjustment for Dynamic 3D Human Reconstruction in the Wild [49.672487902268706]
  本稿では,カメラの時間的アライメントと3次元点三角測量を共同で推定する枠組みを提案する。 複数の無同期・無同期ビデオカメラで捉えたイベントにおいて、人間の身体の3次元運動軌跡を再構成する。
  論文  参考訳（メタデータ） (2020-07-24T23:50:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。