論文の概要: MicroDreamer: Efficient 3D Generation in $\sim$20 Seconds by Score-based Iterative Reconstruction

• arxiv url: http://arxiv.org/abs/2404.19525v3
• Date: Fri, 18 Oct 2024 13:13:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 18:13:42.740579
• Title: MicroDreamer: Efficient 3D Generation in $\sim$20 Seconds by Score-based Iterative Reconstruction
• Title（参考訳）: MicroDreamer: スコアベースイテレーティブリコンストラクションによる$\sim$20秒の効率的な3D生成
• Authors: Luxi Chen, Zhengyi Wang, Zihan Zhou, Tingting Gao, Hang Su, Jun Zhu, Chongxuan Li,
• Abstract要約: 本稿では,NFEの削減のために,異なる3次元再構成過程を模倣した効率的かつ汎用的なアルゴリズムであるスコアベース反復再構成(SIR)を提案する。 我々は,様々な3次元表現や3次元生成タスクに適用可能な,MicroDreamerと呼ばれる効率的な手法を提案する。
• 参考スコア（独自算出の注目度）: 37.07128043394227
• License:
• Abstract: Optimization-based approaches, such as score distillation sampling (SDS), show promise in zero-shot 3D generation but suffer from low efficiency, primarily due to the high number of function evaluations (NFEs) required for each sample and the limitation of optimization confined to latent space. This paper introduces score-based iterative reconstruction (SIR), an efficient and general algorithm mimicking a differentiable 3D reconstruction process to reduce the NFEs and enable optimization in pixel space. Given a single set of images sampled from a multi-view score-based diffusion model, SIR repeatedly optimizes 3D parameters, unlike the single-step optimization in SDS. With other improvements in training, we present an efficient approach called MicroDreamer that generally applies to various 3D representations and 3D generation tasks. In particular, MicroDreamer is 5-20 times faster than SDS in generating neural radiance field while retaining a comparable performance and takes about 20 seconds to create meshes from 3D Gaussian splatting on a single A100 GPU, halving the time of the fastest optimization-based baseline DreamGaussian with significantly superior performance compared to the measurement standard deviation. Our code is available at https://github.com/ML-GSAI/MicroDreamer.
• Abstract（参考訳）: スコア蒸留サンプリング(SDS)のような最適化に基づくアプローチは、ゼロショット3D生成の可能性を秘めているが、主に各サンプルに必要な関数評価(NFE)の多さと、潜時空間に制限された最適化の制限により、低効率に悩まされている。 本稿では,NFEの削減と画素空間の最適化を実現するために,異なる3次元再構成プロセスを模倣した効率的かつ汎用的なアルゴリズムであるスコアベース反復再構成(SIR)を提案する。 マルチビュースコアベース拡散モデルから一組のイメージがサンプリングされた場合、SIRはSDSの単一ステップ最適化とは異なり、繰り返し3Dパラメータを最適化する。 トレーニングにおける他の改善とともに、様々な3D表現や3D生成タスクに適用可能な、MicroDreamerと呼ばれる効率的なアプローチを提案する。 特に、MicroDreamerは、同等のパフォーマンスを維持しながら、神経放射場を生成する場合、SDSよりも5～20倍高速で、1つのA100 GPU上の3Dガウススプラッティングからメッシュを作成するのに約20秒かかり、測定標準偏差よりもはるかに優れたパフォーマンスで、最速の最適化ベースのベースラインであるDreamGaussianの時間を半減する。 私たちのコードはhttps://github.com/ML-GSAI/MicroDreamer.comで利用可能です。

関連論文リスト

• 3DGS-LM: Faster Gaussian-Splatting Optimization with Levenberg-Marquardt [65.25603275491544]
  3DGS-LM, 3D Gaussian Splatting(3DGS)の再構築を高速化する新しい手法を提案する。 提案手法は元の3DGSよりも30%高速で, 再現品質の最適化が可能である。
  論文  参考訳（メタデータ） (2024-09-19T16:31:44Z)
• FlashSplat: 2D to 3D Gaussian Splatting Segmentation Solved Optimally [66.28517576128381]
  本研究は,2次元マスクから3次元ガウススプラッティングを正確に分割することの課題に対処する。 3D-GSセグメンテーションのための単純かつグローバルな最適解法を提案する。 私たちのメソッドは30秒以内で完了します。
  論文  参考訳（メタデータ） (2024-09-12T17:58:13Z)
• OrientDream: Streamlining Text-to-3D Generation with Explicit Orientation Control [66.03885917320189]
  OrientDreamは、テキストプロンプトから効率よくマルチビューで一貫した3D生成のためのカメラ指向条件付きフレームワークである。 本戦略は,2次元テキスト・画像拡散モジュールの事前学習におけるカメラ配向条件付き機能の実装を強調する。 提案手法は,一貫したマルチビュー特性を持つ高品質なNeRFモデルを生成するだけでなく,既存手法よりも最適化速度が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-06-14T13:16:18Z)
• GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
  我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。 提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。 提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
  論文  参考訳（メタデータ） (2023-11-20T12:08:23Z)
• DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation [55.661467968178066]
  本稿では,DreamGaussianを提案する。DreamGaussianは,効率と品質を両立させる新しい3Dコンテンツ生成フレームワークである。 我々の重要な洞察は、UV空間におけるメッシュ抽出とテクスチャ改善を伴う3次元ガウススプラッティングモデルを設計することである。 ニューラル・ラジアンス・フィールドにおける占有プルーニングとは対照的に、3次元ガウスの進行的な密度化は3次元生成タスクにおいて著しく速く収束することを示した。
  論文  参考訳（メタデータ） (2023-09-28T17:55:05Z)
• GPU optimization of the 3D Scale-invariant Feature Transform Algorithm and a Novel BRIEF-inspired 3D Fast Descriptor [5.1537294207900715]
  本研究は,大規模な医用画像データからの機械学習を目的として,SIFTアルゴリズムの高効率実装について述べる。 3D SIFTコードの主要な操作は、畳み込み、サブサンプリング、スケールスペースピラミッドからの4Dピーク検出を含むグラフィックス処理ユニット(GPU)上に実装されている。 パフォーマンス改善は、異なる人の3D MRI人間の脳量を用いて、キーポイント検出と画像と画像のマッチング実験で定量化される。
  論文  参考訳（メタデータ） (2021-12-19T20:56:40Z)
• Human Body Model Fitting by Learned Gradient Descent [48.79414884222403]
  画像に3次元の人体形状を適合させる新しいアルゴリズムを提案する。 このアルゴリズムは高速(約120ms収束)で、データセットに頑健であり、公開評価データセットの最先端結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-08-19T14:26:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。