論文の概要: M-LRM: Multi-view Large Reconstruction Model

• arxiv url: http://arxiv.org/abs/2406.07648v1
• Date: Tue, 11 Jun 2024 18:29:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 21:25:46.305918
• Title: M-LRM: Multi-view Large Reconstruction Model
• Title（参考訳）: M-LRM:多視点大規模再構成モデル
• Authors: Mengfei Li, Xiaoxiao Long, Yixun Liang, Weiyu Li, Yuan Liu, Peng Li, Xiaowei Chi, Xingqun Qi, Wei Xue, Wenhan Luo, Qifeng Liu, Yike Guo,
• Abstract要約: M-LRM (Multi-view Large Restruction Model) は,高品位な3次元形状を多視点から3次元的に効率的に再構成するように設計されている。 大型再構成モデルと比較すると、提案したM-LRMは128倍の128ドルの高解像度の3次元形状のNeRFを生成することができる。
• 参考スコア（独自算出の注目度）: 37.46572626325514
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite recent advancements in the Large Reconstruction Model (LRM) demonstrating impressive results, when extending its input from single image to multiple images, it exhibits inefficiencies, subpar geometric and texture quality, as well as slower convergence speed than expected. It is attributed to that, LRM formulates 3D reconstruction as a naive images-to-3D translation problem, ignoring the strong 3D coherence among the input images. In this paper, we propose a Multi-view Large Reconstruction Model (M-LRM) designed to efficiently reconstruct high-quality 3D shapes from multi-views in a 3D-aware manner. Specifically, we introduce a multi-view consistent cross-attention scheme to enable M-LRM to accurately query information from the input images. Moreover, we employ the 3D priors of the input multi-view images to initialize the tri-plane tokens. Compared to LRM, the proposed M-LRM can produce a tri-plane NeRF with $128 \times 128$ resolution and generate 3D shapes of high fidelity. Experimental studies demonstrate that our model achieves a significant performance gain and faster training convergence than LRM. Project page: https://murphylmf.github.io/M-LRM/
• Abstract（参考訳）: 大規模再構成モデル(LRM)の最近の進歩にもかかわらず、単一の画像から複数の画像への入力を拡大する際には、非効率性、幾何学的およびテクスチャの質、および予想以上に収束速度が遅くなる。 LRMは、入力画像間の強い3Dコヒーレンスを無視して、3D再構成を自然な画像から3Dへの変換問題として定式化する。 本稿では,M-LRM(Multi-view Large Restruction Model)を提案する。 具体的には、M-LRMが入力画像から情報を正確にクエリできるマルチビュー整合型クロスアテンション方式を提案する。 さらに、入力された多視点画像の3次元先行情報を用いて、三面体トークンを初期化する。 LRMと比較すると、提案したM-LRMは128ドル(約1,800円)の3次元のNeRFを生成し、高忠実度の3次元形状を生成することができる。 実験により,本モデルがLRMよりも優れた性能向上と訓練収束を達成できることが実証された。 プロジェクトページ:https://murphylmf.github.io/M-LRM/

関連論文リスト

• Fancy123: One Image to High-Quality 3D Mesh Generation via Plug-and-Play Deformation [22.5996658181606]
  2つの拡張モジュールと、上記の3つの問題に対処するための未投射操作を備えたFancy123を提案する。 外観強調モジュールは、2Dマルチビューイメージをリアルピクセルに変形させて、より優れたマルチビュー一貫性を実現する。 忠実度向上モジュールは、入力画像に一致するように3Dメッシュを変形させる。 入力画像と変形したマルチビュー画像をLRMの生成されたメッシュに投影することで、高い明快さが保証される。
  論文  参考訳（メタデータ） (2024-11-25T08:31:55Z)
• GTR: Improving Large 3D Reconstruction Models through Geometry and Texture Refinement [51.97726804507328]
  マルチビュー画像から3次元メッシュを再構成する手法を提案する。 提案手法は, 変圧器を用いたトリプレーンジェネレータとニューラルレージアンスフィールド(NeRF)モデルを用いた大規模再構成モデルから着想を得たものである。
  論文  参考訳（メタデータ） (2024-06-09T05:19:24Z)
• MeshLRM: Large Reconstruction Model for High-Quality Mesh [52.71164862539288]
  MeshLRMは、わずか4つの入力画像から1秒未満で高品質なメッシュを再構築することができる。 提案手法は,スパースビューからのメッシュ再構築を実現し,多くのダウンストリームアプリケーションを実現する。
  論文  参考訳（メタデータ） (2024-04-18T17:59:41Z)
• InstantMesh: Efficient 3D Mesh Generation from a Single Image with Sparse-view Large Reconstruction Models [66.83681825842135]
  InstantMeshは、単一のイメージからインスタント3Dメッシュを生成するためのフィードフォワードフレームワークである。 最新世代の品質とトレーニングのスケーラビリティが特徴だ。 InstantMeshのコード、重み、デモをすべてリリースし、3D生成AIのコミュニティに多大な貢献ができることを意図しています。
  論文  参考訳（メタデータ） (2024-04-10T17:48:37Z)
• GRM: Large Gaussian Reconstruction Model for Efficient 3D Reconstruction and Generation [85.15374487533643]
  約0.1秒でスパースビュー画像から3Dアセットを復元できる大規模再構成機であるGRMを紹介する。 GRMは、マルチビュー情報を効率的に組み込んだフィードフォワードトランスフォーマーベースのモデルである。 また,既存の多視点拡散モデルと統合することにより,テキスト・ツー・3Dや画像・ツー・3Dといった生成タスクにおけるGRMの可能性を示す。
  論文  参考訳（メタデータ） (2024-03-21T17:59:34Z)
• CRM: Single Image to 3D Textured Mesh with Convolutional Reconstruction Model [37.75256020559125]
  本稿では,高忠実度フィードフォワード画像から3次元画像生成モデルを提案する。 ネットワーク設計に幾何学的事前情報を統合する必要性を強調した。 我々のモデルは、テストタイムの最適化なしに、画像から10秒で高忠実なテクスチャメッシュを提供する。
  論文  参考訳（メタデータ） (2024-03-08T04:25:29Z)
• LRM: Large Reconstruction Model for Single Image to 3D [61.47357798633123]
  本稿では,1つの入力画像からオブジェクトの3次元モデルを5秒以内で予測する最初のLarge Restruction Model (LRM)を提案する。 LRMは5億の学習可能なパラメータを持つ高度にスケーラブルなトランスフォーマーベースのアーキテクチャを採用し、入力画像からニューラル放射場(NeRF)を直接予測する。 約100万のオブジェクトを含む巨大なマルチビューデータに基づいて、エンド・ツー・エンドでモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-11-08T00:03:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。