論文の概要: MEt3R: Measuring Multi-View Consistency in Generated Images

• arxiv url: http://arxiv.org/abs/2501.06336v1
• Date: Fri, 10 Jan 2025 20:43:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:26:38.870108
• Title: MEt3R: Measuring Multi-View Consistency in Generated Images
• Title（参考訳）: MEt3R: 生成画像におけるマルチビュー一貫性の測定
• Authors: Mohammad Asim, Christopher Wewer, Thomas Wimmer, Bernt Schiele, Jan Eric Lenssen,
• Abstract要約: 本稿では,生成画像におけるマルチビュー一貫性の指標であるMEt3Rを紹介する。 提案手法では,DUSt3Rを用いて画像対から高密度な3次元再構成をフィードフォワード方式で行う。
• 参考スコア（独自算出の注目度）: 47.152540564255204
• License:
• Abstract: We introduce MEt3R, a metric for multi-view consistency in generated images. Large-scale generative models for multi-view image generation are rapidly advancing the field of 3D inference from sparse observations. However, due to the nature of generative modeling, traditional reconstruction metrics are not suitable to measure the quality of generated outputs and metrics that are independent of the sampling procedure are desperately needed. In this work, we specifically address the aspect of consistency between generated multi-view images, which can be evaluated independently of the specific scene. Our approach uses DUSt3R to obtain dense 3D reconstructions from image pairs in a feed-forward manner, which are used to warp image contents from one view into the other. Then, feature maps of these images are compared to obtain a similarity score that is invariant to view-dependent effects. Using MEt3R, we evaluate the consistency of a large set of previous methods for novel view and video generation, including our open, multi-view latent diffusion model.
• Abstract（参考訳）: 本稿では,生成画像におけるマルチビュー一貫性の指標であるMEt3Rを紹介する。 多視点画像生成のための大規模生成モデルは、スパース観測から3次元推論の分野を急速に推し進めている。 しかし, 生成モデルの性質から, 従来の再現指標は生成した出力の質を測るには適さないため, サンプリング手順とは無関係な指標が必死に必要である。 本研究では,生成したマルチビュー画像間の一貫性の側面を,特定のシーンと独立して評価する。 提案手法では,DUSt3Rを用いて画像対から高密度な3次元再構成をフィードフォワード方式で取得し,一方のビューからもう一方のビューへ画像内容をワープする。 そして、これらの画像の特徴マップを比較して、ビュー依存効果に不変な類似度スコアを得る。 MEt3Rを用いて、オープンな多視点潜伏拡散モデルを含む、新しいビューとビデオ生成のための多数の過去の手法の整合性を評価する。

関連論文リスト

• ConsistentDreamer: View-Consistent Meshes Through Balanced Multi-View Gaussian Optimization [5.55656676725821]
  我々はConsistentDreamerを紹介し、まず、固定された複数ビュー前の画像とそれらの間のランダムなビューの集合を生成する。 これにより、SDSの損失によって導かれるビュー間の相違を抑え、一貫した粗い形状を確保する。 各イテレーションでは、生成した複数ビュー前の画像も詳細再構築に使用しています。
  論文  参考訳（メタデータ） (2025-02-13T12:49:25Z)
• A Global Depth-Range-Free Multi-View Stereo Transformer Network with Pose Embedding [76.44979557843367]
  本稿では,事前の深度範囲を排除した新しい多視点ステレオ(MVS)フレームワークを提案する。 長距離コンテキスト情報を集約するMDA(Multi-view Disparity Attention)モジュールを導入する。 ソース画像のエピポーラ線上のサンプリング点に対応する電流画素の品質を明示的に推定する。
  論文  参考訳（メタデータ） (2024-11-04T08:50:16Z)
• Multi-View Large Reconstruction Model via Geometry-Aware Positional Encoding and Attention [54.66152436050373]
  本稿では,M-LRM(Multi-view Large Restruction Model)を提案する。 具体的には、M-LRMが入力画像から情報を正確にクエリできるマルチビュー整合型クロスアテンション方式を提案する。 従来の手法と比較して,提案手法は高忠実度の3次元形状を生成することができる。
  論文  参考訳（メタデータ） (2024-06-11T18:29:13Z)
• MVGamba: Unify 3D Content Generation as State Space Sequence Modeling [150.80564081817786]
  本稿では,多視点ガウス再構成器を備えた一般軽量ガウス再構成モデルMVGambaを紹介する。 オフザディテールのマルチビュー拡散モデルを統合することで、MVGambaは単一の画像、スパース画像、テキストプロンプトから3D生成タスクを統一する。 実験により、MVGambaは、すべての3Dコンテンツ生成シナリオで最先端のベースラインを約0.1タイムのモデルサイズで上回ります。
  論文  参考訳（メタデータ） (2024-06-10T15:26:48Z)
• MVDiff: Scalable and Flexible Multi-View Diffusion for 3D Object Reconstruction from Single-View [0.0]
  本稿では,単一画像から一貫した多視点画像を生成するための一般的なフレームワークを提案する。 提案モデルは,PSNR,SSIM,LPIPSなどの評価指標において,ベースライン法を超える3Dメッシュを生成することができる。
  論文  参考訳（メタデータ） (2024-05-06T22:55:53Z)
• MVD-Fusion: Single-view 3D via Depth-consistent Multi-view Generation [54.27399121779011]
  本稿では,多視点RGB-D画像の生成モデルを用いて,単視点3次元推論を行うMVD-Fusionを提案する。 提案手法は,蒸留に基づく3D推論や先行多視点生成手法など,最近の最先端技術と比較して,より正確な合成を実現することができることを示す。
  論文  参考訳（メタデータ） (2024-04-04T17:59:57Z)
• VideoMV: Consistent Multi-View Generation Based on Large Video Generative Model [34.35449902855767]
  基本的な2つの質問は、トレーニングに使用するデータと、マルチビューの一貫性を確保する方法です。 本稿では,市販のビデオ生成モデルから微調整した,密集した一貫したマルチビュー生成モデルを提案する。 我々のアプローチは24の濃密なビューを生成し、最先端のアプローチよりもはるかに高速にトレーニングに収束する。
  論文  参考訳（メタデータ） (2024-03-18T17:48:15Z)
• Envision3D: One Image to 3D with Anchor Views Interpolation [18.31796952040799]
  本研究では,1枚の画像から高品質な3Dコンテンツを効率よく生成する新しい手法であるEnvision3Dを提案する。 テクスチャと幾何学の観点から高品質な3Dコンテンツを生成することができ、従来の画像から3Dのベースライン法を超越している。
  論文  参考訳（メタデータ） (2024-03-13T18:46:33Z)
• DeepMultiCap: Performance Capture of Multiple Characters Using Sparse Multiview Cameras [63.186486240525554]
  deep multicapは、スパースマルチビューカメラを用いたマルチパーソンパフォーマンスキャプチャのための新しい手法である。 本手法では,事前走査型テンプレートモデルを用いることなく,時間変化した表面の詳細をキャプチャできる。
  論文  参考訳（メタデータ） (2021-05-01T14:32:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。