論文の概要: MEAT: Multiview Diffusion Model for Human Generation on Megapixels with Mesh Attention

• arxiv url: http://arxiv.org/abs/2503.08664v1
• Date: Tue, 11 Mar 2025 17:50:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:45:33.973424
• Title: MEAT: Multiview Diffusion Model for Human Generation on Megapixels with Mesh Attention
• Title（参考訳）: MEAT:メッシュ注意メガピクセルを用いたマルチビュー拡散モデル
• Authors: Yuhan Wang, Fangzhou Hong, Shuai Yang, Liming Jiang, Wayne Wu, Chen Change Loy,
• Abstract要約: 1024x1024解像度でのトレーニングを可能にするメッシュアテンションというソリューションを導入しました。 このアプローチは、クロスビュー一貫性を維持しながら、マルチビューアテンションの複雑さを著しく低減します。 この基盤の上にメッシュアテンションブロックを設計し、キーポイント条件付けと組み合わせて、人間固有のマルチビュー拡散モデルMEATを作成します。
• 参考スコア（独自算出の注目度）: 83.56588173102594
• License:
• Abstract: Multiview diffusion models have shown considerable success in image-to-3D generation for general objects. However, when applied to human data, existing methods have yet to deliver promising results, largely due to the challenges of scaling multiview attention to higher resolutions. In this paper, we explore human multiview diffusion models at the megapixel level and introduce a solution called mesh attention to enable training at 1024x1024 resolution. Using a clothed human mesh as a central coarse geometric representation, the proposed mesh attention leverages rasterization and projection to establish direct cross-view coordinate correspondences. This approach significantly reduces the complexity of multiview attention while maintaining cross-view consistency. Building on this foundation, we devise a mesh attention block and combine it with keypoint conditioning to create our human-specific multiview diffusion model, MEAT. In addition, we present valuable insights into applying multiview human motion videos for diffusion training, addressing the longstanding issue of data scarcity. Extensive experiments show that MEAT effectively generates dense, consistent multiview human images at the megapixel level, outperforming existing multiview diffusion methods.
• Abstract（参考訳）: 多視点拡散モデルは、一般的な対象に対して画像から3D生成においてかなりの成功を収めている。 しかし、人間のデータに適用した場合、既存の手法はまだ有望な結果を提供していない。 本稿では,メガピクセルレベルでの人間のマルチビュー拡散モデルについて検討し,メッシュアテンションと呼ばれる解を導入して1024×1024解像度でのトレーニングを実現する。 人間のメッシュを中央の粗い幾何学的表現として用いて、提案したメッシュアテンションは、ラスタライズとプロジェクションを活用して、直接のクロスビュー座標の対応を確立する。 このアプローチは、クロスビュー一貫性を維持しながら、マルチビューアテンションの複雑さを著しく低減します。 この基盤の上にメッシュアテンションブロックを設計し、キーポイント条件付けと組み合わせて、人間固有のマルチビュー拡散モデルMEATを作成します。 さらに,データ不足の長年の問題に対処するため,多視点人間の動画を拡散訓練に適用するための貴重な知見を提示する。 大規模な実験により、MEATは、メガピクセルレベルで高密度で一貫した人間の画像を効果的に生成し、既存のマルチビュー拡散法より優れていることが示された。

関連論文リスト

• Pixel-Aligned Multi-View Generation with Depth Guided Decoder [86.1813201212539]
  画素レベルの画像・マルチビュー生成のための新しい手法を提案する。 従来の作業とは異なり、潜伏映像拡散モデルのVAEデコーダにマルチビュー画像にアテンション層を組み込む。 本モデルにより,マルチビュー画像間の画素アライメントが向上する。
  論文  参考訳（メタデータ） (2024-08-26T04:56:41Z)
• Vivid-ZOO: Multi-View Video Generation with Diffusion Model [76.96449336578286]
  新しい課題は、大量のキャプション付きマルチビュービデオの欠如と、そのような多次元分布をモデル化する複雑さにある。 本稿では,テキストから動的3Dオブジェクトを中心に,高品質なマルチビュービデオを生成する拡散型パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-06-12T21:44:04Z)
• Era3D: High-Resolution Multiview Diffusion using Efficient Row-wise Attention [87.02613021058484]
  単一視点画像から高解像度のマルチビュー画像を生成する新しい多視点拡散法であるEra3Dを紹介する。 Era3Dは、最大512*512の解像度で高品質なマルチビュー画像を生成し、複雑さを12倍に削減する。
  論文  参考訳（メタデータ） (2024-05-19T17:13:16Z)
• Multi-view Aggregation Network for Dichotomous Image Segmentation [76.75904424539543]
  Dichotomous Image (DIS) は近年,高解像度自然画像からの高精度物体分割に向けて出現している。 既存の手法は、グローバルなローカライゼーションと局所的な洗練を徐々に完了させるために、退屈な複数のエンコーダ・デコーダストリームとステージに依存している。 これに触発されて、我々は多視点オブジェクト認識問題としてdisをモデル化し、擬似多視点アグリゲーションネットワーク(MVANet)を提供する。 一般的なdis-5Kデータセットの実験では、我々のMVANetは精度と速度の両方で最先端の手法を大きく上回っている。
  論文  参考訳（メタデータ） (2024-04-11T03:00:00Z)
• EpiDiff: Enhancing Multi-View Synthesis via Localized Epipolar-Constrained Diffusion [60.30030562932703]
  EpiDiffは、局所的なインタラクティブなマルチビュー拡散モデルである。 16枚のマルチビュー画像をわずか12秒で生成する。 品質評価の指標では、以前の手法を上回ります。
  論文  参考訳（メタデータ） (2023-12-11T05:20:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。