論文の概要: UMI3D: Robust 3D Generation on Unconstrained Multi-Image Inputs via Simultaneous Focus Cross-Attention Routing

• arxiv url: http://arxiv.org/abs/2607.24298v1
• Date: Mon, 27 Jul 2026 11:44:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.404881
• Title: UMI3D: Robust 3D Generation on Unconstrained Multi-Image Inputs via Simultaneous Focus Cross-Attention Routing
• Title（参考訳）: UMI3D:同時フォーカスクロスアテンションルーティングによる制約のない複数画像入力のロバスト3次元生成
• Abstract要約: 最近の3Dファウンデーションモデルは、単一の画像から高品質なアセットを生成することができるが、制約のないマルチイメージ入力で顕著に劣化する。 制約のないマルチイメージ3D生成のためのクロスアテンションを再構築する,トレーニングフリーでプラグアンドプレイのフレームワークであるUMI3Dを提案する。
• 参考スコア（独自算出の注目度）: 49.1757838265224
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent 3D foundation models can generate high-quality assets from a single image, but degrade markedly on unconstrained multi-image inputs, often producing distorted geometry, over-smoothed textures, and chaotic colors. We argue that this failure stems not from limited model capacity, but from a mismatch between single-image cross-attention and the multi-image setting: existing models lack a principled way to decide which image each 3D voxel should trust at each denoising step. Revisiting recent single-image 3D foundation models, we show that explicitly routing each voxel to its most informative image is sufficient to unlock strong performance on inconsistent multi-image inputs. Based on this observation, we propose UMI3D, a training-free and plug-and-play framework that restructures cross-attention for unconstrained multi-image 3D generation. Its core, Simultaneous Focus Cross-Attention (SFC-Attn), activates all conditioning images at each denoising step while allowing each voxel to focus on the single image that best explains it. To enable this routing, we derive the Voxel Reference Score (VRS), a model-intrinsic metric for voxel--image affinity that requires no external matching, segmentation, or correspondence models. Extensive experiments show that UMI3D unlocks the multi-image potential of single-image 3D generation frameworks across diverse tasks. Project Page: UMI3D-Project.github.io.
• Abstract（参考訳）: 最近の3Dファウンデーションモデルは、単一の画像から高品質な資産を生成することができるが、制約のないマルチイメージの入力によって著しく劣化し、しばしば歪んだ幾何学、過度に滑らかなテクスチャ、カオス色を生成する。 既存のモデルには、各3Dボクセルがどのイメージを信頼すべきかを判断する原則的な方法が欠けているのです。 近年のシングルイメージ3D基礎モデルを再検討し、各ボクセルを最も情報性の高い画像に明示的にルーティングすることで、一貫性のないマルチイメージ入力の強みを解き放つのに十分であることを示す。 そこで本研究では,制約のないマルチイメージ3D生成のためのクロスアテンションを再構築する,トレーニングフリーでプラグアンドプレイのフレームワークであるUMI3Dを提案する。 そのコアであるSFC-Attn(Simultaneous Focus Cross-Atttention)は、各デノイングステップですべての条件付きイメージを活性化し、各ボクセルが最もよく説明される単一のイメージに集中できるようにする。 このルーティングを実現するために、Voxel Reference Score(VRS)という、外部マッチング、セグメンテーション、あるいは対応モデルを必要としない、ボクセル-イメージ親和性のためのモデル固有のメトリクスを導出する。 大規模な実験により、UMI3Dは多様なタスクにまたがる単一イメージの3D生成フレームワークのマルチイメージの可能性を解き放つことが示されている。 Project Page: UMI3D-Project.github.io

関連論文リスト

• Axolotl3D: a Unified Framework for Faithful 3D Shape Completion [1.6934548577260198]
  Axolotl3Dは画像、可視性マスク、カメラパラメータ、部分点雲を条件とした3D生成モデルである。 統一的なトレーニング戦略は、大規模3Dデータから多様な条件付け規則を合成し、堅牢なクロスモーダル推論を可能にする。 Toys4KとOmniObject3Dの実験では、クリーンな設定と隠された設定の両方で最先端のパフォーマンスが実証されている。
  論文  参考訳（メタデータ） (2026-07-22T18:38:20Z)
• DeOcc-1-to-3: 3D De-Occlusion from a Single Image via Self-Supervised Multi-View Diffusion [50.90541069907167]
  閉塞型マルチビュー生成のためのエンドツーエンドフレームワークであるDeOcc-1-to-3を提案する。 私たちの自己教師型トレーニングパイプラインは、隠蔽されたイメージペアと擬似地上構造ビューを活用して、モデル構造を意識した補完とビュー整合性を教える。
  論文  参考訳（メタデータ） (2025-06-26T17:58:26Z)
• Multi-View Large Reconstruction Model via Geometry-Aware Positional Encoding and Attention [54.66152436050373]
  本稿では,M-LRM(Multi-view Large Restruction Model)を提案する。 具体的には、M-LRMが入力画像から情報を正確にクエリできるマルチビュー整合型クロスアテンション方式を提案する。 従来の手法と比較して,提案手法は高忠実度の3次元形状を生成することができる。
  論文  参考訳（メタデータ） (2024-06-11T18:29:13Z)
• Unique3D: High-Quality and Efficient 3D Mesh Generation from a Single Image [28.759158325097093]
  Unique3Dは、シングルビュー画像から高品質な3Dメッシュを効率的に生成するための、新しい画像間3Dフレームワークである。 我々のフレームワークは、最先端世代の忠実さと強力な一般化性を備えている。
  論文  参考訳（メタデータ） (2024-05-30T17:59:54Z)
• MVDiff: Scalable and Flexible Multi-View Diffusion for 3D Object Reconstruction from Single-View [0.0]
  本稿では,単一画像から一貫した多視点画像を生成するための一般的なフレームワークを提案する。 提案モデルは,PSNR,SSIM,LPIPSなどの評価指標において,ベースライン法を超える3Dメッシュを生成することができる。
  論文  参考訳（メタデータ） (2024-05-06T22:55:53Z)
• VideoMV: Consistent Multi-View Generation Based on Large Video Generative Model [34.35449902855767]
  基本的な2つの質問は、トレーニングに使用するデータと、マルチビューの一貫性を確保する方法です。 本稿では,市販のビデオ生成モデルから微調整した,密集した一貫したマルチビュー生成モデルを提案する。 我々のアプローチは24の濃密なビューを生成し、最先端のアプローチよりもはるかに高速にトレーニングに収束する。
  論文  参考訳（メタデータ） (2024-03-18T17:48:15Z)
• ViewDiff: 3D-Consistent Image Generation with Text-to-Image Models [65.22994156658918]
  実世界のデータから1つの認知過程において多視点画像を生成することを学習する手法を提案する。 我々は、任意の視点でより多くの3D一貫性のある画像をレンダリングする自己回帰生成を設計する。
  論文  参考訳（メタデータ） (2024-03-04T07:57:05Z)
• Beyond First Impressions: Integrating Joint Multi-modal Cues for Comprehensive 3D Representation [72.94143731623117]
  既存の方法は、単に3D表現を単一ビューの2D画像と粗い親カテゴリテキストに整列させる。 十分でないシナジーは、堅牢な3次元表現は共同視覚言語空間と一致すべきという考えを無視している。 我々は,JM3Dと呼ばれる多視点共同モダリティモデリング手法を提案し,点雲,テキスト,画像の統一表現を求める。
  論文  参考訳（メタデータ） (2023-08-06T01:11:40Z)
• Multi-View Consistent Generative Adversarial Networks for 3D-aware Image Synthesis [48.33860286920389]
  3D認識画像合成は、3D表現を学習することにより、複数のビューからオブジェクトの画像を生成することを目的としている。 既存のアプローチには幾何学的制約がないため、通常はマルチビュー一貫性のある画像を生成することができない。 幾何制約付き高品質な3次元画像合成のためのマルチビュー一貫性ジェネレータネットワーク(MVCGAN)を提案する。
  論文  参考訳（メタデータ） (2022-04-13T11:23:09Z)
• Efficient Geometry-aware 3D Generative Adversarial Networks [50.68436093869381]
  既存の3D GANは計算集約的であるか、3D一貫性のない近似を行う。 本研究では、3D GANの計算効率と画質をこれらの近似に頼らずに改善する。 本稿では,高解像度のマルチビュー一貫性画像だけでなく,高品質な3次元形状をリアルタイムに合成する,表現型ハイブリッド・明示型ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-15T08:01:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。