論文の概要: UniView: Enhancing Novel View Synthesis From A Single Image By Unifying Reference Features

• arxiv url: http://arxiv.org/abs/2509.04932v1
• Date: Fri, 05 Sep 2025 08:54:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-08 14:27:25.539762
• Title: UniView: Enhancing Novel View Synthesis From A Single Image By Unifying Reference Features
• Title（参考訳）: UniView:参照機能を統一することで、単一の画像から新しいビューの合成を促進する
• Authors: Haowang Cui, Rui Chen, Tao Luo, Rui Li, Jiaze Wang,
• Abstract要約: 我々は、類似オブジェクトからの参照画像を利用して、ビュー合成中に強い事前情報を提供するUniViewと呼ばれる新しいモデルを提案する。 我々のUniViewは、新しいビュー合成性能を大幅に改善し、挑戦的なデータセット上で最先端の手法より優れています。
• 参考スコア（独自算出の注目度）: 8.962212671008201
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The task of synthesizing novel views from a single image is highly ill-posed due to multiple explanations for unobserved areas. Most current methods tend to generate unseen regions from ambiguity priors and interpolation near input views, which often lead to severe distortions. To address this limitation, we propose a novel model dubbed as UniView, which can leverage reference images from a similar object to provide strong prior information during view synthesis. More specifically, we construct a retrieval and augmentation system and employ a multimodal large language model (MLLM) to assist in selecting reference images that meet our requirements. Additionally, a plug-and-play adapter module with multi-level isolation layers is introduced to dynamically generate reference features for the target views. Moreover, in order to preserve the details of an original input image, we design a decoupled triple attention mechanism, which can effectively align and integrate multi-branch features into the synthesis process. Extensive experiments have demonstrated that our UniView significantly improves novel view synthesis performance and outperforms state-of-the-art methods on the challenging datasets.
• Abstract（参考訳）: 一つの画像から新しいビューを合成する作業は、観測されていない領域について複数の説明があるため、非常に不適切である。 現在のほとんどの手法は、曖昧さの先行と入力ビュー近くの補間から目に見えない領域を生成する傾向があり、しばしば激しい歪みを引き起こす。 この制限に対処するために、類似オブジェクトからの参照画像を利用して、ビュー合成中に強力な事前情報を提供するUniViewと呼ばれる新しいモデルを提案する。 具体的には,検索・拡張システムを構築し,マルチモーダル大言語モデル(MLLM)を用いて,要求を満たす参照画像の選択を支援する。 さらに、ターゲットビューの参照機能を動的に生成するために、マルチレベル分離層を備えたプラグアンドプレイアダプタモジュールが導入されている。 さらに,元の入力画像の詳細を保存するために,複数ブランチの特徴を効果的に合成プロセスに統合する,分離された三重注意機構を設計する。 大規模な実験により、我々のUniViewは、新しいビュー合成性能を著しく改善し、挑戦的なデータセット上で最先端の手法より優れていることが示された。

関連論文リスト

• Synthesizing Consistent Novel Views via 3D Epipolar Attention without Re-Training [102.82553402539139]
  大規模な拡散モデルでは、単一画像からの新規なビュー合成において顕著なゼロショット機能を示す。 これらのモデルは、新規および参照ビュー間の一貫性を維持する上で、しばしば課題に直面します。 入力ビューから重なり合う情報の探索と検索にエピポーラ幾何を用いることを提案する。 この情報はターゲットビューの生成に組み込まれ、トレーニングや微調整の必要がなくなる。
  論文  参考訳（メタデータ） (2025-02-25T14:04:22Z)
• MOVIS: Enhancing Multi-Object Novel View Synthesis for Indoor Scenes [35.16430027877207]
  MOVISは、多目的NVSのためのビュー条件拡散モデルの構造的認識を高めることを目的としている。 本稿では,新しいビューオブジェクトマスクを同時に予測するためにモデルを必要とする補助タスクを提案する。 提案手法は強力な一般化能力を示し,一貫した新規なビュー合成を生成する。
  論文  参考訳（メタデータ） (2024-12-16T05:23:45Z)
• MultiDiff: Consistent Novel View Synthesis from a Single Image [60.04215655745264]
  MultiDiffは、単一のRGB画像からシーンを一貫した新しいビュー合成のための新しいアプローチである。 以上の結果から,MultiDiffは,課題の多いリアルタイムデータセットであるRealEstate10KとScanNetにおいて,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-26T17:53:51Z)
• UpFusion: Novel View Diffusion from Unposed Sparse View Observations [66.36092764694502]
  UpFusionは、参照画像のスパースセットが与えられたオブジェクトに対して、新しいビュー合成と3D表現を推論することができる。 本研究では,この機構により,付加された(未提示)画像の合成品質を向上しつつ,高忠実度な新規ビューを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-12-11T18:59:55Z)
• SAMPLING: Scene-adaptive Hierarchical Multiplane Images Representation for Novel View Synthesis from a Single Image [60.52991173059486]
  単一画像からの新規ビュー合成のためのシーン適応型階層型多面体画像表現であるSAMPlingを紹介する。 提案手法は,KITTIデータセット上の単一画像を用いて,大規模非有界屋外シーンにおいてかなりの性能向上を示す。
  論文  参考訳（メタデータ） (2023-09-12T15:33:09Z)
• UniMS: A Unified Framework for Multimodal Summarization with Knowledge Distillation [43.15662489492694]
  本稿では,BART,UniMSに基づくマルチモーダル要約のための統一フレームワークを提案する。 我々は、画像選択を改善するために、視覚言語事前学習モデルから知識蒸留を採用する。 我々の最良のモデルは、大規模ベンチマークデータセットで新しい最先端の結果を達成する。
  論文  参考訳（メタデータ） (2021-09-13T09:36:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。