論文の概要: VaLID: Variable-Length Input Diffusion for Novel View Synthesis

• arxiv url: http://arxiv.org/abs/2312.08892v1
• Date: Thu, 14 Dec 2023 12:52:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-15 22:11:46.264302
• Title: VaLID: Variable-Length Input Diffusion for Novel View Synthesis
• Title（参考訳）: VaLID:新しいビュー合成のための可変長入力拡散
• Authors: Shijie Li, Farhad G. Zanjani, Haitam Ben Yahia, Yuki M. Asano, Juergen Gall, Amirhossein Habibian
• Abstract要約: 新たなビュー合成(NVS)は、3次元ビジョンの基本的な問題である。 それぞれのポーズ画像ペアを別々に処理し、それらを統一された視覚表現として融合させ、モデルに注入する。 可変長入力データを固定サイズ出力データにマッピングする多視点クロス前置モジュールを提案する。
• 参考スコア（独自算出の注目度）: 36.57742242154048
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Novel View Synthesis (NVS), which tries to produce a realistic image at the target view given source view images and their corresponding poses, is a fundamental problem in 3D Vision. As this task is heavily under-constrained, some recent work, like Zero123, tries to solve this problem with generative modeling, specifically using pre-trained diffusion models. Although this strategy generalizes well to new scenes, compared to neural radiance field-based methods, it offers low levels of flexibility. For example, it can only accept a single-view image as input, despite realistic applications often offering multiple input images. This is because the source-view images and corresponding poses are processed separately and injected into the model at different stages. Thus it is not trivial to generalize the model into multi-view source images, once they are available. To solve this issue, we try to process each pose image pair separately and then fuse them as a unified visual representation which will be injected into the model to guide image synthesis at the target-views. However, inconsistency and computation costs increase as the number of input source-view images increases. To solve these issues, the Multi-view Cross Former module is proposed which maps variable-length input data to fix-size output data. A two-stage training strategy is introduced to further improve the efficiency during training time. Qualitative and quantitative evaluation over multiple datasets demonstrates the effectiveness of the proposed method against previous approaches. The code will be released according to the acceptance.
• Abstract（参考訳）: 対象の視点と対応するポーズでリアルな画像を生成しようとする新しいビュー合成(nvs)は、3次元視覚における根本的な問題である。 このタスクは過度に訓練されていないため、zero123のような最近の研究は、特に事前訓練された拡散モデルを用いて生成的モデリングによってこの問題を解決しようとする。 この戦略は、ニューラルラディアンス場に基づく手法と比較して、新しいシーンによく当てはまるが、柔軟性は低い。 例えば、複数の入力画像を提供する現実的なアプリケーションにもかかわらず、シングルビューイメージのみを入力として受け入れることができる。 これは、ソースビュー画像と対応するポーズが別々に処理され、異なる段階でモデルに注入されるためである。 したがって、モデルが利用可能になったら、モデルをマルチビューソースイメージに一般化することは簡単ではない。 この問題を解決するために、各ポーズ画像ペアを別々に処理し、それらを統一された視覚表現として融合させ、モデルに注入してターゲットビューで画像合成を誘導する。 しかし、入力元ビュー画像の数が増えるにつれて、矛盾や計算コストが増大する。 これらの問題を解決するために,可変長入力データを固定サイズ出力データにマップするマルチビュークロスプレジデントモジュールを提案する。 2段階のトレーニング戦略を導入し、トレーニング時間の効率をさらに向上させる。 複数のデータセットに対する定性的,定量的な評価は,提案手法の有効性を示す。 コードは受け入れに応じてリリースされます。

関連論文リスト

• Efficient-3DiM: Learning a Generalizable Single-image Novel-view Synthesizer in One Day [63.96075838322437]
  シングルイメージのノベルビューシンセサイザーを学習するためのフレームワークを提案する。 当社のフレームワークは,トレーニング時間を10日以内から1日未満に短縮することが可能です。
  論文  参考訳（メタデータ） (2023-10-04T17:57:07Z)
• The Change You Want to See (Now in 3D) [65.61789642291636]
  本稿の目的は、同じ3Dシーンの2つの「野生」画像の間で何が変わったかを検出することである。 我々は,全合成データに基づいて学習し,クラスに依存しない変化検出モデルに貢献する。 我々は,人間に注釈を付けた実世界のイメージペアによる評価データセットを新たにリリースした。
  論文  参考訳（メタデータ） (2023-08-21T01:59:45Z)
• Capturing the motion of every joint: 3D human pose and shape estimation with independent tokens [34.50928515515274]
  モノクロ映像から3次元人物のポーズと形状を推定する新しい手法を提案する。 提案手法は,3DPWおよびHuman3.6Mデータセット上での優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-03-01T07:48:01Z)
• Novel View Synthesis with Diffusion Models [56.55571338854636]
  本稿では,3Dノベルビュー合成のための拡散モデルである3DiMを提案する。 単一のインプットビューを多くのビューで一貫したシャープな補完に変換することができる。 3DiMは、条件付けと呼ばれる新しい技術を使って、3D一貫性のある複数のビューを生成することができる。
  論文  参考訳（メタデータ） (2022-10-06T16:59:56Z)
• im2nerf: Image to Neural Radiance Field in the Wild [47.18702901448768]
  im2nerfは、野生の1つの入力イメージが与えられた連続的な神経オブジェクト表現を予測する学習フレームワークである。 Im2nerfは、野生の単視未表示画像から新しいビューを合成するための最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-09-08T23:28:56Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• Image Generation with Multimodal Priors using Denoising Diffusion Probabilistic Models [54.1843419649895]
  このタスクを達成するために生成モデルを使用する際の大きな課題は、すべてのモダリティと対応する出力を含むペアデータの欠如である。 本稿では,拡散確率的合成モデルに基づく多モデル先行画像生成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-10T12:23:05Z)
• ViewFormer: NeRF-free Neural Rendering from Few Images Using Transformers [34.4824364161812]
  新たなビュー合成は、シーンやオブジェクトをスパースにカバーする少数のコンテキストビューしか与えられない、という問題です。 ゴールはシーンにおける新しい視点を予測することであり、これは学習の事前を必要とする。 ニューラルネットワークの単一パスにおいて,複数のコンテキストビューとクエリのポーズを新しい画像にマッピングする2Dのみの手法を提案する。
  論文  参考訳（メタデータ） (2022-03-18T21:08:23Z)
• Meta Internal Learning [88.68276505511922]
  単一画像生成のための内部学習は、単一の画像に基づいて新しい画像を生成するようにジェネレータを訓練するフレームワークである。 本稿では,サンプル画像の内部統計をより効果的にモデル化するために,画像集合のトレーニングを可能にするメタラーニング手法を提案する。 以上の結果から, 得られたモデルは, 多数の共通画像アプリケーションにおいて, シングルイメージのGANと同程度に適していることがわかった。
  論文  参考訳（メタデータ） (2021-10-06T16:27:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。