論文の概要: Sequential View Synthesis with Transformer

• arxiv url: http://arxiv.org/abs/2004.04548v2
• Date: Tue, 22 Sep 2020 08:53:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 02:36:54.372403
• Title: Sequential View Synthesis with Transformer
• Title（参考訳）: 変圧器を用いたシーケンシャルビュー合成
• Authors: Phong Nguyen-Ha, Lam Huynh, Esa Rahtu, Janne Heikkila
• Abstract要約: 学習した表現に基づいて、ターゲットビューを含む画像シーケンスを予測するシーケンシャルレンダリングデコーダを導入する。 我々は、様々な挑戦的なデータセットでモデルを評価し、モデルが一貫性のある予測を与えるだけでなく、微調整のための再トレーニングも必要としないことを示した。
• 参考スコア（独自算出の注目度）: 13.200139959163574
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper addresses the problem of novel view synthesis by means of neural rendering, where we are interested in predicting the novel view at an arbitrary camera pose based on a given set of input images from other viewpoints. Using the known query pose and input poses, we create an ordered set of observations that leads to the target view. Thus, the problem of single novel view synthesis is reformulated as a sequential view prediction task. In this paper, the proposed Transformer-based Generative Query Network (T-GQN) extends the neural-rendering methods by adding two new concepts. First, we use multi-view attention learning between context images to obtain multiple implicit scene representations. Second, we introduce a sequential rendering decoder to predict an image sequence, including the target view, based on the learned representations. Finally, we evaluate our model on various challenging datasets and demonstrate that our model not only gives consistent predictions but also doesn't require any retraining for finetuning.
• Abstract（参考訳）: 本稿では,任意のカメラポーズにおける新しい視点を,任意の視点から入力画像の集合に基づいて予測することに関心を持つニューラルレンダリングによる新しい視点合成の問題について述べる。 既知のクエリポーズと入力ポーズを使用して、順序付けられた観察セットを作成し、ターゲットビューに導く。 これにより、単一新規ビュー合成の問題は逐次ビュー予測タスクとして再構成される。 本稿では,提案するt-gqn(transformer-based generative query network)により,新たな概念を2つ加えたニューラルレンダリング手法を拡張する。 まず、コンテキスト画像間の多視点注意学習を用いて、複数の暗黙的なシーン表現を得る。 第2に、学習した表現に基づいて、ターゲットビューを含む画像シーケンスを予測するシーケンシャルレンダリングデコーダを導入する。 最後に,様々な難易度データセットでモデルを評価し,モデルが一貫した予測を与えるだけでなく,微調整のための再トレーニングも不要であることを実証する。

関連論文リスト

• UpFusion: Novel View Diffusion from Unposed Sparse View Observations [66.36092764694502]
  UpFusionは、参照画像のスパースセットが与えられたオブジェクトに対して、新しいビュー合成と3D表現を推論することができる。 本研究では,この機構により,付加された(未提示)画像の合成品質を向上しつつ,高忠実度な新規ビューを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-12-11T18:59:55Z)
• Learning Robust Multi-Scale Representation for Neural Radiance Fields from Unposed Images [65.41966114373373]
  コンピュータビジョンにおけるニューラルイメージベースのレンダリング問題に対する改善された解決策を提案する。 提案手法は,テスト時に新たな視点からシーンのリアルなイメージを合成することができる。
  論文  参考訳（メタデータ） (2023-11-08T08:18:23Z)
• im2nerf: Image to Neural Radiance Field in the Wild [47.18702901448768]
  im2nerfは、野生の1つの入力イメージが与えられた連続的な神経オブジェクト表現を予測する学習フレームワークである。 Im2nerfは、野生の単視未表示画像から新しいビューを合成するための最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-09-08T23:28:56Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• Neural Rendering of Humans in Novel View and Pose from Monocular Video [68.37767099240236]
  本稿では,新しい視点下で写真リアルな人間を生成し,モノクロ映像を入力として提示する新しい手法を提案する。 提案手法は,モノクラー映像を入力として,見知らぬポーズや新しい視点下での既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-04-04T03:09:20Z)
• Novel View Synthesis from a Single Image via Unsupervised learning [27.639536023956122]
  本研究では,そのような画素変換を単一ソース視点から学習するための教師なしネットワークを提案する。 学習した変換により、未知のポーズの単一のソース視点画像から新しいビューを合成することができる。
  論文  参考訳（メタデータ） (2021-10-29T06:32:49Z)
• Deep Learning based Novel View Synthesis [18.363945964373553]
  本稿では,与えられた画像の集合からシーンの新たなビューを予測することを学ぶディープ畳み込みニューラルネットワーク(CNN)を提案する。 従来の深層学習に基づくアプローチと比較して、新しいビューを予測するために一定数の入力画像しか処理できないのに対し、提案手法は異なる入力画像で機能する。
  論文  参考訳（メタデータ） (2021-07-14T16:15:36Z)
• Shelf-Supervised Mesh Prediction in the Wild [54.01373263260449]
  本研究では,物体の3次元形状とポーズを1つの画像から推定する学習手法を提案する。 まず、カメラのポーズとともに、標準フレーム内の体積表現を推定する。 粗い体積予測はメッシュベースの表現に変換され、予測されたカメラフレームでさらに洗練される。
  論文  参考訳（メタデータ） (2021-02-11T18:57:10Z)
• Unsupervised Novel View Synthesis from a Single Image [47.37120753568042]
  単一の画像からの新しいビュー合成は、オブジェクトの単一入力画像から新しいビューを生成することを目的としている。 本研究の目的は、新しいビュー合成のための条件付き生成モデルの訓練を、完全に教師なしの方法で行えるようにすることで、この仮定を緩和することである。
  論文  参考訳（メタデータ） (2021-02-05T16:56:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。