Fugu-MT 論文翻訳(概要): Sparse Input View Synthesis: 3D Representations and Reliable Priors

論文の概要: Sparse Input View Synthesis: 3D Representations and Reliable Priors

arxiv url: http://arxiv.org/abs/2411.13631v1
Date: Wed, 20 Nov 2024 18:45:46 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-22 15:19:21.283815
Title: Sparse Input View Synthesis: 3D Representations and Reliable Priors
Title（参考訳）: スパース入力ビュー合成:3次元表現と信頼性優先
Authors: Nagabhushan Somraj,
Abstract要約: 新しいビュー合成はコンピュータビジョンとグラフィックスの基本的な問題である。最近の3D表現は、新しい視点からレンダリングされた画像の品質を著しく向上させる。静的シーンと動的シーンの両方に対するスパース入力新規ビュー合成問題に焦点をあてる。
参考スコア（独自算出の注目度）: 0.8158530638728501
License:
Abstract: Novel view synthesis refers to the problem of synthesizing novel viewpoints of a scene given the images from a few viewpoints. This is a fundamental problem in computer vision and graphics, and enables a vast variety of applications such as meta-verse, free-view watching of events, video gaming, video stabilization and video compression. Recent 3D representations such as radiance fields and multi-plane images significantly improve the quality of images rendered from novel viewpoints. However, these models require a dense sampling of input views for high quality renders. Their performance goes down significantly when only a few input views are available. In this thesis, we focus on the sparse input novel view synthesis problem for both static and dynamic scenes.
Abstract（参考訳）: 新たな視点合成とは、いくつかの視点から画像が与えられたシーンの新たな視点を合成する問題を指す。これはコンピュータビジョンとグラフィックスの基本的な問題であり、メタバース、イベントのフリービュー視聴、ビデオゲーム、ビデオ安定化、ビデオ圧縮などの幅広いアプリケーションを可能にする。放射場やマルチプレーン画像などの最近の3次元表現は、新しい視点からレンダリングされた画像の品質を著しく向上させる。しかし、これらのモデルでは、高品質なレンダリングのために入力ビューの高密度なサンプリングが必要である。わずかなインプットビューしか利用できない場合、パフォーマンスは大幅に低下する。本稿では,静的シーンと動的シーンの両方を対象としたスパース入力新規ビュー合成問題に焦点をあてる。

関連論文リスト

Cafca: High-quality Novel View Synthesis of Expressive Faces from Casual Few-shot Captures [33.463245327698]
人間の顔に先立って,高忠実度表現型顔のモデリングが可能な新しい容積を提示する。我々は3D Morphable Face Modelを活用して大規模なトレーニングセットを合成し、それぞれのアイデンティティを異なる表現でレンダリングする。次に、この合成データセットに先立って条件付きニューラルレージアンスフィールドをトレーニングし、推論時に、モデルを1つの被験者の非常にスパースな実画像のセットで微調整する。
論文参考訳（メタデータ） (2024-10-01T12:24:50Z)
ViewCrafter: Taming Video Diffusion Models for High-fidelity Novel View Synthesis [63.169364481672915]
単一またはスパース画像からジェネリックシーンの高忠実な新規ビューを合成する新しい方法である textbfViewCrafter を提案する。提案手法は,映像拡散モデルの強力な生成能力と,ポイントベース表現によって提供される粗い3D手がかりを利用して高品質な映像フレームを生成する。
論文参考訳（メタデータ） (2024-09-03T16:53:19Z)
ViVid-1-to-3: Novel View Synthesis with Video Diffusion Models [33.760292331843104]
単一のイメージからオブジェクトの新たなビューを生成することは、難しい作業です。近年,拡散に基づくビュー合成法は大きな進歩を見せている。本稿では,事前学習したビデオ拡散モデルを用いた簡単な方法を示す。
論文参考訳（メタデータ） (2023-12-03T06:50:15Z)
ReShader: View-Dependent Highlights for Single Image View-Synthesis [5.736642774848791]
本稿では,ビュー合成過程を画素再構成と再配置の2つの独立したタスクに分割することを提案する。再構成の過程では,1枚の画像を入力とし,新しいカメラに基づいてシェーディングを調整する。そして、この再構成画像を既存のビュー合成法の入力として使用し、画素を移動させ、最終的な新規なビュー画像を生成する。
論文参考訳（メタデータ） (2023-09-19T15:23:52Z)
Hybrid Neural Rendering for Large-Scale Scenes with Motion Blur [68.24599239479326]
画像ベース表現とニューラル3D表現を結合して高品質なビュー一貫性のある画像をレンダリングするハイブリッドなニューラルレンダリングモデルを開発した。我々のモデルは、新しいビュー合成のための最先端のポイントベース手法を超越している。
論文参考訳（メタデータ） (2023-04-25T08:36:33Z)
Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
論文参考訳（メタデータ） (2022-07-12T17:52:04Z)
Scene Representation Transformer: Geometry-Free Novel View Synthesis Through Set-Latent Scene Representations [48.05445941939446]
コンピュータビジョンにおける古典的な問題は、インタラクティブなレートで新しいビューを描画するのに使用できる少数の画像から3Dシーン表現を推論することである。 SRT(Scene Representation Transformer)は,新しい領域のRGB画像のポーズ処理やアンポーズ処理を行う手法である。本手法は,PSNRおよび合成データセットの速度において,最近のベースラインよりも優れていることを示す。
論文参考訳（メタデータ） (2021-11-25T16:18:56Z)
Deep 3D Mask Volume for View Synthesis of Dynamic Scenes [49.45028543279115]
120FPSのカスタム10カメラリグでキャプチャしたマルチビュービデオデータセットを提案する。データセットには、屋外シーンにおけるさまざまな視覚効果と人間の相互作用を示す96の高品質なシーンが含まれている。我々は,静的カメラで捉えた動的シーンの双眼映像から時間的に安定な視線外挿を可能にする新しいアルゴリズムであるDeep 3D Mask Volumeを開発した。
論文参考訳（メタデータ） (2021-08-30T17:55:28Z)
Neural Body: Implicit Neural Representations with Structured Latent Codes for Novel View Synthesis of Dynamic Humans [56.63912568777483]
本稿では,人間の演奏者に対する新しい視点合成の課題について,カメラビューの少なさから考察する。異なるフレームで学習されたニューラルネットワーク表現が、変形可能なメッシュにアンカーされた同じ遅延コードセットを共有することを前提とした新しい人体表現であるNeural Bodyを提案する。 ZJU-MoCapの実験により、我々の手法は、新規なビュー合成品質において、先行研究よりも優れた性能を示した。
論文参考訳（メタデータ） (2020-12-31T18:55:38Z)
NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis [78.5281048849446]
本稿では,複雑なシーンの新たなビューを合成する手法を提案する。提案アルゴリズムは,完全接続型(非畳み込み型)深層ネットワークを用いたシーンを表現する。ボリュームレンダリングは自然に微分可能であるため、表現を最適化するのに必要な唯一の入力は、既知のカメラポーズを持つ画像の集合である。
論文参考訳（メタデータ） (2020-03-19T17:57:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。