論文の概要: CheapNVS: Real-Time On-Device Narrow-Baseline Novel View Synthesis
- arxiv url: http://arxiv.org/abs/2501.14533v1
- Date: Fri, 24 Jan 2025 14:40:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-27 20:40:39.779191
- Title: CheapNVS: Real-Time On-Device Narrow-Baseline Novel View Synthesis
- Title（参考訳）: CheapNVS: リアルタイムオンデバイスナローベースライン新規ビュー合成
- Authors: Konstantinos Georgiadis, Mehmet Kerim Yucel, Albert Saa-Garriga,
- Abstract要約: シングルビュー・ノベル・ビュー・シンセシス(NVS: Single-view novel view synthesis)は、その不適切な性質から悪名高い問題であり、しばしば有形の結果を生成するために大規模で計算コストのかかるアプローチを必要とする。
マルチステージ方式で訓練された新しいマルチエンコーダ/デコーダ設計に基づいて,ベースラインの狭いNVSに対して,完全なエンドツーエンドアプローチであるCheapNVSを提案する。
- 参考スコア（独自算出の注目度）: 2.4578723416255754
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Single-view novel view synthesis (NVS) is a notorious problem due to its ill-posed nature, and often requires large, computationally expensive approaches to produce tangible results. In this paper, we propose CheapNVS: a fully end-to-end approach for narrow baseline single-view NVS based on a novel, efficient multiple encoder/decoder design trained in a multi-stage fashion. CheapNVS first approximates the laborious 3D image warping with lightweight learnable modules that are conditioned on the camera pose embeddings of the target view, and then performs inpainting on the occluded regions in parallel to achieve significant performance gains. Once trained on a subset of Open Images dataset, CheapNVS outperforms the state-of-the-art despite being 10 times faster and consuming 6% less memory. Furthermore, CheapNVS runs comfortably in real-time on mobile devices, reaching over 30 FPS on a Samsung Tab 9+.
- Abstract（参考訳）: シングルビュー・ノベル・ビュー・シンセシス(NVS: Single-view novel view synthesis)は、その不適切な性質から悪名高い問題であり、しばしば有形の結果を生成するために大規模で計算コストのかかるアプローチを必要とする。
本稿では,CheapNVSを提案する。CheapNVSは,マルチステージ方式で訓練された,新規で効率的なマルチエンコーダ/デコーダ設計に基づく,狭いベースラインの単一ビューNVSに対する完全なエンドツーエンドアプローチである。
CheapNVSは、まず、カメラに条件付けされた軽量の学習可能なモジュールで、ターゲットビューに埋め込まれた3D画像ワープを近似し、次に、ブロックされた領域に平行に塗布して、大幅な性能向上を達成する。
Open Imagesデータセットのサブセットでトレーニングされると、CheapNVSは10倍高速で6%少ないメモリ消費にもかかわらず、最先端のパフォーマンスを向上する。
さらに、CheapNVSはモバイルデバイス上でリアルタイムで快適に動作し、Samsung Tab 9+で30FPS以上に達する。
関連論文リスト
- FlowR: Flowing from Sparse to Dense 3D Reconstructions [60.6368083163258]
本稿では,新しいビューレンダリングを高密度再構成で期待するレンダリングに接続するフローを学習するフローマッチングモデルを提案する。
我々のモデルは3.6Mイメージペアの新たなデータセットに基づいてトレーニングされており、単一のフォワードパスで1つのH100 GPU上で540x960解像度(91Kトークン)で45ビューまで処理できる。
論文 参考訳（メタデータ） (2025-04-02T11:57:01Z) - Stable Virtual Camera: Generative View Synthesis with Diffusion Models [51.71244310522393]
本稿では,シーンの新たなビューを生成する汎用拡散モデルであるスタブルバーチャルカメラ(Seva)を紹介する。
このアプローチは、シンプルなモデル設計、最適化されたトレーニングレシピ、柔軟なサンプリング戦略によってこれらの制限を克服する。
提案手法では,シームレスなループ閉鎖により,最大半分間の高品質なビデオを生成することができる。
論文 参考訳（メタデータ） (2025-03-18T17:57:22Z) - TriDF: Triplane-Accelerated Density Fields for Few-Shot Remote Sensing Novel View Synthesis [22.72162881491581]
TriDFは、3つの入力ビューからの高速リモートセンシングNVSのための効率的なハイブリッド3D表現である。
本手法は,色と体積密度情報を分離し,計算負担を軽減するために独立にモデル化する。
複数のリモートセンシングシーンにわたる総合的な実験により、ハイブリッド表現が30倍の速度向上を達成することが示された。
論文 参考訳（メタデータ） (2025-03-17T16:25:39Z) - NVComposer: Boosting Generative Novel View Synthesis with Multiple Sparse and Unposed Images [50.36605863731669]
NVComposerは、明示的な外部アライメントの必要性を排除する新しいアプローチである。
NVComposerは、生成的マルチビューNVSタスクにおいて最先端のパフォーマンスを達成する。
提案手法は, 入力ビュー数の増加に伴い, 合成品質が大幅に向上したことを示す。
論文 参考訳（メタデータ） (2024-12-04T17:58:03Z) - D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。
我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
論文 参考訳（メタデータ） (2024-06-14T14:35:44Z) - FreeSplat: Generalizable 3D Gaussian Splatting Towards Free-View Synthesis of Indoor Scenes [50.534213038479926]
FreeSplatは、長いシーケンス入力から自由視点合成まで、幾何学的に一貫した3Dシーンを再構築することができる。
ビュー数に関係なく、広いビュー範囲にわたる堅牢なビュー合成を実現するための、シンプルで効果的なフリービュートレーニング戦略を提案する。
論文 参考訳（メタデータ） (2024-05-28T08:40:14Z) - Dual3D: Efficient and Consistent Text-to-3D Generation with Dual-mode Multi-view Latent Diffusion [62.37374499337897]
本稿では,新しいテキスト・ツー・3D生成フレームワークであるDual3Dを紹介する。
テキストから高品質な3Dアセットをわずか1分で生成する。
論文 参考訳（メタデータ） (2024-05-16T07:50:02Z) - InstantSplat: Sparse-view SfM-free Gaussian Splatting in Seconds [91.77050739918037]
InstantSplatは、2〜3枚の画像から正確な3D表現を構築する、新規で高速なニューラルリコンストラクションシステムである。
InstantSplatは、フレーム間の密集したステレオ先行とコビジュアライザの関係を統合して、シーンを徐々に拡張することでピクセルアライメントを初期化する。
SSIMは3D-GSでCOLMAPよりも0.3755から0.7624に向上し、複数の3D表現と互換性がある。
論文 参考訳（メタデータ） (2024-03-29T17:29:58Z) - fMPI: Fast Novel View Synthesis in the Wild with Layered Scene
Representations [9.75588035624177]
新規ビュー合成法(NVS)における2つの新しい入力処理パラダイムを提案する。
私たちのアプローチは、従来のパイプラインの2つの最も時間を要する側面を特定し、緩和します。
提案するパラダイムは,公開ベンチマークの最先端性を実現するNVS手法の設計を可能にすることを実証する。
論文 参考訳（メタデータ） (2023-12-26T16:24:08Z) - Novel View Synthesis with View-Dependent Effects from a Single Image [35.85973300177698]
まず、単一画像に基づく新規ビュー合成(NVS)問題に対するビュー依存効果を検討する。
我々は、NVSにおけるカメラモーションの先行性を利用して、視覚に依存した外観や効果(VDE)をシーン内の負の相違としてモデル化することを提案する。
本稿では,提案手法がVDEを用いてNVSを学習できることを示すとともに,RealEstate10kおよびMannequinChallengeデータセット上でのSOTAシングルビューNVS法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-12-13T11:29:47Z) - Free3D: Consistent Novel View Synthesis without 3D Representation [63.931920010054064]
Free3Dは単分子開集合新規ビュー合成(NVS)の簡易的高精度な方法である
同様のアプローチを採った他の作品と比較して,明快な3D表現に頼らずに大幅な改善が得られた。
論文 参考訳（メタデータ） (2023-12-07T18:59:18Z) - Novel View Synthesis from a Single RGBD Image for Indoor Scenes [4.292698270662031]
単一RGBD(Red Green Blue-Depth)入力から新しいビューイメージを合成する手法を提案する。
本手法では,RGBD画像を点雲に変換し,異なる視点からレンダリングし,NVSタスクを画像翻訳問題に変換する。
論文 参考訳（メタデータ） (2023-11-02T08:34:07Z) - TOSS:High-quality Text-guided Novel View Synthesis from a Single Image [36.90122394242858]
本稿では,単一のRGB画像から,新しいビュー合成(NVS)タスクにテキストを導入するTOSSについて述べる。
この制限に対処するため、TOSSはテキストを高レベルのセマンティック情報として使用し、NVSソリューション空間を制限している。
論文 参考訳（メタデータ） (2023-10-16T17:59:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。