論文の概要: CheapNVS: Real-Time On-Device Narrow-Baseline Novel View Synthesis

• arxiv url: http://arxiv.org/abs/2501.14533v1
• Date: Fri, 24 Jan 2025 14:40:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 14:56:49.452813
• Title: CheapNVS: Real-Time On-Device Narrow-Baseline Novel View Synthesis
• Title（参考訳）: CheapNVS: リアルタイムオンデバイスナローベースライン新規ビュー合成
• Authors: Konstantinos Georgiadis, Mehmet Kerim Yucel, Albert Saa-Garriga,
• Abstract要約: シングルビュー・ノベル・ビュー・シンセシス(NVS: Single-view novel view synthesis)は、その不適切な性質から悪名高い問題であり、しばしば有形の結果を生成するために大規模で計算コストのかかるアプローチを必要とする。 マルチステージ方式で訓練された新しいマルチエンコーダ/デコーダ設計に基づいて,ベースラインの狭いNVSに対して,完全なエンドツーエンドアプローチであるCheapNVSを提案する。
• 参考スコア（独自算出の注目度）: 2.4578723416255754
• License:
• Abstract: Single-view novel view synthesis (NVS) is a notorious problem due to its ill-posed nature, and often requires large, computationally expensive approaches to produce tangible results. In this paper, we propose CheapNVS: a fully end-to-end approach for narrow baseline single-view NVS based on a novel, efficient multiple encoder/decoder design trained in a multi-stage fashion. CheapNVS first approximates the laborious 3D image warping with lightweight learnable modules that are conditioned on the camera pose embeddings of the target view, and then performs inpainting on the occluded regions in parallel to achieve significant performance gains. Once trained on a subset of Open Images dataset, CheapNVS outperforms the state-of-the-art despite being 10 times faster and consuming 6% less memory. Furthermore, CheapNVS runs comfortably in real-time on mobile devices, reaching over 30 FPS on a Samsung Tab 9+.
• Abstract（参考訳）: シングルビュー・ノベル・ビュー・シンセシス(NVS: Single-view novel view synthesis)は、その不適切な性質から悪名高い問題であり、しばしば有形の結果を生成するために大規模で計算コストのかかるアプローチを必要とする。 本稿では,CheapNVSを提案する。CheapNVSは,マルチステージ方式で訓練された,新規で効率的なマルチエンコーダ/デコーダ設計に基づく,狭いベースラインの単一ビューNVSに対する完全なエンドツーエンドアプローチである。 CheapNVSは、まず、カメラに条件付けされた軽量の学習可能なモジュールで、ターゲットビューに埋め込まれた3D画像ワープを近似し、次に、ブロックされた領域に平行に塗布して、大幅な性能向上を達成する。 Open Imagesデータセットのサブセットでトレーニングされると、CheapNVSは10倍高速で6%少ないメモリ消費にもかかわらず、最先端のパフォーマンスを向上する。 さらに、CheapNVSはモバイルデバイス上でリアルタイムで快適に動作し、Samsung Tab 9+で30FPS以上に達する。

関連論文リスト

• NVComposer: Boosting Generative Novel View Synthesis with Multiple Sparse and Unposed Images [50.36605863731669]
  NVComposerは、明示的な外部アライメントの必要性を排除する新しいアプローチである。 NVComposerは、生成的マルチビューNVSタスクにおいて最先端のパフォーマンスを達成する。 提案手法は, 入力ビュー数の増加に伴い, 合成品質が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2024-12-04T17:58:03Z)
• D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
  本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。 我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
  論文  参考訳（メタデータ） (2024-06-14T14:35:44Z)
• FreeSplat: Generalizable 3D Gaussian Splatting Towards Free-View Synthesis of Indoor Scenes [50.534213038479926]
  FreeSplatは、長いシーケンス入力から自由視点合成まで、幾何学的に一貫した3Dシーンを再構築することができる。 ビュー数に関係なく、広いビュー範囲にわたる堅牢なビュー合成を実現するための、シンプルで効果的なフリービュートレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-28T08:40:14Z)
• Dual3D: Efficient and Consistent Text-to-3D Generation with Dual-mode Multi-view Latent Diffusion [62.37374499337897]
  本稿では,新しいテキスト・ツー・3D生成フレームワークであるDual3Dを紹介する。 テキストから高品質な3Dアセットをわずか1分で生成する。
  論文  参考訳（メタデータ） (2024-05-16T07:50:02Z)
• fMPI: Fast Novel View Synthesis in the Wild with Layered Scene Representations [9.75588035624177]
  新規ビュー合成法(NVS)における2つの新しい入力処理パラダイムを提案する。 私たちのアプローチは、従来のパイプラインの2つの最も時間を要する側面を特定し、緩和します。 提案するパラダイムは,公開ベンチマークの最先端性を実現するNVS手法の設計を可能にすることを実証する。
  論文  参考訳（メタデータ） (2023-12-26T16:24:08Z)
• Novel View Synthesis with View-Dependent Effects from a Single Image [35.85973300177698]
  まず、単一画像に基づく新規ビュー合成(NVS)問題に対するビュー依存効果を検討する。 我々は、NVSにおけるカメラモーションの先行性を利用して、視覚に依存した外観や効果(VDE)をシーン内の負の相違としてモデル化することを提案する。 本稿では,提案手法がVDEを用いてNVSを学習できることを示すとともに,RealEstate10kおよびMannequinChallengeデータセット上でのSOTAシングルビューNVS法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-13T11:29:47Z)
• Novel View Synthesis from a Single RGBD Image for Indoor Scenes [4.292698270662031]
  単一RGBD(Red Green Blue-Depth)入力から新しいビューイメージを合成する手法を提案する。 本手法では,RGBD画像を点雲に変換し,異なる視点からレンダリングし,NVSタスクを画像翻訳問題に変換する。
  論文  参考訳（メタデータ） (2023-11-02T08:34:07Z)
• TOSS:High-quality Text-guided Novel View Synthesis from a Single Image [36.90122394242858]
  本稿では,単一のRGB画像から,新しいビュー合成(NVS)タスクにテキストを導入するTOSSについて述べる。 この制限に対処するため、TOSSはテキストを高レベルのセマンティック情報として使用し、NVSソリューション空間を制限している。
  論文  参考訳（メタデータ） (2023-10-16T17:59:09Z)
• Stitched ViTs are Flexible Vision Backbones [51.441023711924835]
  我々は、縫合可能なニューラルネットワーク(SN-Net)にインスパイアされ、訓練済みのモデルファミリーを縫合することで、リッチワークをカバーする単一のモデルを生成する。 我々は、下流タスク適応を容易にするために、体系的に改良されたモデル縫合フレームワークSN-Netv2を紹介する。 SN-Netv2は、下流の高密度予測においてSN-Netv1よりも優れた性能を示し、柔軟なビジョンバックボーンとして強力な能力を示している。
  論文  参考訳（メタデータ） (2023-06-30T22:05:34Z)
• S-VolSDF: Sparse Multi-View Stereo Regularization of Neural Implicit Surfaces [75.30792581941789]
  暗黙の面のニューラルレンダリングは、3次元視覚アプリケーションでうまく機能する。 スパース入力画像のみが利用可能となると、形状と輝度のあいまいさの問題により出力品質が著しく低下する。 MVSソリューションを用いてニューラルレンダリング最適化の正規化を提案する。
  論文  参考訳（メタデータ） (2023-03-30T21:10:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。