論文の概要: DVSM: Decoder-only View Synthesis Model Done Right
- arxiv url: http://arxiv.org/abs/2605.29891v1
- Date: Thu, 28 May 2026 13:16:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-30 02:45:56.335832
- Title: DVSM: Decoder-only View Synthesis Model Done Right
- Title(参考訳): DVSM:デコーダのみのビュー合成モデルが正しく動作する
- Authors: Cheng Sun, Jaesung Choe, Min-Hung Chen, Ryo Hachiuma, Yu-Chiang Frank Wang,
- Abstract要約: 近年のLVSM(Large View Synthesis Models)は、再構成とレンダリングを別々のネットワークに分離するエンコーダデコーダアーキテクチャを提唱している。
KV-cacheとして暗黙的にシーンを表すデコーダのみのアーキテクチャは、エンコーダ-デコーダの変種よりも優れており、レンダリングの複雑さは少ない。
以上の結果から,複数のベンチマークによる新規視点合成技術が確立され,高密度な入力ビュー下でのシーンごとの最適化3DGSよりも優れた結果が得られた。
- 参考スコア(独自算出の注目度): 53.493403264581424
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent Large View Synthesis Models (LVSMs) advocate an encoder-decoder architecture that separates reconstruction and rendering into distinct networks. We re-examine this design. Through controlled experiments, we show that a decoder-only architecture, which represents scenes implicitly as a KV-cache, outperforms encoder-decoder variants while using fewer parameters at identical rendering complexity. Further analysis shows that sharing weights between the color-input reconstruction network and the camera-only rendering network better aligns their features at the same viewpoint, facilitating image synthesis. Building on this finding, our model, dubbed DVSM, further incorporates foundation model priors and stage-wise patch sizing for an improved efficiency-quality tradeoff. Our results establish a new state of the art for novel-view synthesis across multiple benchmarks, in some cases even outperforming per-scene-optimized 3DGS under dense input views.
- Abstract(参考訳): 近年のLVSM(Large View Synthesis Models)は、再構成とレンダリングを別々のネットワークに分離するエンコーダデコーダアーキテクチャを提唱している。
私たちはこのデザインを再検討する。
制御実験により,KV-cacheとして暗黙的にシーンを表すデコーダのみのアーキテクチャが,エンコーダ-デコーダの変種より優れ,レンダリングの複雑度が低いパラメータがより少ないことを示す。
さらに分析した結果,カラー入力再構成ネットワークとカメラのみのレンダリングネットワークとの間の重みの共有は,特徴を同じ視点で整合させ,画像合成を容易にすることが示唆された。
この発見に基づいて、我々のモデルは、DVSMと呼ばれ、さらに基礎モデルとステージワイドのパッチサイズを取り入れ、効率品質のトレードオフを改善した。
以上の結果から,複数のベンチマークによる新規ビュー合成技術が確立され,高密度な入力ビュー下でのシーンごとの最適化3DGSよりも優れた結果が得られた。
関連論文リスト
- Scaling View Synthesis Transformers [14.587384620293784]
幾何学フリーなビュー合成変換器は、最近、新しいビュー合成(NVS)において最先端の性能を達成した。
本稿では,ビュー合成変換器のスケーリング法則を体系的に研究し,計算最適NVSモデルをトレーニングするための設計原則を導出する。
論文 参考訳(メタデータ) (2026-02-24T20:18:55Z) - DeCo-VAE: Learning Compact Latents for Video Reconstruction via Decoupled Representation [14.242798717551471]
コンパクトな潜在表現を実現するために分離されたVAE(Co-VAE)を提案する。
分離されたコンポーネントごとに専用エンコーダを設計し、共有3Dデコーダを採用して再構築時の一貫性を維持する。
論文 参考訳(メタデータ) (2025-11-18T14:34:20Z) - LVSM: A Large View Synthesis Model with Minimal 3D Inductive Bias [50.13457154615262]
スパースビュー入力からのスケーラブルで一般化可能な新規ビュー合成のためのトランスフォーマーに基づくアプローチを提案する。
本稿では,(1)入力画像トークンを1次元遅延トークンにエンコードするエンコーダデコーダLVSM,(2)入力画像を直接新規ビュー出力にマッピングするデコーダのみLVSMの2つのアーキテクチャを紹介する。
論文 参考訳(メタデータ) (2024-10-22T17:58:28Z) - VNVC: A Versatile Neural Video Coding Framework for Efficient
Human-Machine Vision [59.632286735304156]
コード化された表現をピクセルに復号することなく直接拡張・解析することがより効率的である。
再構成と直接拡張/分析の両方をサポートするために,コンパクト表現の学習を目標とする汎用型ニューラルビデオ符号化(VNVC)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-19T03:04:57Z) - DiVAE: Photorealistic Images Synthesis with Denoising Diffusion Decoder [73.1010640692609]
本稿では,拡散デコーダ(DiVAE)を用いたVQ-VAEアーキテクチャモデルを提案する。
我々のモデルは最先端の成果を達成し、さらに多くのフォトリアリスティックな画像を生成する。
論文 参考訳(メタデータ) (2022-06-01T10:39:12Z) - GAN-Based Multi-View Video Coding with Spatio-Temporal EPI
Reconstruction [19.919826392704472]
GAN(Generative Adrial Network)の画像生成機能を活用した新しい多視点ビデオ符号化手法を提案する。
エンコーダでは,時空間平面画像(EPI)デコーダを構築し,さらに畳み込みネットワークを用いてGANの潜時符号をサイド情報(SI)として抽出する。
側面では、SIと隣接する視点を組み合わせて、GANジェネレータを用いて中間ビューを再構築する。
論文 参考訳(メタデータ) (2022-05-07T08:52:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。