Fugu-MT 論文翻訳(概要): Novel View Synthesis as Video Completion

論文の概要: Novel View Synthesis as Video Completion

arxiv url: http://arxiv.org/abs/2604.08500v1
Date: Thu, 09 Apr 2026 17:44:18 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-10 18:34:06.052522
Title: Novel View Synthesis as Video Completion
Title（参考訳）: ビデオコンプリートとしての新しいビュー合成
Authors: Qi Wu, Khiem Vuong, Minsik Jeon, Srinivasa Narasimhan, Deva Ramanan,
Abstract要約: ビデオ拡散モデルを用いたスパース・ノベル・ビュー・シンセサイザー(NVS)の課題に対処する。ビデオモデルには暗黙の多視点知識がすでに含まれていると論じる。我々は、ビデオモデルを置換不変NVSに適応させるFrameCrafterを提案する。
参考スコア（独自算出の注目度）: 48.398284223234576
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We tackle the problem of sparse novel view synthesis (NVS) using video diffusion models; given $K$ ($\approx 5$) multi-view images of a scene and their camera poses, we predict the view from a target camera pose. Many prior approaches leverage generative image priors encoded via diffusion models. However, models trained on single images lack multi-view knowledge. We instead argue that video models already contain implicit multi-view knowledge and so should be easier to adapt for NVS. Our key insight is to formulate sparse NVS as a low frame-rate video completion task. However, one challenge is that sparse NVS is defined over an unordered set of inputs, often too sparse to admit a meaningful order, so the models should be $\textit{invariant}$ to permutations of that input set. To this end, we present FrameCrafter, which adapts video models (naturally trained with coherent frame orderings) to permutation-invariant NVS through several architectural modifications, including per-frame latent encodings and removal of temporal positional embeddings. Our results suggest that video models can be easily trained to "forget" about time with minimal supervision, producing competitive performance on sparse-view NVS benchmarks. Project page: https://frame-crafter.github.io/
Abstract（参考訳）: 我々は,映像拡散モデルを用いたスパースノベルビュー合成 (NVS) の問題に取り組み,K$$$\approx 5$) のシーンとカメラのポーズのマルチビュー画像が与えられた場合,ターゲットカメラのポーズからビューを予測する。多くの先行アプローチでは、拡散モデルによって符号化された生成画像の先行値を利用する。しかし、単一の画像で訓練されたモデルには、多視点の知識が欠けている。ビデオモデルには暗黙的なマルチビューの知識がすでに含まれており、NVSに適応しやすいはずだ、と我々は主張する。我々の重要な洞察は、低フレームレートビデオ補完タスクとしてスパースNVSを定式化することである。しかしながら、1つの課題は、スパース NVS が順序のない入力セット上で定義され、しばしば意味のある順序を許容するにはスパースすぎるため、その入力セットの置換に対して $\textit{invariant}$ でなければならないことである。この目的のために、フレームごとのラテント符号化や時間的位置埋め込みの除去など、いくつかのアーキテクチャ変更により、ビデオモデル(自然にコヒーレントフレーム順序で訓練された)を置換不変NVSに適応させるFrameCrafterを提案する。この結果から,ビデオモデルは最小限の監督で時間とともに「忘れられる」ように容易に訓練でき,スパースビューのNVSベンチマーク上での競争性能が向上することが示唆された。プロジェクトページ: https://frame-crafter.github.io/

論文の概要: Novel View Synthesis as Video Completion

関連論文リスト