論文の概要: RayDer: Scalable Self-Supervised Novel View Synthesis from Real-World Video

• arxiv url: http://arxiv.org/abs/2605.31535v1
• Date: Fri, 29 May 2026 16:50:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.760589
• Title: RayDer: Scalable Self-Supervised Novel View Synthesis from Real-World Video
• Title（参考訳）: RayDer: リアルタイムビデオによるスケーラブルな自己スーパービジョンによる新しいビュー合成
• Abstract要約: RayDerは、カメラ推定、シーン再構築、レンダリングを単一のバックボーンに統合するフィードフォワードトランスフォーマーだ。 ニュアンス因子として扱われる最小の動的状態は、時間変化のあるコンテンツを吸収し、現実世界のビデオの安定したトレーニングを可能にする。 RayDerは、データと計算によるクリーンなパワーロースケーリングを示し、静的なシーンデータの混合よりも優れています。
• 参考スコア（独自算出の注目度）: 24.21520175195074
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised novel view synthesis (NVS) remains challenging to scale, despite the abundance of video data, largely due to the brittleness of training on realistic videos and the hard-to-predict scaling behavior of multi-network system designs. We introduce RayDer, a unified, feed-forward transformer that consolidates camera estimation, scene reconstruction, and rendering into a single backbone, turning self-supervised NVS into a well-posed single-model scaling problem. A minimal dynamic state, treated as a nuisance factor, absorbs time-varying content and enables stable training on unconstrained real-world video. Importantly, RayDer keeps static-scene NVS as its target task: dynamic content is leveraged purely as scalable supervision, not reconstructed as in dynamic-scene (4D) NVS. Across multiple model sizes and orders of magnitude in data, RayDer exhibits clean power-law scaling with data and compute, and outperforms static-scene data mixtures. On a large number of benchmarks, RayDer achieves strong zero-shot open-set performance competitive with state-of-the-art supervised approaches. Project Page: https://compvis.github.io/rayder
• Abstract（参考訳）: ビデオデータの豊富さにもかかわらず、自己監督型ノベルビュー合成(NVS)は、現実的なビデオのトレーニングの脆弱さと、マルチネットワークシステム設計のスケーリング動作の予測が難しいため、スケールすることが依然として困難である。 我々は、カメラ推定、シーン再構成、レンダリングを単一のバックボーンに集約するフィードフォワードトランスフォーマーであるRayDerを導入し、自己教師型NVSを優れた単一モデルスケーリング問題に変換する。 ニュアンス因子として扱われる最小の動的状態は、時間的変化のあるコンテンツを吸収し、制約のない現実世界のビデオの安定したトレーニングを可能にする。 動的コンテンツは、動的シーン(4D)のNVSのように再構成されず、スケーラブルな監視として純粋に活用される。 複数のモデルサイズとデータの桁数にまたがって、RayDerはデータと計算によるクリーンなパワーロースケーリングを示し、静的なシーンデータの混合よりも優れています。 多数のベンチマークにおいて、RayDerは最先端の教師付きアプローチと競合する強力なゼロショットオープンセットのパフォーマンスを達成する。 Project Page: https://compvis.github.io/rayder

関連論文リスト

• Render, Don't Decode: Weight-Space World Models with Latent Structural Disentanglement [2.931556701508956]
  補助座標に基づく暗黙的ニューラル表現(INR)の重みとバイアスとしてシステム状態を表す世界モデリングフレームワークNOVAを紹介する。 この構造化された表現は解析的にレンダリングされ、コンパクト性、可搬性、ゼロショット超解像を参照しながらデコーダのボトルネックを解消する。 当社のフレームワークは、いくつかの挑戦的なデータセット上で検証し、$sim$40Mパラメータで単一のコンシューマGPU上で運用しながら、強力な制御可能な予測を実現しています。
  論文  参考訳（メタデータ） (2026-05-07T14:02:00Z)
• FreeScale: Scaling 3D Scenes via Certainty-Aware Free-View Generation [75.74617373156902]
  FreeScaleは、限られた現実世界の画像シーケンスを、高品質なトレーニングデータのスケーラブルなソースに変換するフレームワークである。 フィードフォワードNVSモデルのトレーニングをスケールアップし,PSNRにおける2.7dBの顕著なゲインを達成することにより,FreeScaleの有効性を示す。 私たちの仕事は、3Dビジョンの根本的なボトルネックを克服するために、実用的で強力なデータ生成エンジンを提供します。
  論文  参考訳（メタデータ） (2026-04-12T08:00:53Z)
• WildRayZer: Self-supervised Large View Synthesis in Dynamic Environments [12.449699948290215]
  我々は、カメラとオブジェクトの両方が動く動的環境において、新しいビュー合成(NVS)のためのフレームワークであるWildRayZerを紹介する。 WildRayZerは、一貫したリージョン削除とフルフレームのNVS品質の両方において、最適化ベースとフィードフォワードベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-01-15T18:59:58Z)
• Feed-Forward Bullet-Time Reconstruction of Dynamic Scenes from Monocular Videos [110.3924779333809]
  動的シーンのリアルタイム再構成と新しいビュー合成のための,モーション対応フィードフォワードモデルであるBTimerを提案する。 提案手法は,すべてのコンテキストフレームから情報を集約することにより,所定の目標("bullet')タイムスタンプにおける3次元ガウススティング表現の全体像を再構成する。 カジュアルなモノクロのダイナミックビデオが与えられた後、BTimerは150ms以内の弾道時間シーンを再構築し、静的および動的両方のシーンデータセットで最先端のパフォーマンスに到達した。
  論文  参考訳（メタデータ） (2024-12-04T18:15:06Z)
• MegaScenes: Scene-Level View Synthesis at Scale [69.21293001231993]
  NVS (Scene-level novel view synthesis) は多くの視覚やグラフィックスの応用に基礎を置いている。 MegaScenesと呼ばれるインターネット写真コレクションから大規模なシーンレベルのデータセットを作成し、世界中の動き(SfM)から100K以上の構造を復元する。 我々は、最先端NVS手法の故障事例を分析し、生成一貫性を大幅に改善する。
  論文  参考訳（メタデータ） (2024-06-17T17:55:55Z)
• D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
  本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。 我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
  論文  参考訳（メタデータ） (2024-06-14T14:35:44Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
  Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。 一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-12-22T18:46:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。