論文の概要: IRIS: Implicit Rendering Matters for Pose-Free Novel View Synthesis
- arxiv url: http://arxiv.org/abs/2609.18034v1
- Date: Wed, 16 Sep 2026 02:35:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.612594
- Title: IRIS: Implicit Rendering Matters for Pose-Free Novel View Synthesis
- Title(参考訳): IRIS: Pose-free Novel View 合成のための暗黙のレンダリング
- Abstract要約: IRISは、このシーンを潜在神経野として表現し、このフィールドを自己予測カメラでクエリすることで、新しいビューを描画する。
IRISは、完全自己教師付き学習の下で、競争力のあるポーズ精度で、強力な新規なビュー合成品質を実現する。
- 参考スコア(独自算出の注目度): 21.0991525279
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Novel view synthesis from unposed multi-view images remains challenging, as the model must jointly learn scene representations and camera parameters without pose supervision. Existing approaches largely fall into two extremes: implicit latent-space rendering is flexible and easy to optimize, but often yields weakly grounded camera estimation; explicit 3D representations provide stronger geometric grounding, but introduce heavier parameterization and more fragile optimization. In this paper, we present IRIS, a fully self-supervised framework that provides a practical middle ground between these two paradigms. Instead of decoding free latent tokens or reconstructing fully explicit 3D primitives, IRIS represents the scene as a latent neural field and renders novel views by querying this field under self-predicted cameras. Specifically, projected features from reference views are aggregated at sampled 3D points to form point-wise latent features, which are then composed along target rays for rendering. This design preserves the flexibility and optimization stability of implicit modeling, while introducing stronger geometric structure than unconstrained latent rendering. Extensive experiments show that IRIS achieves strong novel view synthesis quality with competitive pose accuracy under fully self-supervised learning. Our project page: https://leo-frank.github.io/IRIS
- Abstract(参考訳): モデルがシーン表現とカメラパラメータを協調的に学習しなければならないため,未提示のマルチビュー画像からの新しいビュー合成は依然として困難である。
既存のアプローチは、主に2つの極端に該当する:暗黙の潜在空間レンダリングは柔軟で、最適化が容易であるが、しばしば弱接地カメラ推定をもたらす;明示的な3D表現はより強力な幾何学的接地を提供するが、より重いパラメータ化とより脆弱な最適化をもたらす。
本稿では,この2つのパラダイムの中間となる実践的な基盤を提供する,完全自己管理型フレームワークIRISを提案する。
IRISは、自由な潜伏トークンをデコードしたり、完全に明示的な3Dプリミティブを再構築する代わりに、このシーンを潜伏するニューラルネットワークとして表現し、このフィールドを自己予測カメラでクエリすることで、新しいビューをレンダリングする。
具体的には、参照ビューから投影された特徴をサンプリングされた3Dポイントに集約し、ポイント方向の遅延特徴を生成し、レンダリングのためにターゲット線に沿って構成する。
この設計は暗黙的モデリングの柔軟性と最適化の安定性を保ちつつ、制約のない潜在レンダリングよりも強力な幾何学的構造を導入している。
総合的な実験により、IRISは、完全自己教師付き学習の下で、競争力のあるポーズ精度で、強力な新規なビュー合成品質を達成することが示された。
プロジェクトページ:https://leo-frank.github.io/IRIS
関連論文リスト
- InvSplat: Inverse Feed-Forward Scene Splatting [27.461734130974097]
逆レンダリングは、画像から3次元幾何学と物理的に意味のある材料特性の両方を復元することを目的としている。
逆レンダリングのためのフィードフォワード多視点再構成フレームワークを提案する。
本モデルは,素材推定ネットワークの先行情報を多視点3D再構成バックボーンと統合する。
論文 参考訳(メタデータ) (2026-07-02T15:18:08Z) - Stepper: Stepwise Immersive Scene Generation with Multiview Panoramas [101.58587238272462]
テキスト駆動型没入型3Dシーン合成のための統合フレームワークであるStepperを提案する。
Stepperは新しい大規模なマルチビューパノラマデータセットでトレーニングされている。
最先端の忠実さと構造的な一貫性を実現し、以前のアプローチよりも優れています。
論文 参考訳(メタデータ) (2026-03-30T20:26:28Z) - From Rays to Projections: Better Inputs for Feed-Forward View Synthesis [26.130973137744018]
フィードフォワードビュー合成モデルは、最小3次元誘導バイアスを持つ単一のパスで新しいビューを予測する。
既存の作業はカメラをシャーカー線マップとしてエンコードし、予測を任意の世界座標ゲージに結び付け、小さなカメラ変換に敏感にする。
本稿では,プロジェクティブ・コンディショニングを提案する。プロジェクティブ・コンディショニングは,プロジェクティブ・コンディショニングのパラメータを,安定な2次元入力を提供するターゲットビュー・プロジェクティブ・キューに置き換える。
論文 参考訳(メタデータ) (2026-01-08T17:03:44Z) - UMAMI: Unifying Masked Autoregressive Models and Deterministic Rendering for View Synthesis [28.245380116188883]
新たなビュー合成(NVS)は、シーンの写実的で3D一貫性のある画像を、未確認のカメラのポーズからレンダリングすることを目的としている。
既存の決定論的ネットワークは、観測された領域を素早くレンダリングするが、観測されていない領域をぼかす。
両パラダイムの長所を統一するハイブリッドフレームワークを提案する。双方向トランスフォーマーは多視点画像トークンとプルッカー線埋め込みを符号化し、共有潜在表現を生成する。
論文 参考訳(メタデータ) (2025-12-23T07:08:00Z) - Recollection from Pensieve: Novel View Synthesis via Learning from Uncalibrated Videos [36.49978976710115]
本稿では、生のビデオフレームや多視点画像のみからビュー合成モデルを訓練するための新しい2段階戦略を提案する。
第1段階では、明示的な3D表現に頼ることなく、潜在空間で暗黙的にシーンを再構築することを学ぶ。
学習した潜入カメラと暗黙のシーン表現は、実世界と比較すると大きなギャップがある。
論文 参考訳(メタデータ) (2025-05-19T17:59:05Z) - FLARE: Feed-forward Geometry, Appearance and Camera Estimation from Uncalibrated Sparse Views [100.45129752375658]
FLAREは、高品質カメラのポーズと3次元幾何を、補正されていないスパースビュー画像から推定するために設計されたフィードフォワードモデルである。
本ソリューションでは,3次元構造を2次元画像平面にマッピングする上で,カメラポーズが重要なブリッジとして機能するケースケード学習パラダイムを特徴とする。
論文 参考訳(メタデータ) (2025-02-17T18:54:05Z) - FreeSplatter: Pose-free Gaussian Splatting for Sparse-view 3D Reconstruction [69.63414788486578]
FreeSplatterはスケーラブルなフィードフォワードフレームワークで、キャリブレーションされていないスパースビュー画像から高品質な3Dガウシアンを生成する。
当社のアプローチでは,自己注意ブロックが情報交換を容易にする合理化トランスフォーマーアーキテクチャを採用している。
包括的データセットに基づいて,オブジェクト中心とシーンレベルの再構築のための2つの特殊な変種を開発する。
論文 参考訳(メタデータ) (2024-12-12T18:52:53Z) - Hybrid bundle-adjusting 3D Gaussians for view consistent rendering with pose optimization [2.8990883469500286]
本稿では,ポーズ最適化によるビュー一貫性レンダリングを実現するハイブリッドなバンドル調整3Dガウスモデルを提案する。
このモデルは、画像ベースとニューラルな3D表現を共同で抽出し、前方のシーン内でビュー一貫性のある画像とカメラのポーズを同時に生成する。
論文 参考訳(メタデータ) (2024-10-17T07:13:00Z) - Shape, Pose, and Appearance from a Single Image via Bootstrapped
Radiance Field Inversion [54.151979979158085]
提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。
そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。
当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
論文 参考訳(メタデータ) (2022-11-21T17:42:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。