論文の概要: True Self-Supervised Novel View Synthesis is Transferable

• arxiv url: http://arxiv.org/abs/2510.13063v1
• Date: Wed, 15 Oct 2025 01:09:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 20:13:28.459624
• Title: True Self-Supervised Novel View Synthesis is Transferable
• Title（参考訳）: 真の自己監督型新規ビュー合成は転送可能である
• Authors: Thomas W. Mitchel, Hyunwoo Ryu, Vincent Sitzmann,
• Abstract要約: 我々は、真の新規ビュー合成(NVS)が可能な最初の幾何学自由自己教師型モデルXFactorを提示する。 XFactor は3次元帰納的バイアスやマルチビュー幾何学の概念を伴わずに、制約のない潜在ポーズ変数で転送可能であることを示す。
• 参考スコア（独自算出の注目度）: 15.923467543990553
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we identify that the key criterion for determining whether a model is truly capable of novel view synthesis (NVS) is transferability: Whether any pose representation extracted from one video sequence can be used to re-render the same camera trajectory in another. We analyze prior work on self-supervised NVS and find that their predicted poses do not transfer: The same set of poses lead to different camera trajectories in different 3D scenes. Here, we present XFactor, the first geometry-free self-supervised model capable of true NVS. XFactor combines pair-wise pose estimation with a simple augmentation scheme of the inputs and outputs that jointly enables disentangling camera pose from scene content and facilitates geometric reasoning. Remarkably, we show that XFactor achieves transferability with unconstrained latent pose variables, without any 3D inductive biases or concepts from multi-view geometry -- such as an explicit parameterization of poses as elements of SE(3). We introduce a new metric to quantify transferability, and through large-scale experiments, we demonstrate that XFactor significantly outperforms prior pose-free NVS transformers, and show that latent poses are highly correlated with real-world poses through probing experiments.
• Abstract（参考訳）: 本稿では,モデルが真に新しいビュー合成(NVS)が可能なかどうかを決定するための重要な基準が伝達性であることを示す。 我々は、自己監督型NVSの以前の作業を分析し、予測されたポーズが転送されないことを発見した: 同じポーズのセットは、異なる3Dシーンで異なるカメラ軌道に導かれる。 ここでは、真のNVSが可能な最初の幾何学自由自己教師型モデルであるXFactorを紹介する。 XFactorは、ペアワイズポーズ推定と入力と出力の単純な拡張スキームを組み合わせることで、シーンコンテンツから切り離されたカメラポーズを共同で可能にし、幾何学的推論を容易にする。 注目すべきことに、XFactorは、SE(3)の要素としてポーズの明示的なパラメータ化のような、多視点幾何学からの3次元帰納的バイアスや概念を伴わずに、制約のないポーズ変数で転送可能であることを示す。 我々は、転送可能性の定量化のための新しい指標を導入し、大規模な実験を通じて、XFactorは、ポーズのないNVSトランスフォーマーよりも著しく優れており、潜伏ポーズは、探索実験を通して現実世界のポーズと高い相関があることを実証した。

関連論文リスト

• MultiDiff: Consistent Novel View Synthesis from a Single Image [60.04215655745264]
  MultiDiffは、単一のRGB画像からシーンを一貫した新しいビュー合成のための新しいアプローチである。 以上の結果から,MultiDiffは,課題の多いリアルタイムデータセットであるRealEstate10KとScanNetにおいて,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-26T17:53:51Z)
• S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
  外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。 本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-22T11:40:49Z)
• DiffPortrait3D: Controllable Diffusion for Zero-Shot Portrait View Synthesis [18.64688172651478]
  本稿では,DiffPortrait3Dについて述べる。DiffPortrait3Dは,3次元一貫性のあるフォトリアリスティック・ノベルビューを合成できる条件拡散モデルである。 一つのRGB入力が与えられた場合、我々は、新しいカメラビューから表現された、可塑性だが一貫した顔の詳細を合成することを目指している。 我々は、我々の挑戦的インザワイルドとマルチビューのベンチマークにおいて、質的にも定量的にも、最先端の結果を実証する。
  論文  参考訳（メタデータ） (2023-12-20T13:31:11Z)
• Pose-Free Generalizable Rendering Transformer [72.47072706742065]
  PF-GRTは、Generalizable Rendering Transformer用のPose-Freeフレームワークである。 PF-GRTは局所相対座標系を用いてパラメータ化される。 データセットのゼロショットレンダリングによる実験では、フォトリアリスティック画像の生成において、優れた品質が得られることが明らかになった。
  論文  参考訳（メタデータ） (2023-10-05T17:24:36Z)
• Long-Term Photometric Consistent Novel View Synthesis with Diffusion Models [24.301334966272297]
  本稿では,特定のカメラ軌跡に整合したフォトリアリスティックな画像列を生成できる新しい生成モデルを提案する。 生成したビューのシーケンス上の一貫性を測定するために、新しい計量、しきい値付き対称極性距離(TSED)を導入する。
  論文  参考訳（メタデータ） (2023-04-21T02:01:02Z)
• Zero-1-to-3: Zero-shot One Image to 3D Object [30.455300183998247]
  単一のRGB画像のみを与えられたオブジェクトのカメラ視点を変更するためのフレームワークであるZero-1-to-3を紹介する。 条件拡散モデルは、合成データセットを用いて、相対カメラ視点の制御を学習する。 提案手法は,インターネット規模の事前学習を活用して,最先端の1次元3次元再構成と新しいビュー合成モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-03-20T17:59:50Z)
• Non-Local Latent Relation Distillation for Self-Adaptive 3D Human Pose Estimation [63.199549837604444]
  3次元ポーズ推定アプローチは、強い(2D/3Dポーズ)または弱い(複数ビューまたは深さ)ペアによる監督の異なる形態を利用する。 我々は3Dポーズ学習を,ラベル付きソースドメインから完全に損なわれないターゲットへのタスク知識の転送を目的とした,自己指導型適応問題として捉えた。 我々は、異なる自己適応設定を評価し、標準ベンチマークで最先端の3Dポーズ推定性能を示す。
  論文  参考訳（メタデータ） (2022-04-05T03:52:57Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。