論文の概要: LEGO: A Lifting-Free Approach for Exocentric-to-Egocentric Video Generation

• arxiv url: http://arxiv.org/abs/2610.12442v1
• Date: Thu, 08 Oct 2026 17:58:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.259439
• Title: LEGO: A Lifting-Free Approach for Exocentric-to-Egocentric Video Generation
• Title（参考訳）: LEGO:エコセントリックからエコセントリックなビデオ生成のための自由なアプローチ
• Abstract要約: 現在の方法では、深さを推定し、ビデオを点雲に上げ、エゴセントリックカメラから再レンダリングしてビデオ拡散モデルを条件にすることで、シーンを明示的に再構築する。 深度・点雲・再投射を伴わずに自我中心のビューを直接描画するLVSM型トランスフォーマーである学習ビューシンセサイザーを提案する。 我々のアプローチは、最先端の明示的なパイプラインを一貫して上回り、再トレーニングせずに他のデータセットに一般化します。
• 参考スコア（独自算出の注目度）: 12.814713098567092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating an egocentric video from a single exocentric recording is a challenging case of novel view synthesis, as the two cameras share little overlap and much of the target view is unobserved. Current state-of-the-art methods reconstruct the scene explicitly by estimating depth, lifting the video into a point cloud, and re-rendering it from the egocentric camera to condition a video diffusion model. This deterministic mapping assigns each pixel to a single reprojected location, which preserves texture but translates depth errors into misplaced content. We ask what a video diffusion model should receive as its condition and propose a lifting-free answer: a learned view synthesizer, an LVSM-style transformer fine-tuned to render the egocentric view directly without depth, point clouds, or reprojection, resolving cross-view correspondence internally. In contrast, its probabilistic mapping averages each region over candidate source locations according to a learned correspondence distribution, preserving structure while fine texture is averaged away. We argue that this trade-off suits a diffusion generator, whose denoising training excels at restoring detail, so an effective condition should prioritize structural alignment over sharpness. This distribution's concentration also yields a per-region confidence, used both to mask low-confidence regions and to guide the generator toward high-confidence areas during early layout-forming denoising steps. Our approach consistently outperforms the state-of-the-art explicit pipeline and generalizes to other datasets without retraining. The synthesizer thus supplies view structure, and the diffusion model its detail.
• Abstract（参考訳）: 2つのカメラは重なり合いがほとんどなく、対象のビューの多くは観測されていないため、単一のエゴセントリックな録音からエゴセントリックなビデオを生成することは、新しいビュー合成の難しいケースである。 現在の最先端の手法は、深さを推定し、ビデオを点雲に上げ、エゴセントリックカメラから再レンダリングしてビデオ拡散モデルを条件にすることで、シーンを明示的に再構築する。 この決定論的マッピングは、各ピクセルを1つの再投影された場所に割り当て、テクスチャを保存するが、深さ誤差を誤った内容に変換する。 学習されたビューシンセサイザー、LVSMスタイルのトランスフォーマーで、深度、点雲、再投影なしに自我中心のビューを直接描画し、内部的にクロスビュー対応を解消する。 対照的に、その確率的マッピングは、学習された対応分布に従って、候補ソース位置上の各領域を平均化し、微細なテクスチャを平均化しながら構造を保存する。 このトレードオフは拡散発生器に似ており, ディテールの復元に優れており, 有効条件は鋭さよりも構造的アライメントを優先すべきである。 この分布の濃度は、低信頼領域を隠蔽し、初期のレイアウト形成段階において、発電機を高信頼領域へ誘導するために使われる領域ごとの信頼性ももたらされる。 我々のアプローチは、最先端の明示的なパイプラインを一貫して上回り、再トレーニングせずに他のデータセットに一般化します。 これにより、シンセサイザーはビュー構造と拡散モデルの詳細を提供する。

関連論文リスト

• From Uncertainty to Determinism: Coarse-to-Fine Visual Floorplan Localization without Ray Matching [12.273420964874058]
  本稿では,不確実性から決定論へと進展する粗大な視覚的FLOCフレームワークを提案する。 改良段階において,候補中心の作物から有界なサブメーターの残差を予測できる局所精製器を提案する。 本手法は,オフラインマップ前処理やテストタイムのルックアップテーブルを必要とせずに,グローバルなマルチハイプセシストラッキングと局所サブメーター改善のバランスを効果的に行う。
  論文  参考訳（メタデータ） (2026-07-29T12:10:00Z)
• DisPOSE: Projected Polystochastic Diffusion for Self-Supervised Multi-View 3D Human Pose Estimation [58.47973015036709]
  DisPOSEは、本質的に離散的な多視点人物割り当て問題を近似する自己教師型フレームワークである。 特定可能なシンクホーン射影を用いることにより、本モデルは有効かつ実現可能な課題への解の導出を学ぶ。 提案手法は、標準データセット上での最先端の自己教師手法よりも優れている。
  論文  参考訳（メタデータ） (2026-06-05T16:14:39Z)
• Compositional Video Generation via Inference-Time Guidance [69.53614395025632]
  テキストからビデオへの拡散モデルは、しばしば構成的理解を必要とするプロンプトで失敗する。 凍結したテキスト・ビデオモデルにおける合成忠実度を改善するための推定時間誘導法であるtextbfCVG を提案する。
  論文  参考訳（メタデータ） (2026-05-14T15:50:25Z)
• Sparse-to-Complete: From Sparse Image Captures to Complete 3D Scenes [32.47917212506622]
  S2C-3Dは、6枚から8枚までの高忠実で完全なシーン再構築のための新しいスパースビュー3D再構成フレームワークである。 本フレームワークは,シーン固有の画像復元のための特殊拡散モデル,トレーニング不要なビューコンディスタンス条件付きサンプリングプロセス,カメラ軌道計画スキームの3つのコンポーネントを特徴とする。
  論文  参考訳（メタデータ） (2026-05-07T04:41:30Z)
• Reshoot-Anything: A Self-Supervised Model for In-the-Wild Video Reshooting [3.1328424544428852]
  インターネット規模のモノクロビデオを活用するためのフレームワークを構築した。 私たちのコアコントリビューションは、ソースビデオ、幾何アンカー、ターゲットビデオからなる擬似多視点トレーニング三脚の生成です。 提案する拡散変圧器は4Dポイントクラウド誘導アンカーを用いて,最先端の時間的整合性を実現する。
  論文  参考訳（メタデータ） (2026-04-23T15:32:56Z)
• DVD: Deterministic Video Depth Estimation with Generative Priors [87.46576463137801]
  DVDは、事前訓練されたビデオ拡散モデルをシングルパス深度回帰器に適応させる最初のフレームワークである。 DVDは、最先端のゼロショットのパフォーマンスをベンチマークで達成する。 私たちはパイプラインを完全にリリースし、オープンソースコミュニティに利益をもたらすために、SOTAビデオ深度推定のためのトレーニングスイート全体を提供しています。
  論文  参考訳（メタデータ） (2026-03-12T17:58:06Z)
• CloseUpShot: Close-up Novel View Synthesis from Sparse-views via Point-conditioned Diffusion Model [50.93869080795228]
  3Dシーンを再構築し、スパースインプットビューから新しいビューを合成することは、非常に難しい作業である。 ビデオ拡散モデルの最近の進歩は、強い時間的推論能力を示している。 点条件付きビデオ拡散によるスパース入力からのクローズアップ新規ビュー合成のための拡散に基づくフレームワークであるCloseUpShotを提案する。
  論文  参考訳（メタデータ） (2025-11-17T08:20:06Z)
• Decompositional Neural Scene Reconstruction with Generative Diffusion Prior [64.71091831762214]
  完全な形状と詳細なテクスチャを持つ3次元シーンの分解的再構成は、下流の応用に興味深い。 近年のアプローチでは、この問題に対処するために意味的あるいは幾何学的正則化が取り入れられているが、制約の少ない領域では著しく劣化している。 本稿では,SDS(Score Distillation Sampling)の形で拡散先行値を用いたDP-Reconを提案し,新しい視点下で個々の物体の神経表現を最適化する。
  論文  参考訳（メタデータ） (2025-03-19T02:11:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。