論文の概要: PE-Field 4D: Video Generation Models as Canvas

• arxiv url: http://arxiv.org/abs/2607.15667v1
• Date: Fri, 17 Jul 2026 06:22:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 17:56:52.772808
• Title: PE-Field 4D: Video Generation Models as Canvas
• Title（参考訳）: PE-Field 4D:Canvasとしてのビデオ生成モデル
• Abstract要約: ビデオ拡散変換器における位置符号化は、幾何認識制御に有用な空間バイアスを与えることを示す。 本稿では,テクスチャ対応のクロスアテンション機構を導入し,構造化されたコンテキストトークンに対象映像の潜在トークンを参加させることができる。 結果として得られるフレームワークは、制御可能なビデオ生成のためのシンプルで効果的なアプローチを提供する。
• 参考スコア（独自算出の注目度）: 44.0217294710719
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion Transformers have recently achieved strong performance in video generation, yet controlling scene geometry under viewpoint changes and camera motion remains challenging. In this work, we revisit the role of positional encoding in video diffusion transformers and show that it provides a useful spatial bias for geometry-aware control. Specifically, if reference tokens are encoded according to their projected locations in the target view, the denoising model is encouraged to retrieve content from position aligned regions of the input video. Building on this observation, we introduce a geometry-aware cross-attention mechanism that enables target video latent tokens to attend to structured context tokens derived from reference images or frames. To establish correspondence between the reference content and the target camera trajectory, we equip the context tokens with a projected positional encoding scheme that combines target-view 2D reprojection with depth-aware disambiguation. At the same time, we preserve the original spatiotemporal positional encoding of the generated video latent, allowing geometric guidance to be injected while maintaining consistency with the video model's native latent structure. The resulting framework provides a simple and effective approach for controllable video generation. It improves spatial controllability in viewpoint-dependent editing tasks, including camera re-trajectory, novel-view video synthesis, and geometry-aware video editing, while preserving the generative prior of the underlying video diffusion model. The code is available at: https://github.com/MTLab/PE-Field.
• Abstract（参考訳）: 拡散変換器は近年,映像生成において高い性能を達成しているが,視点変化によるシーン形状の制御やカメラモーションの制御は依然として困難である。 本研究では,ビデオ拡散変換器における位置符号化の役割を再考し,幾何学的認識制御に有用な空間バイアスを提供することを示す。 具体的には、ターゲットビュー内の投影された位置に応じて参照トークンが符号化された場合、デノナイジングモデルは、入力ビデオの位置整列領域からコンテンツを取得することを推奨する。 そこで本研究では,画像やフレームから抽出した構造化されたコンテキストトークンに,対象とするビデオ潜在トークンを参加させる,幾何認識型クロスアテンション機構を提案する。 参照コンテンツと対象カメラ軌跡の対応性を確立するため,ターゲットビュー2D再投影と深度認識の曖昧さを組み合わせた投影された位置符号化方式でコンテキストトークンを装備する。 同時に、生成したビデオラテントの時空間的位置符号化を元の時空間的に保持し、ビデオモデルのネイティブラテント構造との整合性を保ちながら幾何学的ガイダンスを注入する。 結果として得られるフレームワークは、制御可能なビデオ生成のためのシンプルで効果的なアプローチを提供する。 カメラ再軌跡、新規視点ビデオ合成、幾何対応ビデオ編集など、視点に依存した編集作業における空間的制御性を改善し、基礎となるビデオ拡散モデルの生成前の保存を行う。 コードは、https://github.com/MTLab/PE-Field.comで入手できる。

関連論文リスト

• RayPE: Ray-Space Positional Encoding for 3D-Aware Video Generation [43.253222907352146]
  RayPEは、位置エンコーディング拡張で、トークンごとの6D Plucker座標を、自己注意のクエリとキーに付加的に注入する。 結果として得られた注意スコアは、内容項、幾何学用語、および2つの内容と幾何学的相互項に分解される。
  論文  参考訳（メタデータ） (2026-06-25T17:51:02Z)
• Go-with-the-Track: Video Compositing and Motion Control with Point Tracking [50.22693773328114]
  フィルム製造は正確な動き制御と参照画像合成を要求する。 複数の参照画像と参照アンコレートされたポイントトラックを共同で条件付けすることで、両方の機能を統一するGo-with-the-Trackを提案する。 Go-with-the-Trackは単一のモデルで優れた動きと参照制御を実現する。
  論文  参考訳（メタデータ） (2026-06-18T19:40:03Z)
• CRePE: Curved Ray Expectation Positional Encoding for Unified-Camera-Controlled Video Generation [48.95338161181985]
  カメラコンディショニング映像生成のためのレイ期待位置制御(CrePE)を提案する。 CREPEは、各画像トークンをソース線に沿った奥行き認識位置分布として表現し、広角カメラや魚眼カメラによって誘導される投影された経路形状を捉えている。 デザインは、より安定したカメラコントロールをもたらし、幾何認識と知覚品質のメトリクスを改善します。
  論文  参考訳（メタデータ） (2026-05-13T03:18:26Z)
• Motion-Aware Concept Alignment for Consistent Video Editing [57.08108545219043]
  MoCA-Video (Motion-Aware Concept Alignment in Video) は、画像ドメインのセマンティックミキシングとビデオのギャップを埋めるトレーニング不要のフレームワークである。 生成されたビデオとユーザが提供した参照画像が与えられた後、MoCA-Videoは参照画像のセマンティックな特徴をビデオ内の特定のオブジェクトに注入する。 我々は、標準SSIM、画像レベルLPIPS、時間LPIPSを用いてMoCAの性能を評価し、新しいメトリクスCASS(Conceptual Alignment Shift Score)を導入し、ソースプロンプトと修正ビデオフレーム間の視覚的シフトの一貫性と有効性を評価する。
  論文  参考訳（メタデータ） (2025-06-01T13:28:04Z)
• BlobGEN-Vid: Compositional Text-to-Video Generation with Blob Video Representations [82.94002870060045]
  既存のビデオ生成モデルは、複雑なテキストプロンプトに従い、複数のオブジェクトを合成するのに苦労する。 我々は,BlobGEN-Vidというブロブグラウンドビデオ拡散モデルを開発し,ユーザがオブジェクトの動きを制御し,細かいオブジェクトの外観を制御できるようにする。 U-NetとDiTをベースとした動画拡散モデルに基づいてBlobGEN-Vidを構築する。
  論文  参考訳（メタデータ） (2025-01-13T19:17:06Z)
• CoDeF: Content Deformation Fields for Temporally Consistent Video Processing [86.25225894085105]
  CoDeFは、標準コンテンツフィールドと時間変形フィールドからなる新しいタイプのビデオ表現である。 実験により,CoDeFは,映像から映像への変換とキーポイント検出をキーポイントトラッキングに,トレーニングなしで持ち上げることができることを示した。
  論文  参考訳（メタデータ） (2023-08-15T17:59:56Z)
• Track Targets by Dense Spatio-Temporal Position Encoding [27.06820571703848]
  変換器を用いた動画における目標追跡のための目標位置を符号化する新しいパラダイムを提案する。 提案した符号化位置は、外観マッチングを超えたフレーム間のターゲットを関連付ける位置情報を提供する。 提案する特徴ベクトルの代わりに2次元CNN機能に符号化を適用し,位置情報の喪失を回避する。
  論文  参考訳（メタデータ） (2022-10-17T22:04:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。