Fugu-MT 論文翻訳(概要): RayPE: Ray-Space Positional Encoding for 3D-Aware Video Generation

論文の概要: RayPE: Ray-Space Positional Encoding for 3D-Aware Video Generation

arxiv url: http://arxiv.org/abs/2606.27345v2
Date: Fri, 26 Jun 2026 06:30:48 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-29 13:57:07.343916
Title: RayPE: Ray-Space Positional Encoding for 3D-Aware Video Generation
Title（参考訳）: RayPE:3Dビデオ生成のための光空間位置符号化
Abstract要約: RayPEは、位置エンコーディング拡張で、トークンごとの6D Plucker座標を、自己注意のクエリとキーに付加的に注入する。結果として得られた注意スコアは、内容項、幾何学用語、および2つの内容と幾何学的相互項に分解される。
参考スコア（独自算出の注目度）: 43.253222907352146
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Modern video diffusion transformers position their tokens through RoPE on the (u,v,t) axes -- a description of the camera's sampling grid that says nothing about the 3D structure of the scene. We observe that the geometric relation between two camera rays is captured by the Plucker reciprocal product, which is bilinear in the two rays -- the same algebraic form as the dot product in Transformer attention. Building on this analogy, we propose RayPE, a positional-encoding extension that injects per-token 6D Plucker coordinates additively into the queries and keys of self-attention, with a query/key flip arrangement under which the symmetric identity configuration coincides exactly with the reciprocal product. The injection is additive, the resulting attention score decomposes into a content term, a geometry term, and two content and geometry cross-terms -- all of which our experiments find individually necessary. To make the encoding stable across video data with heterogeneous camera-translation scales (SfM, deep SLAM, metric), we further decouple ray direction from moment magnitude, gate the encoding by a learned function of the log-magnitude, and apply RMSNorm to align it with the QKNorm-normalized content branch. The full module adds less than 0.1% parameters to a pretrained video DiT, is zero-initialized to start from the pretrained weights, and improves camera controllability, cross-frame 3D consistency, and overall video quality on a four-dataset training mixture.
Abstract（参考訳）: 現代のビデオ拡散トランスフォーマーは、(u,v,t)軸上のRoPEを通して、シーンの3次元構造について何も述べていないカメラのサンプリンググリッドを記述する。この2つのカメラ線間の幾何学的関係は、2つの光線の双線型であるプルッカー逆積によって捉えられる。これはトランスフォーマーの注目のドット積と同じ代数的形式である。この類似性に基づいて、位置符号化拡張であるRayPEを提案する。これは、単語ごとのPlucker座標を自己アテンションのクエリとキーに付加的に注入し、対称ID構成が相互積と正確に一致するようなクエリ/キーフリップアレンジメントを持つ。注入は加法的であり、結果として得られた注意スコアは、内容項、幾何学用語、および2つの内容および幾何学的相互項に分解される。不均一なカメラ翻訳スケール(SfM,ディープSLAM,メトリック)で動画データ間の符号化を安定させるため、光線方向をモーメントからさらに切り離し、ログマグニチュードの学習関数で符号化をゲートし、RMSNormを適用してQKNorm正規化コンテンツブランチと整合させる。フルモジュールは、事前トレーニングされたビデオDiTに0.1%未満のパラメータを追加し、事前トレーニングされた重みから始めるようにゼロ初期化され、カメラ制御性、クロスフレーム3D一貫性、および4セットのトレーニングミックスによる全体的なビデオ品質を改善する。

関連論文リスト

PE-Field 4D: Video Generation Models as Canvas [44.0217294710719]
ビデオ拡散変換器における位置符号化は、幾何認識制御に有用な空間バイアスを与えることを示す。本稿では,テクスチャ対応のクロスアテンション機構を導入し,構造化されたコンテキストトークンに対象映像の潜在トークンを参加させることができる。結果として得られるフレームワークは、制御可能なビデオ生成のためのシンプルで効果的なアプローチを提供する。
論文参考訳（メタデータ） (2026-07-17T06:22:14Z)
CRePE: Curved Ray Expectation Positional Encoding for Unified-Camera-Controlled Video Generation [48.95338161181985]
カメラコンディショニング映像生成のためのレイ期待位置制御(CrePE)を提案する。 CREPEは、各画像トークンをソース線に沿った奥行き認識位置分布として表現し、広角カメラや魚眼カメラによって誘導される投影された経路形状を捉えている。デザインは、より安定したカメラコントロールをもたらし、幾何認識と知覚品質のメトリクスを改善します。
論文参考訳（メタデータ） (2026-05-13T03:18:26Z)
URoPE: Universal Relative Position Embedding across Geometric Spaces [55.651792747815854]
URoPEは回転位置埋め込み(Rotary Position Embedding, RoPE)の普遍的な拡張である。キー/値の画像パッチごとに、URoPEは事前に定義された奥行きアンカーで対応するカメラ線に沿って3Dポイントをサンプリングする。標準2D RoPEは、投影されたピクセル座標を用いて適用することができる。
論文参考訳（メタデータ） (2026-04-20T18:52:03Z)
SceneScribe-1M: A Large-Scale Video Dataset with Comprehensive Geometric and Semantic Annotations [88.8747004592363]
SceneScribe-1Mは新しい大規模多時間ビデオデータセットである。そこには100万本のビデオが含まれており、それぞれに詳細なテキスト記述、正確なパラメータ、深度マップ、一貫性のある3Dポイントトラックなどが含まれている。 SceneScribe-1Mの汎用性と価値は、単眼深度推定、シーン再構成動的点追跡、テキスト・ビデオ合成などの生成タスク、カメラ制御の有無にかかわらず、幅広い下流タスクのベンチマークを確立することで示される。
論文参考訳（メタデータ） (2026-04-09T08:59:33Z)
RayRoPE: Projective Ray Positional Encoding for Multi-view Attention [46.94549341989407]
入力画像の集合からトークンを処理する多視点変換器の位置符号化について検討する。我々は、パッチを一意に符号化し、SE(3)不変の注意を多周波数類似性で許容し、基礎となるシーンの幾何学に適応できるメカニズムを模索する。 RayRoPEは、関連する光線に基づいてパッチ位置を表すが、幾何認識符号化のための方向ではなく、線に沿って予測された点を利用する。
論文参考訳（メタデータ） (2026-01-21T18:55:51Z)
3DPCNet: Pose Canonicalization for Robust Viewpoint-Invariant 3D Kinematic Analysis from Monocular RGB cameras [7.906702226082628]
3DPCNetは3Dジョイント座標で直接動作するコンパクトな推定器に依存しないモジュールである。本手法は,地中構造IMUセンサデータと強い視覚的対応を示すビデオから加速度信号を生成する。
論文参考訳（メタデータ） (2025-09-27T18:55:21Z)
Cameras as Relative Positional Encoding [37.675563572777136]
マルチビュートランスは3次元空間で視覚トークンを接地するためにカメラジオメトリを使用する必要がある。フィードフォワード新規ビュー合成における相対カメラコンディショニングによる性能向上効果を示す。次に、これらの利点が様々なタスク、ステレオ深度推定、識別的認知、およびより大きなモデルサイズに持続していることを検証する。
論文参考訳（メタデータ） (2025-07-14T17:22:45Z)
DiffusionSfM: Predicting Structure and Motion via Ray Origin and Endpoint Diffusion [53.70278210626701]
マルチビュー画像から3次元シーン形状とカメラポーズを直接推定するデータ駆動型マルチビュー推論手法を提案する。我々のフレームワークであるDiffusionSfMは、シーン幾何学とカメラを、グローバルフレーム内のピクセルワイズ線源とエンドポイントとしてパラメータ化します。我々は、DiffusionSfMを合成データセットと実データセットの両方で実証的に検証し、古典的および学習ベースのアプローチよりも優れていることを示す。
論文参考訳（メタデータ） (2025-05-08T17:59:47Z)
Coca-Splat: Collaborative Optimization for Camera Parameters and 3D Gaussians [26.3996055215988]
Coca-Splatは、スパースビューのポーズレスシーン再構築と新規ビュー合成(NVS)の課題に対処する新しいアプローチである変形検出TRansformerにインスパイアされ、3次元ガウスおよびカメラパラメータの別クエリを設計する。変形可能なトランスフォーマー層を通じて層ごとにレイヤを更新し、単一のネットワークで共同最適化を可能にする。
論文参考訳（メタデータ） (2025-04-01T10:48:46Z)
AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。 3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
論文参考訳（メタデータ） (2023-07-07T17:59:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。