論文の概要: WorldRoPE: Probabilistic World-Centric Rotary Embedding for Multi-View Attention
- arxiv url: http://arxiv.org/abs/2610.16337v1
- Date: Mon, 12 Oct 2026 07:56:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.33148
- Title: WorldRoPE: Probabilistic World-Centric Rotary Embedding for Multi-View Attention
- Title(参考訳): WorldRoPE: マルチビューアテンションのための確率的世界中心ロータリー埋め込み
- Abstract要約: RoPE(Rotary Positional Embedding)は、トランスフォーマーの相対的な位置を符号化するために広く使われている。
マルチビュー設定では、パッチ座標は各画像内で独立に定義される。
マルチビューアテンションのための世界中心のRoPEであるWorldRoPEを紹介する。
- 参考スコア(独自算出の注目度): 37.339633377994645
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Rotary Positional Embedding (RoPE) is widely used to encode relative positions in Transformers. In multi-view settings, however, patch coordinates are defined independently in each image: the same 3D point can therefore have different coordinates across views, making them insufficient for establishing cross-view correspondences. We introduce WorldRoPE, a probabilistic world-centric RoPE for multi-view attention. At each layer, WorldRoPE back-projects each patch token into a set of volumetric Gaussian primitives in a shared world frame. These primitives represent multiple plausible 3D supports for a token, jointly capturing alternative depth hypotheses, depth uncertainty, and the finite spatial extent of its patch frustum. When a key token's support is projected into a query view, it induces a distribution over where that key may appear in the query image. WorldRoPE integrates the rotary operator over this distribution in closed form, combining rotations at the projected primitive centers according to their mixture weights with covariance-dependent attenuation. This makes attention less sensitive to uncertain key locations in the query view, without rasterizing or warping token features. The formulation reduces to deterministic RoPE when the support collapses to a point. Across layers, the predicted geometry guides cross-view attention, while the updated features refine the geometry used at the next layer. Experiments on novel view synthesis, depth estimation, and 3D geometry reconstruction demonstrate the effectiveness of WorldRoPE for multi-view Transformers.
- Abstract(参考訳): RoPE(Rotary Positional Embedding)は、トランスフォーマーの相対的な位置を符号化するために広く使われている。
しかし、マルチビュー設定では、パッチ座標は各画像で独立して定義され、したがって同じ3Dポイントはビュー間で異なる座標を持つことができるため、クロスビュー対応を確立するには不十分である。
マルチビューアテンションのための確率的世界中心RoPEであるWorldRoPEを紹介する。
各レイヤにおいて、WorldRoPEは、各パッチトークンを共有ワールドフレーム内のボリュームガウスプリミティブのセットにバックプロジェクションする。
これらのプリミティブはトークンに対する複数のプラウシブルな3Dサポートを表し、代替の深さ仮説、深さの不確実性、パッチフラストラムの有限空間範囲を共同でキャプチャする。
キートークンのサポートがクエリビューに投影されると、クエリイメージにそのキーがどこに現れるかという分布を誘導する。
WorldRoPEは、この分布上の回転作用素を閉じた形で積分し、射影された原始中心における回転と共分散依存性の減衰とを混合する。
これにより、トークンの機能をラスタライズしたり歪めたりすることなく、クエリビューで不確実なキーロケーションに注意を向ける必要がなくなる。
定式化は、支持が一点に崩壊すると決定論的 RoPE に還元される。
レイヤーの向こう側では、予測されたジオメトリがクロスビューの注意を導き、更新された機能は次のレイヤで使用されるジオメトリを洗練させる。
複数ビュー変換器におけるWorldRoPEの有効性を示す新しいビュー合成,深度推定,3次元形状再構成実験を行った。
関連論文リスト
- URoPE: Universal Relative Position Embedding across Geometric Spaces [55.651792747815854]
URoPEは回転位置埋め込み(Rotary Position Embedding, RoPE)の普遍的な拡張である。
キー/値の画像パッチごとに、URoPEは事前に定義された奥行きアンカーで対応するカメラ線に沿って3Dポイントをサンプリングする。
標準2D RoPEは、投影されたピクセル座標を用いて適用することができる。
論文 参考訳(メタデータ) (2026-04-20T18:52:03Z) - Pano360: Perspective to Panoramic Vision with Geometric Consistency [7.713672589538202]
我々は新しいトランスフォーマーベースのアーキテクチャを採用し、すべての視点で3D認識とグローバル情報を集約する。
評価ベンチマークを確立し,ネットワークをトレーニングするために,実世界のシーンの大規模データセットを構築した。
論文 参考訳(メタデータ) (2026-03-12T14:56:14Z) - RayRoPE: Projective Ray Positional Encoding for Multi-view Attention [46.94549341989407]
入力画像の集合からトークンを処理する多視点変換器の位置符号化について検討する。
我々は、パッチを一意に符号化し、SE(3)不変の注意を多周波数類似性で許容し、基礎となるシーンの幾何学に適応できるメカニズムを模索する。
RayRoPEは、関連する光線に基づいてパッチ位置を表すが、幾何認識符号化のための方向ではなく、線に沿って予測された点を利用する。
論文 参考訳(メタデータ) (2026-01-21T18:55:51Z) - TALO: Pushing 3D Vision Foundation Models Towards Globally Consistent Online Reconstruction [57.46712611558817]
3次元視覚基礎モデルでは、1つのフィードフォワードパスを通して、未校正画像からキー3D属性を再構成する際の強力な一般化が示されている。
近年の戦略は,グローバルトランスフォーメーションの解決によって連続的な予測と整合するが,本分析では,仮定の妥当性,局所的なアライメント範囲,雑音的幾何の下でのロバスト性といった基本的な限界を明らかにしている。
本研究では,グローバルに伝播する制御点を利用して空間的に異なる不整合を補正する,Tin Plate Splineに基づく高DOFおよび長期アライメントフレームワークを提案する。
論文 参考訳(メタデータ) (2025-12-02T02:22:20Z) - RDD: Robust Feature Detector and Descriptor using Deformable Transformer [8.01082121187363]
本稿では,新規かつ堅牢なキーポイント検出器/ディスクリプタであるRobust Deformable Detector (RDD)を提案する。
我々は、変形可能な注意が鍵となる位置に焦点を当て、探索空間の複雑さを効果的に減らすことを観察した。
提案手法は,スパースマッチングタスクにおいて,最先端のキーポイント検出/記述手法よりも優れている。
論文 参考訳(メタデータ) (2025-05-12T19:24:45Z) - Rotation-Invariant Transformer for Point Cloud Matching [42.5714375149213]
我々は,回転不変変換器であるRoITrを導入し,点クラウドマッチングタスクにおけるポーズ変動に対処する。
本稿では,自己認識機構によって学習した,回転不変なクロスフレーム空間認識を備えたグローバルトランスフォーマーを提案する。
RoITrは、Inlier RatioとRegistration Recallの点で、既存のメソッドを少なくとも13と5のパーセンテージで上回っている。
論文 参考訳(メタデータ) (2023-03-14T20:55:27Z) - OmniSLAM: Omnidirectional Localization and Dense Mapping for
Wide-baseline Multi-camera Systems [88.41004332322788]
超広視野魚眼カメラ(FOV)を用いた広視野多視点ステレオ構成のための全方向位置決めと高密度マッピングシステムを提案する。
より実用的で正確な再構築のために、全方向深度推定のための改良された軽量のディープニューラルネットワークを導入する。
我々は全方位深度推定をビジュアル・オドメトリー(VO)に統合し,大域的整合性のためのループ閉鎖モジュールを付加する。
論文 参考訳(メタデータ) (2020-03-18T05:52:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。