論文の概要: DPPE: Rethinking Camera-Based Positional Encoding for Scaling Multi-View Transformers

• arxiv url: http://arxiv.org/abs/2606.31585v1
• Date: Tue, 30 Jun 2026 12:38:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.213845
• Title: DPPE: Rethinking Camera-Based Positional Encoding for Scaling Multi-View Transformers
• Title（参考訳）: DPPE:マルチビュートランスのスケーリングのためのカメラベースの位置エンコーディング再考
• Abstract要約: カメラを用いた位置符号化は3次元コンピュータビジョンにおける空間的手がかりの提供に不可欠である。 本稿では、回転と変換を明確に分離するカメラベースの位置符号化法を提案する。 NVSタスクに対する広範囲な評価は、DPPEが大規模トレーニング設定においても安定した長期トレーニングを可能にすることを示す。
• 参考スコア（独自算出の注目度）: 4.777114198703681
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The remarkable scalability of Transformers has expanded their application to 3D computer vision, where camera-aware positional encoding is crucial for providing spatial cues in multi-view geometry. Recent advancements have established the practice of using camera parameters -- such as extrinsics or projection matrices -- as relative positional encoding into the query, key, and value vectors of the attention mechanism. However, when scaling up the training recipe of novel view synthesis (NVS) models with the camera-based positional encoding, we observe a significant issue: model performance stagnates in the late stages of training. In this paper, we investigate the cause of the performance bottleneck when scaling up and demonstrate that storing rotation and translation given by the positional encoding in the same dimensions of the value vector causes indeterminacy in their independent identification, hindering training scalability. To address this, we propose Decoupled Pose Positional Encoding (DPPE), a novel camera-based positional encoding that explicitly decouples rotation and translation. Extensive evaluations on NVS tasks demonstrate that DPPE enables stable long-term training even in scaled-up training setup. Furthermore, it exhibits superior generalization performance in extrapolation settings, such as handling an increased number of viewpoints and zoom-in scenarios.
• Abstract（参考訳）: トランスフォーマーの顕著なスケーラビリティは、3Dコンピュータビジョンに応用を拡大し、マルチビュー幾何学における空間的手がかりを提供するには、カメラ対応の位置符号化が不可欠である。 近年の進歩は、外部パラメータや投影行列などのカメラパラメータを、クエリ、キー、およびアテンション機構の値ベクトルに対する相対的な位置エンコーディングとして使用する方法を確立している。 しかし,新しいビュー合成(NVS)モデルのトレーニングレシピをカメラによる位置符号化でスケールアップすると,トレーニング後期のモデル性能が停滞する,という大きな問題が観察される。 本稿では,スケールアップ時の性能ボトルネックの原因について検討し,値ベクトルの同一次元における位置エンコーディングによる回転と変換の保存が,独立同定の不確定性を招き,トレーニングのスケーラビリティを損なうことを実証する。 そこで本研究では、回転と変換を明確に切り離す新しいカメラベースの位置符号化である、Decoupled Pose Positional Encoding (DPPE)を提案する。 NVSタスクに対する広範囲な評価は、DPPEが大規模トレーニング設定においても安定した長期トレーニングを可能にすることを示す。 さらに、多くの視点やズームインシナリオを扱うなど、外挿設定において優れた一般化性能を示す。

関連論文リスト

• Unified Camera Positional Encoding for Controlled Video Generation [48.5789182990001]
  トランスフォーマーは、3D知覚、ビデオ生成、自律運転のための世界モデル、そしてAIを具体化するための普遍的なバックボーンとして登場した。 本稿では、6-DoFポーズ、内在性、レンズ歪みを含む完全なカメラ情報を統一する幾何学一貫性表現であるRelative Rayを紹介する。 システム的なトレーニングと評価を容易にするため,広い範囲のカメラモーションとレンズタイプをカバーする大規模なビデオデータセットを構築した。
  論文  参考訳（メタデータ） (2025-12-08T07:34:01Z)
• Mitigating Coordinate Prediction Bias from Positional Encoding Failures [31.63900089866925]
  高解像度入力は、位置エンコーディングを弱める長いトークンシーケンスを生成することで、この困難を悪化させる。 我々は、視覚的位置エンコーディングがシャッフルによって意図的に摂動されるとき、MLLMがどのように振る舞うかを分析する。 本研究では,これらのバイアスの方向特性を利用したトレーニング不要なテストタイム手法であるビジョン-PEシャッフルガイダンス(VPSG)を提案する。
  論文  参考訳（メタデータ） (2025-10-25T00:58:47Z)
• FreqPDE: Rethinking Positional Depth Embedding for Multi-View 3D Object Detection Transformers [91.59069344768858]
  周波数対応位置深度埋め込み (FreqPDE) を導入し, 空間情報と2次元画像特徴を付加して3次元検出変換器デコーダを提案する。 FreqPDEは2D画像特徴と3D位置埋め込みを組み合わせることで、クエリデコーディングのための3D深度認識機能を生成する。
  論文  参考訳（メタデータ） (2025-10-17T07:36:54Z)
• Cameras as Relative Positional Encoding [37.675563572777136]
  マルチビュートランスは3次元空間で視覚トークンを接地するためにカメラジオメトリを使用する必要がある。 フィードフォワード新規ビュー合成における相対カメラコンディショニングによる性能向上効果を示す。 次に、これらの利点が様々なタスク、ステレオ深度推定、識別的認知、およびより大きなモデルサイズに持続していることを検証する。
  論文  参考訳（メタデータ） (2025-07-14T17:22:45Z)
• SeqPE: Transformer with Sequential Position Encoding [76.22159277300891]
  SeqPEは、各$n$次元位置指数をシンボルシーケンスとして表現し、軽量なシーケンシャル位置エンコーダを用いて埋め込みを学習する。 言語モデリング、長文質問応答、および2次元画像分類による実験により、SeqPEはパープレキシティ、正確なマッチング(EM)、精度の強いベースラインを超えるだけでなく、手作業によるアーキテクチャ再設計を必要とせず、多次元入力へのシームレスな一般化を可能にする。
  論文  参考訳（メタデータ） (2025-06-16T09:16:40Z)
• Toward Relative Positional Encoding in Spiking Transformers [76.72869420863749]
  スパイキングニューラルネットワーク(スパイキングニューラルネット、英: Spiking Neural Network、SNN)は、脳内のニューロンが離散スパイクを通してどのように通信するかを模倣するバイオインスパイアネットワークである。 スパイクのバイナリ特性を保ちながら、スパイク変換器における相対的な位置エンコーディングを近似する戦略をいくつか導入する。
  論文  参考訳（メタデータ） (2025-01-28T06:42:37Z)
• Learnable Fourier Features for Multi-DimensionalSpatial Positional Encoding [96.9752763607738]
  本稿では,学習可能なフーリエ特徴に基づく位置符号化手法を提案する。 本研究では,多次元位置符号化のための学習可能な特徴表現が既存の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-05T04:40:18Z)
• TransCamP: Graph Transformer for 6-DoF Camera Pose Estimation [77.09542018140823]
  本稿では、カメラ再配置問題に対処するため、グラフトランスフォーマーバックボーン、すなわちTransCamPを用いたニューラルネットワークアプローチを提案する。 TransCamPは、画像の特徴、カメラポーズ情報、フレーム間の相対的なカメラモーションを、エンコードされたグラフ属性に効果的に融合する。
  論文  参考訳（メタデータ） (2021-05-28T19:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。