論文の概要: How Vision Transformers Represent Position: A Mechanistic Comparison of Absolute and Rotary Positional Encodings

• arxiv url: http://arxiv.org/abs/2610.13992v1
• Date: Sat, 26 Sep 2026 19:50:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 06:38:44.719409
• Title: How Vision Transformers Represent Position: A Mechanistic Comparison of Absolute and Rotary Positional Encodings
• Title（参考訳）: 視覚変換器が位置を表現する方法:絶対的および回転的位置符号化の力学的比較
• Abstract要約: 位置符号化の選択は,視覚変換器内における空間情報の整理・処理の仕方を根本的に変えることを示す。 我々の研究は、モデルがどのように構成された表現を構築し、再構成し、維持するかを機械的分析が明らかにする方法を実証する。
• 参考スコア（独自算出の注目度）: 1.9573380763700712
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Positional embeddings encode the spatial position of each image patch in a Vision Transformer (ViT), allowing the model to distinguish different spatial arrangements of visual content. However, we know little about how the choice of embedding shapes a vision transformer's internal representation. In this work, we show that Absolute Positional Embeddings (APE) and Rotary Positional Embeddings (RoPE) encode spatial position through different internal mechanisms: APE stores position in explicit features, while RoPE builds it inside attention and rebuilds it when it is withheld. Specifically, in APE models, sparse autoencoders recover causal row- and column-specific features, whereas interventions on RoPE reveal distinct rotary components that separately encode row and column information. Additionally, causal interventions selectively disabling RoPE's row or column rotations show that decodable row and column information can be independently removed and, once rotations are restored, partly reconstructed, in part by axis-specialized attention heads. Both mechanisms are causally important for classification: permuting APE's positional features across patches reduces top-1 accuracy by 24--31 points, and ablating the rotations of RoPE's primary rebuilding head reduces it more than ablating those of any other head. Our findings show that the choice of positional encoding fundamentally changes how spatial information is organized and processed inside Vision Transformers. More broadly, our work demonstrates how mechanistic analysis can reveal how models construct, reconstruct, and maintain structured representations, providing a basis for targeted interventions in vision models.
• Abstract（参考訳）: 位置埋め込みは視覚変換器(ViT)内の各画像パッチの空間位置を符号化し、異なる空間配置の視覚コンテンツを識別する。 しかし、埋め込みの選択が視覚変換器の内部表現をどう形作るかはほとんど分かっていない。 本研究では, 絶対位置埋め込み (APE) と回転位置埋め込み (RoPE) が, 異なる内部機構を通して空間位置を符号化していることを示す。 具体的には、APEモデルにおいて、スパースオートエンコーダは因果行と列固有の特徴を回復する一方、RoPEへの介入は行と列情報を別々にエンコードする異なる回転成分を明らかにする。 さらに、RoPEの行や列の回転を選択的に無効にする因果的介入は、デオード可能な行や列の情報を独立して取り除き、一度回転が復元されると、一部が部分的に再構成される。 APEの位置的特徴をパッチに置換することで、トップ1の精度を24--31ポイント削減し、RoPEの一次再構築ヘッドの回転を損なうことで、他のヘッドの回転を損なうよりは少ない。 その結果,視覚変換器内における空間情報の整理・処理方法に,位置符号化の選択が根本的に変化していることが示唆された。 より広範に、我々の研究は、モデルがどのように構成された表現を構築し、再構築し、維持するかを機械的分析が明らかにし、視覚モデルにおける標的となる介入の基礎を提供する。

関連論文リスト

• WorldRoPE: Probabilistic World-Centric Rotary Embedding for Multi-View Attention [37.339633377994645]
  RoPE(Rotary Positional Embedding)は、トランスフォーマーの相対的な位置を符号化するために広く使われている。 マルチビュー設定では、パッチ座標は各画像内で独立に定義される。 マルチビューアテンションのための世界中心のRoPEであるWorldRoPEを紹介する。
  論文  参考訳（メタデータ） (2026-10-12T07:56:46Z)
• RoVE: Rotary Value Embeddings Attention for Relative Position-dependent Value Pathways [52.94485753759119]
  RoPE(Rotary Position Embeddings)は、位置相対的だが、位置盲点を残している。 本稿では,キーを同時に回転させることにより,パラメータフリーな値に感応性を持たせるRoVEを提案し,RoPEの注意を注意的畳み込みに変換することを示す。
  論文  参考訳（メタデータ） (2026-06-09T09:56:50Z)
• Untwisting RoPE: Frequency Control for Shared Attention in DiTs [84.14005261938284]
  位置符号化はトランスフォーマーベースの生成モデルに不可欠である。 ロータリー・ポジショナル・エンベディング (RoPE) は, 異なる位置感性を有する周波数成分に自然に分解されることを示す。 本稿では,厳密な位置アライメントよりも意味的類似性を反映するように,RoPE周波数帯域を選択的に変調する手法を提案する。
  論文  参考訳（メタデータ） (2026-02-04T20:01:59Z)
• Selective Rotary Position Embedding [84.22998043041198]
  テキストインプットに依存した回転型埋め込み機構であるtextitSelective RoPE を導入する。 我々は,問合せキー対上で,これらの回転の隠れ形式を,ソフトマックスアテンションがすでに実行していることを示す。 入力依存回転が言語モデルの性能を向上させることを実証し, ゲートトランスフォーマーにtextitSelective RoPE を組み込むことにより, 本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2025-11-21T16:50:00Z)
• PaTH Attention: Position Encoding via Accumulating Householder Transformations [56.32365080761523]
  PaTHは、ハウステリア変換の累積積に基づいて、フレキシブルなデータ依存位置符号化方式である。 家庭用行列の積をコンパクトに表現することで,効率的な並列学習アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2025-05-22T08:36:09Z)
• Rotary Offset Features in Large Language Models [0.9137554315375919]
  回転埋め込みを用いた場合,クエリやキーに現れる特徴やパターンについて検討する。 回転周波数が回転オフセット特徴をもたらす境界を導出する。 私たちは、異なるサイズとアーキテクチャのモデルに対して、経験的に予測を検証します。
  論文  参考訳（メタデータ） (2025-03-03T18:55:09Z)
• ResiDual Transformer Alignment with Spectral Decomposition [31.14332778586179]
  我々は、残像のスペクトル幾何学に着目し、視覚変換器の現象を解析する。 様々な入力データ分布にまたがる特殊な役割をエンコードしていることを示す。 本稿では,残流のスペクトルアライメント技術であるResiDualを紹介する。
  論文  参考訳（メタデータ） (2024-10-31T22:51:45Z)
• Rotation-Invariant Transformer for Point Cloud Matching [42.5714375149213]
  我々は,回転不変変換器であるRoITrを導入し,点クラウドマッチングタスクにおけるポーズ変動に対処する。 本稿では,自己認識機構によって学習した,回転不変なクロスフレーム空間認識を備えたグローバルトランスフォーマーを提案する。 RoITrは、Inlier RatioとRegistration Recallの点で、既存のメソッドを少なくとも13と5のパーセンテージで上回っている。
  論文  参考訳（メタデータ） (2023-03-14T20:55:27Z)
• RoFormer: Enhanced Transformer with Rotary Position Embedding [9.01819510933327]
  位置情報を効果的に活用するためのRotary Position Embedding(RoPE)という新しい手法を提案する。 RoPEは絶対位置を回転行列でエンコードし、一方、自己アテンションの定式化に明示的な相対位置依存性を組み込む。 様々な長文分類ベンチマークデータセットを用いて、回転位置埋め込み(RoFormer)と呼ばれる拡張変換器の評価を行った。
  論文  参考訳（メタデータ） (2021-04-20T09:54:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。