論文の概要: What are you sinking? A geometric approach on attention sink

• arxiv url: http://arxiv.org/abs/2508.02546v1
• Date: Mon, 04 Aug 2025 15:59:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:22.415523
• Title: What are you sinking? A geometric approach on attention sink
• Title（参考訳）: 何を沈めているのか? -注目の沈みに関する幾何学的アプローチ-
• Abstract要約: 注意シンク(AS: Attention sink)は、あるトークンが他のトークンから注意を引き付けるような、トランスフォーマーの注意マップにおける一貫したパターンである。 変換器では、ASはアーキテクチャアーティファクトではなく、基本的な幾何学的原理の顕現であることを示す。
• 参考スコア（独自算出の注目度）: 6.552700667389349
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention sink (AS) is a consistent pattern in transformer attention maps where certain tokens (often special tokens or positional anchors) disproportionately attract attention from other tokens. We show that in transformers, AS is not an architectural artifact, but it is the manifestation of a fundamental geometric principle: the establishment of reference frames that anchor representational spaces. We analyze several architectures and identify three distinct reference frame types, centralized, distributed, and bidirectional, that correlate with the attention sink phenomenon. We show that they emerge during the earliest stages of training as optimal solutions to the problem of establishing stable coordinate systems in high-dimensional spaces. We show the influence of architecture components, particularly position encoding implementations, on the specific type of reference frame. This perspective transforms our understanding of transformer attention mechanisms and provides insights for both architecture design and the relationship with AS.
• Abstract（参考訳）: 注意シンク(AS: Attention sink)は、特定のトークン(しばしば特別なトークンまたは位置アンカー)が他のトークンから不均等に注意を引き付ける、トランスフォーマー注意マップにおける一貫したパターンである。 変換器において、ASは建築的アーティファクトではなく、表現空間をアンカーする参照フレームの確立という基本的な幾何学的原理の顕現であることを示す。 いくつかのアーキテクチャを分析し,集中型,分散型,双方向型の3種類の参照フレームを同定し,注目シンク現象と相関する。 高次元空間における安定座標系を確立する問題に対する最適解として,訓練の初期段階に現れることを示す。 アーキテクチャコンポーネント,特に位置符号化実装が参照フレームの特定のタイプに与える影響を示す。 この視点は、トランスフォーマーのアテンション機構の理解を変換し、アーキテクチャ設計とASとの関係の両方について洞察を提供する。

関連論文リスト

• Global Divergence, Local Convergence: Representation Geometry in SSMs and Transformers [4.71326501896672]
  Mambaのような最近の状態空間モデル(SSM)は、トランスフォーマーに匹敵する言語モデリング性能を達成する。 これらの構造的差異は、内部表現の幾何学的および機能的性質にどのように影響を与えるのか? 本稿では,変換器,SSM,ハイブリッドアーキテクチャにおける表現のマルチスケール解析を通じて,この問題を考察する。
  論文  参考訳（メタデータ） (2026-09-08T12:57:30Z)
• Beyond Point-Wise Matching: Structural Representation Alignment for Accelerating Diffusion Transformers [93.3976834364707]
  本稿では,特徴写像のリレーショナル幾何における整合性を実現する構造的RePresentation AlignmentフレームワークであるsREPAを提案する。 モデルが事前訓練された特徴から全体的空間配置と構造的相関を内包するように促すことにより、sREPAはより高速でより安定した収束を達成する。
  論文  参考訳（メタデータ） (2026-05-16T12:01:04Z)
• A Mechanistic Account of Attention Sinks in GPT-2: One Circuit, Broader Implications for Mitigation [1.2744523252873352]
  トランスフォーマーは一般的に注意シンクを呈し、第1位に不当に高い注意を払っている。 学習されたクエリバイアスと絶対的な位置埋め込みを持つGPT-2スタイルのモデルにおいて,この挙動について検討する。
  論文  参考訳（メタデータ） (2026-04-16T07:32:37Z)
• ASTRA: Enhancing Multi-Subject Generation with Retrieval-Augmented Pose Guidance and Disentangled Position Embedding [1.4145309506833208]
  ASTRAは、ポーズ構造から被写体を遠ざける新しいフレームワークである。 ASTRAはDreamBenchで高いアイデンティティとテキストアライメントを維持しながら、新しい最先端のポーズアテンデンスを実現している。
  論文  参考訳（メタデータ） (2026-04-15T14:50:05Z)
• Learning 3D Representations for Spatial Intelligence from Unposed Multi-View Images [81.94999489820974]
  UniSplat (UniSplat) は、未提示のマルチビュー画像から3D表現を学習するためのフィードフォワードフレームワークである。 エンコーダにおける幾何誘導を強化するデュアルマスキング戦略を導入する。 第2に,外見のセマンティックな矛盾を解消する粗大なガウス的スプレイティング戦略を開発する。 第3に、予測された3次元点と意味マップを画像平面に相互に関連付ける、ポーズ条件の補正機構を導入する。
  論文  参考訳（メタデータ） (2026-04-12T10:36:18Z)
• How Attention Sinks Emerge in Large Language Models: An Interpretability Perspective [67.08306259095778]
  モデルがゼロ位置のトークンを認識できるように簡単なメカニズムを同定し、2つの変圧器ブロック内で注意シンクを誘導する。 スクラッチからトレーニングされた30B A3B MoEモデルからのトレーニングトレースを分析することで、このメカニズムはトレーニングの初期段階に現れ、最初の2層に集中するようになる。
  論文  参考訳（メタデータ） (2026-02-04T11:10:34Z)
• Attention as Binding: A Vector-Symbolic Perspective on Transformer Reasoning [0.0]
  トランスフォーマーベースの言語モデルは、印象的な推論のような振る舞いを示すが、安定した記号操作を必要とするタスクには脆弱なままである。 本稿では,VSA(Vector Symbolic Architecture)の実装として,自己意図と残留ストリームを解釈することで,これらの現象を統一的に考察する。 この観点では、クエリとキーはロール空間を定義し、値はフィラーをエンコードし、アテンションウェイトはソフトアンバインドを行い、残余接続は多くの有界構造の重ね合わせを実現する。
  論文  参考訳（メタデータ） (2025-12-08T05:38:24Z)
• GeoSketch: A Neural-Symbolic Approach to Geometric Multimodal Reasoning with Auxiliary Line Construction and Affine Transformation [28.500787311066563]
  GeoSketchは、幾何学的推論をインタラクティブな知覚・推論・アクションループとして再キャストする、ニューラルシンボリックなフレームワークである。 階層的な意思決定、実行可能な視覚行動、象徴的な検証を統一することにより、GeoSketchは静的解釈から動的相互作用へのマルチモーダル推論を前進させる。
  論文  参考訳（メタデータ） (2025-09-26T15:12:04Z)
• Cross-architecture universal feature coding via distribution alignment [88.73189953617594]
  クロスアーキテクチャユニバーサル特徴符号化(CAUFC)という新しい研究課題を導入する。 まず,CNN と Transformer が一貫した2次元トークン形式に特徴付けるフォーマットアライメント手法を設計し,また,トランケーションと正規化によって統計分布を調和させる特徴値アライメント手法を提案する。 本稿では,CAUFCを最初に研究する試みとして,画像分類作業における手法の評価を行い,本手法がアーキテクチャ固有のベースラインに比べて高いレート精度のトレードオフを実現することを示す。
  論文  参考訳（メタデータ） (2025-06-15T06:14:02Z)
• On the Emergence of Position Bias in Transformers [59.87743433861665]
  本稿では,多層構造における位置バイアスを解析するためのグラフ理論フレームワークを提案する。 我々のフレームワークは、トランスにおける位置的相互作用を理解するための原則的な基盤を提供する。
  論文  参考訳（メタデータ） (2025-02-04T02:53:07Z)
• Learning Correlation Structures for Vision Transformers [93.22434535223587]
  構造自己注意(StructSA)と呼ばれる新しい注意機構を導入する。 我々は、畳み込みによるキー-クエリ相関の時空間構造を認識して注意マップを生成する。 これは、シーンレイアウト、オブジェクトの動き、オブジェクト間の関係など、画像やビデオのリッチな構造パターンを効果的に活用する。
  論文  参考訳（メタデータ） (2024-04-05T07:13:28Z)
• GTA: A Geometry-Aware Attention Mechanism for Multi-View Transformers [63.41460219156508]
  既存の位置符号化方式は3次元視覚タスクに最適であると主張する。 トークンの幾何学的構造を相対変換として符号化する幾何学的注意機構を提案する。 我々は、Geometric Transform Attention (GTA) と呼ばれる、最先端のトランスフォーマーベースNVSモデルの学習効率と性能を向上させることに留意している。
  論文  参考訳（メタデータ） (2023-10-16T13:16:09Z)
• Spherical Position Encoding for Transformers [0.0]
  本稿では,トランスアーキテクチャの入力要素である「ゲオトケン」の概念を紹介する。 自然言語とは異なり、逐次位置はモデルにとって重要ではなく、地理的座標である。 球面座標の調整を行うRoPEアーキテクチャに基づく位置符号化機構を定式化する。
  論文  参考訳（メタデータ） (2023-10-04T09:28:59Z)
• On the interplay of adversarial robustness and architecture components: patches, convolution and attention [65.20660287833537]
  本研究は,学習した特徴の解釈可能性と,未知の脅威モデルに対する頑健性に及ぼす対人訓練の効果について検討する。 ResNetからConvNeXtへのアブレーションにより、キーとなるアーキテクチャ上の変更により、約10%高い$ell_infty$-robustnessが実現した。
  論文  参考訳（メタデータ） (2022-09-14T22:02:32Z)
• Ripple Attention for Visual Perception with Sub-quadratic Complexity [7.425337104538644]
  トランスフォーマーアーキテクチャは現在、自然言語処理タスクのモデリングの中心となっている。 視覚知覚のためのサブクワッドアテンション機構であるリップルアテンションを提案する。 ripple attentionでは、クエリに対する異なるトークンのコントリビューションは、2次元空間における相対空間距離に対して重み付けされる。
  論文  参考訳（メタデータ） (2021-10-06T02:00:38Z)
• Cross-view Geo-localization with Evolving Transformer [7.5800316275498645]
  クロスビューなジオローカライゼーションは、視界の劇的な外観と幾何学的差異のために困難である。 本研究では,Transformerにおける自己アテンションの特性を利用してグローバルな依存関係をモデル化する新しいジオローカライゼーショントランスフォーマー(EgoTR)を提案する。 我々のEgoTRは、標準的な、きめ細かな、そして、クロスデータセットなジオローカライゼーションタスクにおいて、最先端の手法に対して好意的に機能する。
  論文  参考訳（メタデータ） (2021-07-02T05:33:14Z)
• Twins: Revisiting Spatial Attention Design in Vision Transformers [81.02454258677714]
  本稿では,注意深い空間的注意機構が最先端のスキームに対して好適に機能することを実証する。 Twins-PCPVTとTwins-SVTの2つのビジョントランスアーキテクチャを提案します。 提案するアーキテクチャは,現代のディープラーニングフレームワークに高度に最適化された行列乗算のみを含む,高効率かつ実装が容易である。
  論文  参考訳（メタデータ） (2021-04-28T15:42:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。