論文の概要: Give it Space! Explicit Disentangling of Positional and Semantic Representations in Encoders

• arxiv url: http://arxiv.org/abs/2605.30022v1
• Date: Thu, 28 May 2026 14:42:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.400918
• Title: Give it Space! Explicit Disentangling of Positional and Semantic Representations in Encoders
• Title（参考訳）: 空間を与えろ!エンコーダにおける位置表現と意味表現の明示的解離
• Authors: Pierre-Antoine Lequeu, Camille Barboule, Benjamin Piwowarski,
• Abstract要約: 位置符号化(PE)は、置換不変トランスフォーマーがシーケンス順序をどのように表すかを示す。 RoPEのようなPEメソッドは、長いコンテキストの理解や検索のようなタスクに苦戦している。 我々は、位置的信号と意味的信号が、訓練されたトランスフォーマー内のほとんど閉じた部分空間を占有しているという証拠の上に構築する。
• 参考スコア（独自算出の注目度）: 8.72344410197391
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Positional encoding (PE) underpins how permutation-invariant Transformers represent sequence order, yet how positional information is processed and stored remains poorly understood. Modern PE methods such as RoPE still struggle on tasks such as long-context understanding or retrieval \cite{chen-etal-2025-hope}. Hence, a better understanding of the internal positional mechanism could help design better PE. Building on evidence that positional and semantic signals occupy nearly orthogonal subspaces in trained Transformers, we modify an encoder Transformer to process three explicitly disentangled streams: semantic, absolute positional (AP) and relative positional (RP), and confine the masked-language-modeling (MLM) objective to the semantic stream. This decoupling enables a clean mechanistic study and yields three take-aways. (1) The isolated AP subspace spontaneously collapses into a low-frequency two-dimensional manifold that captures the structure of the document; (2) Attention heads specialize into structure and semantic-oriented groups, with RP exclusively supporting the latter; (3) Standard positional encodings do not robustly retain macroscopic structure: RoPE and RP only weakly encode it, and entangled AP loses it in the final layers under MLM pressure. The disentangled approach preserves positional encoding, which improves linguistic representation on 49 of the 65 linguistic phenomena of the Flash-Holmes probing benchmark.
• Abstract（参考訳）: 位置符号化(PE)は、置換不変トランスフォーマーがシーケンス順序をどのように表すかを示すが、位置情報がどのように処理され、格納されるかは理解されていない。 RoPEのような現代のPEメソッドは、長いコンテキストの理解や検索のようなタスクに苦戦している。 したがって、内部位置のメカニズムをよりよく理解することで、より優れたPEの設計に役立てることができる。 トレーニングされたトランスフォーマーにおいて,位置信号と意味信号がほぼ直交部分空間を占めることを示す証拠に基づいて,エンコーダ変換器を改良し,意味的,絶対的位置 (AP) および相対的位置 (RP) の3つの明示的不整合ストリームを処理し,マスク付き言語モデリング (MLM) の目的をセマンティックストリームに閉じ込める。 このデカップリングにより、クリーンなメカニスティックな研究が可能になり、3つのテイクアウトが得られる。 1) 孤立AP部分空間は、文書の構造を捉えた低周波2次元多様体に自発的に崩壊する; (2) 保持ヘッドは、構造と意味指向のグループに特化し、RPは後者のみをサポートする; 3) 標準位置符号化は、マクロ構造を強固に保持しない: RoPE と RP は、それを弱エンコードするだけで、絡み合ったAP は、MLM 下の最終層でそれを失う。 アンタングル化アプローチは位置符号化を保ち、Flash-Holmes Probingベンチマークの65言語現象のうち49言語表現を改善する。

関連論文リスト

• HeRO: Hierarchical 3D Semantic Representation for Pose-aware Object Manipulation [54.325346533275074]
  HeROは、階層的意味論を通して幾何学と意味論を結合する拡散ベースのポリシーである。 様々なテストにおいて、HeROは新しい最先端技術を確立し、Place Dual Shoesの成功率を12.3%改善し、6つの挑戦的なポーズ対応タスクで平均6.5%向上した。
  論文  参考訳（メタデータ） (2026-02-21T12:29:10Z)
• Do traveling waves make good positional encodings? [44.55744608160896]
  移動波に基づく新しい位置符号化機構であるRollPEを提案する。 従来の絶対的な位置埋め込みよりもはるかに優れていることを示す。 我々は、RolePEの数学的等価性を、RoPEの特定の構成に導出する。
  論文  参考訳（メタデータ） (2025-11-11T14:32:45Z)
• SeqPE: Transformer with Sequential Position Encoding [76.22159277300891]
  SeqPEは、各$n$次元位置指数をシンボルシーケンスとして表現し、軽量なシーケンシャル位置エンコーダを用いて埋め込みを学習する。 言語モデリング、長文質問応答、および2次元画像分類による実験により、SeqPEはパープレキシティ、正確なマッチング(EM)、精度の強いベースラインを超えるだけでなく、手作業によるアーキテクチャ再設計を必要とせず、多次元入力へのシームレスな一般化を可能にする。
  論文  参考訳（メタデータ） (2025-06-16T09:16:40Z)
• Revisiting LRP: Positional Attribution as the Missing Ingredient for Transformer Explainability [53.21677928601684]
  階層的関連性伝播は、ディープラーニングにおける説明可能性に対する最も有望なアプローチの1つである。 そこで我々は,様々な位置符号化手法にまたがる属性の伝播を目的とした,理論的なLRP規則を提案する。 本手法は,視力とNLP説明可能性の両面において,最先端の課題を著しく上回っている。
  論文  参考訳（メタデータ） (2025-06-02T18:07:55Z)
• PaTH Attention: Position Encoding via Accumulating Householder Transformations [56.32365080761523]
  PaTHは、ハウステリア変換の累積積に基づいて、フレキシブルなデータ依存位置符号化方式である。 家庭用行列の積をコンパクトに表現することで,効率的な並列学習アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2025-05-22T08:36:09Z)
• The Locality and Symmetry of Positional Encodings [9.246374019271938]
  我々はtextbfBi Masked Language Models (BERT-style) における位置符号化の体系的研究を行う。 PEのコア関数は、局所性と対称性という2つの共通性質を同定することによって明らかにする。 2つの新しい探索タスクを導入し、現在のPEの弱点を定量化する。
  論文  参考訳（メタデータ） (2023-10-19T16:15:15Z)
• Guiding the PLMs with Semantic Anchors as Intermediate Supervision: Towards Interpretable Semantic Parsing [57.11806632758607]
  本稿では,既存の事前学習言語モデルを階層型デコーダネットワークに組み込むことを提案する。 第一原理構造をセマンティックアンカーとすることで、2つの新しい中間管理タスクを提案する。 いくつかのセマンティック解析ベンチマークで集中的な実験を行い、我々のアプローチがベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2022-10-04T07:27:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。