論文の概要: The Changing Geometry of Grammar: Dimensionality and Neighborhood Reorganization across Transformer Layers

• arxiv url: http://arxiv.org/abs/2608.25166v1
• Date: Tue, 25 Aug 2026 21:27:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.450865
• Title: The Changing Geometry of Grammar: Dimensionality and Neighborhood Reorganization across Transformer Layers
• Title（参考訳）: 文法の形状変化--変圧器層間における次元と周辺再編成-
• Authors: Samuele Vallisa, Federico Ravenda, Claudio Palominos, Rui He, Andrea Raballo, Antonietta Mira, Philipp Homan, Wolfram Hinzen,
• Abstract要約: トークンの文法的役割が、その部分音声(PoS)タグに特徴付けられるように、この多様体の局所幾何学を形作るかどうかを問う。 幾何学的特徴だけでトークンの文法的役割を回復し,各PoSのセマンティック内容が下流分類タスクにおいて層間でどのように進化するかを解釈する。
• 参考スコア（独自算出の注目度）: 6.995112644485604
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer representations describe trajectories through high-dimensional vector spaces, which are shaped dynamically as tokens incorporate relational context across layers. Such data tend to concentrate on lower-dimensional sub-manifolds, a form of compression quantified by the Intrinsic Dimensionality (ID), the minimum number of independent variables needed to represent them without significant information loss. In this work, we ask whether the grammatical role of tokens, as marked by their part-of-speech (PoS) tag, shapes the local geometry of this manifold. To this end: (1) We investigate the layer-wise evolution of ID, finding that closed-class items expand earlier and collapse sooner than open-class ones; (2) We show its expansion and contraction to be explained by changes in the neighborhood structure, and hence in the relations between words within a sentence; (3) We compare encoders (ModernBERT, bigbird-roberta-large) and decoders (gemma-2-2B, Llama-3.2-3B), finding that the two families evolve differently across layers, consistently with how each integrates context;(4) We show that geometric features alone recover a token's grammatical role, and use them to interpret how the semantic content of each PoS evolves across layers in a downstream classification task.
• Abstract（参考訳）: トランスフォーマー表現は高次元ベクトル空間を通しての軌跡を記述し、トークンが層間の関係コンテキストを含むように動的に形成される。 このようなデータは、内在次元(ID)によって定量化された圧縮形式である低次元のサブ多様体に集中しがちである。 この研究において、トークンの文法的役割は、その部分音声(PoS)タグで示されるように、この多様体の局所幾何学を形作るかどうかを問う。 この目的のために,(1)ID の階層的進化,(2) 閉クラスアイテムがオープンクラスよりも早く拡大して崩壊すること,(2) 近隣構造の変化によって説明される拡張と収縮を示すこと,(3) エンコーダ (ModernBERT, bigbird-roberta-large) とデコーダ (gemma-2B, Llama-3.2-3B) を比較して,両ファミリーが階層的に異なる進化を遂げていること,(4) トークンの文法的役割を回復すること,(4) それぞれのPoS のセマンティックコンテンツが下流の階層でどのように発展していくのかを幾何学的特徴として示す。

関連論文リスト

• Decomposing how prompting steers behavior [0.0]
  我々は、プロンプトによる表現変化を解釈可能な幾何学的成分に分解する。 我々のフレームワークは、モデルがタスク関連構造をルートして、プロンプト駆動の振る舞いを生成する方法を明らかにする。
  論文  参考訳（メタデータ） (2026-06-02T03:27:24Z)
• OpenGaFF: Open-Vocabulary Gaussian Feature Field with Codebook Attention [80.51557267896938]
  オープンな3Dシーン理解のための新しいフレームワークであるOpenGaFFについて述べる。 我々の手法の中核はガウス的特徴場であり、ガウス幾何学と外見の連続関数として意味論をモデル化する。 オブジェクトレベルのセマンティック一貫性をさらに強化するために、共有セマンティックプリミティブのセットとして機能する構造化コードブックを導入する。
  論文  参考訳（メタデータ） (2026-05-07T12:10:07Z)
• GeoGNN: Quantifying and Mitigating Semantic Drift in Text-Attributed Graphs [59.61242815508687]
  テキスト分散グラフ(TAG)上のグラフニューラルネットワーク(GNN)は、事前訓練された言語モデル(PLM)を使用してノードテキストを符号化し、これらの埋め込みを線形近傍アグリゲーションを通じて伝播する。 本研究は,意味的ドリフトの度合いを計測する局所PCAベースの計量を導入し,異なる凝集機構が多様体構造にどのように影響するかを解析するための最初の定量的枠組みを提供する。
  論文  参考訳（メタデータ） (2025-11-12T06:48:43Z)
• Steering Embedding Models with Geometric Rotation: Mapping Semantic Relationships Across Languages and Models [2.3204178451683264]
  埋め込み空間における一貫した回転操作として意味変換を表現する幾何学的アプローチであるRotor-Invariant Shift Estimation (RISE)を導入する。 RISE操作は高い性能で言語とモデルの両方をまたいで動作することができる。 この研究は、談話レベルの意味変換が多言語埋め込み空間における一貫した幾何学的操作に対応するという最初の体系的な実証を提供する。
  論文  参考訳（メタデータ） (2025-10-10T18:51:32Z)
• Hierarchical Context Alignment with Disentangled Geometric and Temporal Modeling for Semantic Occupancy Prediction [61.484280369655536]
  カメラを用いた3Dセマンティック占領予測(SOP)は、限られた2次元画像観察から複雑な3Dシーンを理解するのに不可欠である。 既存のSOPメソッドは通常、占有表現学習を支援するためにコンテキストの特徴を集約する。 より正確なSOP(Hi-SOP)のための新しい階層型コンテキストアライメントパラダイムを導入する。
  論文  参考訳（メタデータ） (2024-12-11T09:53:10Z)
• The geometry of hidden representations of large transformer models [43.16765170255552]
  大規模トランスは、さまざまなデータタイプをまたいだ自己教師型データ分析に使用される強力なアーキテクチャである。 データセットのセマンティック構造は、ある表現と次の表現の間の変換のシーケンスから現れることを示す。 本研究は,データセットのセマンティクス情報が第1ピークの終わりによりよく表現されることを示し,この現象を多種多様なデータセットで訓練された多くのモデルで観測できることを示した。
  論文  参考訳（メタデータ） (2023-02-01T07:50:26Z)
• SemAffiNet: Semantic-Affine Transformation for Point Cloud Segmentation [94.11915008006483]
  ポイントクラウドセマンティックセグメンテーションのためのSemAffiNetを提案する。 我々はScanNetV2とNYUv2データセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-05-26T17:00:23Z)
• Cross-Lingual BERT Contextual Embedding Space Mapping with Isotropic and Isometric Conditions [7.615096161060399]
  並列コーパスを利用した文脈認識・辞書フリーマッピング手法について検討する。 本研究は, 正規化文脈埋め込み空間における等方性, 等方性, 等方性の間の密接な関係を解明するものである。
  論文  参考訳（メタデータ） (2021-07-19T22:57:36Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。