論文の概要: Gluing Local Contexts into Global Meaning: A Sheaf-Theoretic Decomposition of Transformer Representations
- arxiv url: http://arxiv.org/abs/2610.17117v1
- Date: Mon, 12 Oct 2026 17:10:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-18 03:10:28.084535
- Title: Gluing Local Contexts into Global Meaning: A Sheaf-Theoretic Decomposition of Transformer Representations
- Title（参考訳）: 局所文脈をグローバルな意味に分解する:トランスフォーマー表現の層論的分解
- Abstract要約: 既存の解釈可能性ツールは、表現が同じ内容を保持するかどうかを、フレーズだけを変えるとテストしない。
それぞれのパラフレーズペアを,2つのアクティベーションが一致すべき局所的な証人として扱い,パラフレーズグラフ上に細胞層を構築する。
同じパラフレーズグラフは、内容部分空間、影響方向、および脆弱度尺度を生成する。
- 参考スコア（独自算出の注目度）: 2.847742374860449
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing interpretability tools do not test whether a representation keeps the same content when only the phrasing changes. We treat each paraphrase pair as a local witness that two activations should agree and build a cellular sheaf over the paraphrase graph; its Laplacian $L_\mathcal{F}$ answers the question on a frozen model with no training. The kernel $H^0$ is a content subspace: at 20 dimensions it beats the preserved subspace of the concept eraser LEACE on held-out CounterFact fact retrieval across eight architectures by a mean $+17.1$\,pp, and constraining all paraphrases of a fact jointly adds a further $+6.5$\,pp. The spectral complement concentrates causal influence: ablating the most paraphrase-variable coordinates, a coordinate-wise proxy for it, changes model outputs $5.6$ to $26.5\times$ more than ablating coordinates of matched per-coordinate variability, across nine models from 124M to 13B parameters. Stacking layers into a grid creates $b_1 = N(L-1)$ algebraic 1-cycles, and the resulting model-derived harmonic mass varies by nearly three orders of magnitude across six architectures and ranks them as their steering fragility does (Spearman $ρ= 0.90$, exact one-sided permutation $p = 0.014$). The same paraphrase graph yields the content subspace, the influence directions, and the fragility measure. Project page: https://cwru-aism.github.io/gluing-lc-page/
- Abstract（参考訳）: 既存の解釈可能性ツールは、表現が同じ内容を保持するかどうかを、フレーズだけを変えるとテストしない。
パラフレーズペアを局所的な証人として扱うと、2つのアクティベーションが一致し、パラフレーズグラフ上にセルの層を構築するべきである。
カーネル $H^0$ はコンテント部分空間であり、20次元では8つのアーキテクチャで保持されているCovererFactのファクト検索で LEACE の保存されたサブスペースを平均$+17.1$\,pp で破り、ファクトのすべてのパラフレーズを制約すると、さらに$+6.5$\,pp が加算される。
スペクトル補間は因果関係の影響を集約する: 最もパラフレーズ可変座標を非難し、その座標のプロキシであり、変化モデル出力は5.6$から26.5\times$で、124Mから13Bパラメータの9つのモデルで一致した座標を非難する以上のものである。
格子に層を積み重ねると、$b_1 = N(L-1)$ 代数的 1-サイクルが生成され、結果として得られるモデル由来の調和質量は6つのアーキテクチャで3桁近く変化し、それらの操舵の脆弱さとしてランク付けされる(Spearman $ρ= 0.90$、正確に片側置換の$p = 0.014$)。
同じパラフレーズグラフは、内容部分空間、影響方向、および脆弱度尺度を生成する。
プロジェクトページ:https://cwru-aism.github.io/gluing-lc-page/
関連論文リスト
- Geometry-Dependent Approximation for Non-Monotone $k$-Submodular Maximization [55.29259818039367]
支持領域がより均一な選択を許すにつれて、認証された近似係数がどのように改善されるかを示す。
明示的なパラメータの選択は、非遅延認証プロファイルに$underline_k()$を与える。
値保持丸めは、これらの保証をマトロイドとクナプサックの制約に転送する。
論文 参考訳（メタデータ） (2026-10-02T20:52:38Z) - Encryptability As a Coordinate Choice: Depth-One Homomorphic Federated Learning of Quantum Neural Networks [4.52362577649972]
暗号化されたトレーニングは、サーバ側の更新を低レベルに保つことに依存します。
暗号化ローテーション更新には1つの乗算レベルがかかることを示す。
また、ノイズ予算のアブレーションは、暗号化ノイズが正規化するという仮説に反することを示す。
論文 参考訳（メタデータ） (2026-09-24T21:53:23Z) - Attention Manifolds: Steering or Blocking Language Models by Editing Learned B-Spline Surfaces [0.0]
この研究はテキスト・アテンション・多様体(texttextattention manifold)を導入し、クエリーキーの相互作用に基づいて各値次元を変調する2次元のB-スプライン曲面を学習する。
それぞれの表面はテンソル生成の立方体B-スプラインをゼロとし、事前訓練された挙動を保つ。
LLaMA 3.2-1B-Instruct と 3B-Instruct に適用すると、WikiText-2 の検証の難易度は 0.3% のパラメータオーバーヘッドで 2-2.5 ポイント削減される。
論文 参考訳（メタデータ） (2026-09-24T03:55:39Z) - A Mathematical Theory of Value: a synthesis on goal-directed agency under resource constraints [6.057587531186626]
目的指向エージェントが生成し、破壊し、交換する価値は、情報と同じカテゴリの法的構造量であることを示す。
価格がフレームに依存していない間、価値はフレーム相対的であり、そのリソースをプールし、その知覚を融合する艦隊が天井を継承する。
論文 参考訳（メタデータ） (2026-06-10T16:11:04Z) - The Geometry of Forgetting: Temporal Knowledge Drift as an Independent Axis in LLM Representations [50.43168858368539]
大規模言語モデルは自信を持って時代遅れの回答を生成し、既存の方法では検出できない。
これは工学的な失敗ではなく構造的な失敗であり、時間的ドリフトは、幾何的に残留流の方向として、正確性と不確実性の両方に符号化される。
論文 参考訳（メタデータ） (2026-05-09T22:27:31Z) - Concepts Whisper While Syntax Shouts: Spectral Anti-Concentration and the Dual Geometry of Transformer Representations [0.0]
5つのアーキテクチャファミリにまたがる残留ストリーム差分ベクトルでは,反集束が観察される。
その結果、コンテクスト化された処理中に意味内容をスペクトル的に静かな領域に回転させることが示唆された。
論文 参考訳（メタデータ） (2026-05-02T21:20:55Z) - Bond-dimension scaling of a local-refinement advantage over hyperoptimized tensor-network contraction on Sycamore like topologies [0.0]
我々は,コテングラテンソル-ネットワーク収縮パイプラインにおける局所再分極の欠如を同定した。
我々は、その影響がシカモア型トポロジーの直交性グラフ上の結合次元とともに単調に増加することを示す。
論文 参考訳（メタデータ） (2026-04-28T11:59:31Z) - Canonicalizing Multimodal Contrastive Representation Learning [76.15228959754727]
ここでは,CLIP,SigLIP,FLAVAなどのモデルファミリにおいて,埋め込み空間間の幾何学的関係が存在することを示す。
この発見は、後方互換性のあるモデルアップグレードを可能にし、コストのかかる再埋め込みを回避し、学習された表現のプライバシに影響を及ぼす。
論文 参考訳（メタデータ） (2026-02-19T18:09:36Z) - Dynamic Large Concept Models: Latent Reasoning in an Adaptive Semantic Space [56.37266873329401]
大規模言語モデル (LLM) は、高度に一様でない情報密度を示す言語にもかかわらず、全てのトークンに一様計算を適用する。
我々は,潜在表現から意味境界を学習し,トークンから推論がより効率的である圧縮概念空間へ移行する階層型言語モデリングフレームワークである$textbfDynamic Large Concept Models (DLCM)$を提案する。
論文 参考訳（メタデータ） (2025-12-31T04:19:33Z) - Group Representational Position Encoding [66.33026480082025]
グループ行動に基づく位置符号化のための統一的なフレームワークであるGRAPEを提案する。
i)乗法回転 (Multiplicative GRAPE) in $mathrmSO(d)$ と (ii)加法ロジットバイアス (Additive GRAPE) は一般線型群 $mathrmGL$ における一等作用から生じる。
論文 参考訳（メタデータ） (2025-12-08T18:39:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。