論文の概要: A Gauge Theory of Superposition: Toward a Sheaf-Theoretic Atlas of Neural Representations

• arxiv url: http://arxiv.org/abs/2603.00824v1
• Date: Sat, 28 Feb 2026 22:05:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-03 19:50:56.37503
• Title: A Gauge Theory of Superposition: Toward a Sheaf-Theoretic Atlas of Neural Representations
• Title（参考訳）: 重ね合わせのゲージ理論--神経表現の層論的アトラスに向けて
• Authors: Hossein Javidnia,
• Abstract要約: 本研究では,大言語モデル(LLM)における重ね合わせの枠組みを開発し,局所意味チャートの層理論的アトラスに置き換える。 コンテキストは階層化されたコンテキスト複合体にクラスタ化され、各チャートは局所的な特徴空間と局所的な情報幾何学的計量を持つ。 これにより、フィッシャー重み付き干渉エネルギーと3つの測定可能な障害物が大域的解釈可能性に結びつく。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We develop a discrete gauge-theoretic framework for superposition in large language models (LLMs) that replaces the single-global-dictionary premise with a sheaf-theoretic atlas of local semantic charts. Contexts are clustered into a stratified context complex; each chart carries a local feature space and a local information-geometric metric (Fisher/Gauss--Newton) identifying predictively consequential feature interactions. This yields a Fisher-weighted interference energy and three measurable obstructions to global interpretability: (O1) local jamming (active load exceeds Fisher bandwidth), (O2) proxy shearing (mismatch between geometric transport and a fixed correspondence proxy), and (O3) nontrivial holonomy (path-dependent transport around loops). We prove and instantiate four results on a frozen open LLM (Llama~3.2~3B Instruct) using WikiText-103, a C4-derived English web-text subset, and \texttt{the-stack-smol}. (A) After constructive gauge fixing on a spanning tree, each chord residual equals the holonomy of its fundamental cycle, making holonomy computable and gauge-invariant. (B) Shearing lower-bounds a data-dependent transfer mismatch energy, turning $D_{\mathrm{shear}}$ into an unavoidable failure bound. (C) We obtain non-vacuous certified jamming/interference bounds with high coverage and zero violations across seeds/hyperparameters. (D) Bootstrap and sample-size experiments show stable estimation of $D_{\mathrm{shear}}$ and $D_{\mathrm{hol}}$, with improved concentration on well-conditioned subsystems.
• Abstract（参考訳）: 本研究では,大言語モデル(LLM)における重畳のための離散ゲージ理論フレームワークを開発した。 各チャートは、局所的な特徴空間と、予測的連続的な特徴相互作用を識別する局所的な情報幾何学的計量(Fisher/Gauss--Newton)を包含する。 これはフィッシャー重み付き干渉エネルギーと、(O1)局所ジャミング(アクティブな負荷はフィッシャー帯域を超える)、(O2)プロキシシーリング(幾何学的輸送と固定された対応プロキシ間のミスマッチ)、(O3)非自明なホロノミー(ループ周りのパス依存的な輸送)である。 C4 由来の Web テキストサブセットである WikiText-103 と \texttt{the-stack-smol} を用いて,フリーズオープン LLM (Llama~3.2~3B 命令) の 4 つの結果の検証とインスタンス化を行う。 (A) スパンニングツリーに構成ゲージを固定した後、各コード残余はその基本サイクルのホロノミーに等しいので、ホロノミーは計算可能でゲージ不変である。 (B)シーリングはデータ依存の転送ミスマッチエネルギーを低くし、$D_{\mathrm{shear}}$を避けられない障害バウンダリに変換する。 (C) シード/ハイパーパラメータ間の高いカバレッジとゼロ違反を有する非空きジャミング/干渉境界を得る。 (D)ブートストラップとサンプルサイズ実験は、よく調和したサブシステムへの濃度の改善とともに、$D_{\mathrm{shear}}$と$D_{\mathrm{hol}}$の安定な推定を示す。

関連論文リスト

• Entropy-Controlled Flow Matching [0.08460698440162889]
  本稿では,グローバルエントロピーレートの予算d/dt H(mu_t) >=-lambdaを強制する連続性方程式パスに対する制約付き変分原理を提案する。 そこで我々は,Lipschitzによる証明型モード被覆と密度フロア保証を取得し,非拘束フローマッチングのための準最適逆例を構築した。
  論文  参考訳（メタデータ） (2026-02-25T06:07:01Z)
• Bell-like States in Classical Optics: A Process-Theoretic and Sheaf-Theoretic (Categorical) Clarification [0.0]
  古典偏光光学は自然に2次元複素ヒルベルト空間(ジョーンズ)ベクトルによって記述される。 統計的(確率的な)光学場では、2ビームの偏光状態が量子強度の文脈性相関を示すのが好適である。 同じプラットフォームは、ストレステスト用のBell/CHSHと、現実的な不完全な状況下でのコンテキスト性の目撃者のための、調整可能で低コストなテストベッドを提供する。
  論文  参考訳（メタデータ） (2026-02-16T06:40:05Z)
• Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
  モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。 累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。 主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
  論文  参考訳（メタデータ） (2026-02-10T21:08:53Z)
• Riemannian Flow Matching for Disentangled Graph Domain Adaptation [51.98961391065951]
  グラフドメイン適応(GDA)は典型的には、ユークリッド空間におけるグラフ埋め込みの整列に逆学習を使用する。 DisRFMは、埋め込みとフローベースのトランスポートを統一する幾何学的なGDAフレームワークである。
  論文  参考訳（メタデータ） (2026-01-31T11:05:35Z)
• Latent Object Permanence: Topological Phase Transitions, Free-Energy Principles, and Renormalization Group Flows in Deep Transformer Manifolds [0.5729426778193398]
  幾何学的および統計的物理レンズを用いた深部変圧器言語モデルにおける多段階推論の出現について検討する。 我々は、フォワードパスを離散粗粒度写像として形式化し、安定な「概念盆地」の出現と、この再正規化のような力学の固定点を関連付ける。 結果として生じる低エントロピー状態は、スペクトルテール崩壊と、表現空間における過渡的で再利用可能なオブジェクトのような構造の形成によって特徴づけられる。
  論文  参考訳（メタデータ） (2026-01-16T23:11:02Z)
• Rectified Diffusion Guidance for Conditional Generation [94.83538269086613]
  CFGの背後にある理論を再検討し、不適切な組合せ係数(textiti.e.)が生成分布を期待的にシフトさせることを厳密に確認する。 提案手法は, 強みを考慮すれば, textbftextitform ソリューションが有効であることを示す。 実世界のデータに関する実証的な証拠は、我々の設計と既存の最先端拡散モデルとの整合性を実証している。
  論文  参考訳（メタデータ） (2024-10-24T13:41:32Z)
• Closed-Loop Unsupervised Representation Disentanglement with $β$-VAE Distillation and Diffusion Probabilistic Feedback [26.935057415769876]
  表現の混乱は、AIが現実世界を根本的に理解し、差別と生成の両方に利益をもたらす可能性がある。 我々はtextbfCL-Dis と呼ばれる textbfCL-Disentanglement アプローチを提案する。 実画像操作や視覚解析といったアプリケーションにおけるCL-Disの優位性を示す実験がある。
  論文  参考訳（メタデータ） (2024-02-04T05:03:22Z)
• Quantum Darwinism-encoding transitions on expanding trees [0.0]
  ブロードキャストとスクランブルの間を補間する量子力学は情報伝達の鋭い位相遷移を示す可能性があることを示す。 QD、中間および符号化の3つのフェーズと、2つの連続的な遷移を見出す。
  論文  参考訳（メタデータ） (2023-12-07T13:08:11Z)
• Bayesian Renormalization [68.8204255655161]
  ベイズ統計的推論にインスパイアされた再正規化に対する完全情報理論的アプローチを提案する。 ベイズ再正規化の主な洞察は、フィッシャー計量が創発的RGスケールの役割を担う相関長を定義することである。 本研究では,ベイズ正規化方式が既存のデータ圧縮法やデータ生成法とどのように関係しているかを考察する。
  論文  参考訳（メタデータ） (2023-05-17T18:00:28Z)
• Averaging Spatio-temporal Signals using Optimal Transport and Soft Alignments [110.79706180350507]
  Fr'teche は双対性を意味し, 時間的バレシェセンタを定義するために提案した損失が有効であることを示す。 手書き文字と脳画像データによる実験は、我々の理論的発見を裏付けるものである。
  論文  参考訳（メタデータ） (2022-03-11T09:46:22Z)
• Robust Self-Supervised LiDAR Odometry via Representative Structure Discovery and 3D Inherent Error Modeling [67.75095378830694]
  そこで我々は,2段階のオドメトリ推定ネットワークを構築し,一連の部分領域変換を推定してエゴモーメントを求める。 本稿では,トレーニング,推論,マッピングフェーズにおける信頼できない構造の影響を軽減することを目的とする。 我々の2フレームのオードメトリーは、翻訳/回転誤差の点で、過去の芸術の状態を16%/12%上回っている。
  論文  参考訳（メタデータ） (2022-02-27T12:52:27Z)
• Unifying supervised learning and VAEs -- coverage, systematics and goodness-of-fit in normalizing-flow based neural network models for astro-particle reconstructions [0.0]
  統計的不確実性、包括性、体系的不確実性、あるいは適度な尺度はしばしば計算されない。 データとラベルの共分散のKL分割の目的は、教師付き学習と変分オートエンコーダの統合を可能にすることを示す。 本稿では,特定の「基本順序」輪郭の数値積分を伴わずにカバレッジ確率を計算する方法について論じる。
  論文  参考訳（メタデータ） (2020-08-13T11:28:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。