論文の概要: Gauge-invariant representation holonomy

• arxiv url: http://arxiv.org/abs/2601.21653v1
• Date: Thu, 29 Jan 2026 12:51:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.822999
• Title: Gauge-invariant representation holonomy
• Title（参考訳）: ゲージ不変表現ホロノミー
• Authors: Vasileios Sevetlidis, George Pavlidis,
• Abstract要約: 深層ネットワークは、幾何学的特徴を持つ内部表現(曲がり、回転、進化)を学習し、一般化と堅牢性の両方に影響を及ぼす。 CKAやSVCCAのような既存の類似度尺度は、アクティベーションセット間でポイントワイドに重なるが、入力パスに沿って表現がどのように変化するかを見逃す。 この経路依存性を測定するゲージ不変統計量である表現ホロノミーを導入する。
• 参考スコア（独自算出の注目度）: 1.078600700827543
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep networks learn internal representations whose geometry--how features bend, rotate, and evolve--affects both generalization and robustness. Existing similarity measures such as CKA or SVCCA capture pointwise overlap between activation sets, but miss how representations change along input paths. Two models may appear nearly identical under these metrics yet respond very differently to perturbations or adversarial stress. We introduce representation holonomy, a gauge-invariant statistic that measures this path dependence. Conceptually, holonomy quantifies the "twist" accumulated when features are parallel-transported around a small loop in input space: flat representations yield zero holonomy, while nonzero values reveal hidden curvature. Our estimator fixes gauge through global whitening, aligns neighborhoods using shared subspaces and rotation-only Procrustes, and embeds the result back to the full feature space. We prove invariance to orthogonal (and affine, post-whitening) transformations, establish a linear null for affine layers, and show that holonomy vanishes at small radii. Empirically, holonomy increases with loop radius, separates models that appear similar under CKA, and correlates with adversarial and corruption robustness. It also tracks training dynamics as features form and stabilize. Together, these results position representation holonomy as a practical and scalable diagnostic for probing the geometric structure of learned representations beyond pointwise similarity.
• Abstract（参考訳）: 深層ネットワークは、幾何学的特徴を持つ内部表現(曲がり、回転、進化)を学習し、一般化と堅牢性の両方に影響を及ぼす。 CKAやSVCCAのような既存の類似度尺度は、アクティベーションセット間でポイントワイドに重なるが、入力パスに沿って表現がどのように変化するかを見逃す。 2つのモデルはこれらの指標の下でほぼ同一に見えるが、摂動や逆ストレスに非常に異なる反応を示す。 この経路依存性を測定するゲージ不変統計量である表現ホロノミーを導入する。 概念的には、ホロノミーは、特徴が入力空間の小さなループの周りに平行に輸送されるときに蓄積される「ツイスト」を定量化する:平坦な表現はホロノミーをゼロとし、非ゼロの値は隠れ曲率を明らかにする。 我々の推定器は、グローバルなホワイトニングを通してゲージを固定し、共有部分空間と回転のみのプロクリストを用いて近隣をアライメントし、その結果を全特徴空間に埋め込む。 直交(およびアフィン、後白化)変換に対する不変性を証明し、アフィン層に対する線型ヌルを確立し、ホロノミーが小さな半径で消えることを示す。 経験的に、ホロノミーはループ半径によって増加し、CKAの下で類似しているように見えるモデルを分離し、逆数や汚職の堅牢性と相関する。 また、トレーニングのダイナミクスを、機能として、そして安定性として追跡する。 これらの結果と合わせて、ホロノミーは、ポイントワイドな類似性を超えた、学習された表現の幾何学的構造を探索するための実用的でスケーラブルな診断方法として位置づけられる。

関連論文リスト

• Local-Curvature-Aware Knowledge Graph Embedding: An Extended Ricci Flow Approach [4.686364613477057]
  知識グラフの埋め込みは、意味的および構造的関係を符号化するために埋め込み空間の幾何学に依存する。 拡張リッチ流における局所曲率とKGE勾配損失を結合させるRicciKGEを提案する。 リンク予測とノード分類ベンチマークの実験的改善により、RicciKGEが不均一な知識グラフ構造に適応することを示す。
  論文  参考訳（メタデータ） (2025-12-08T09:20:06Z)
• The Curved Spacetime of Transformer Architectures [0.3670422696827525]
  本稿では,トランスフォーマーに基づく言語モデルを理解するための幾何学的枠組みを提案する。 トークン埋め込みは特徴空間の直線経路を横切るべきではないことを示し、代わりに、それらの層回りのステップは、空間曲率の埋め込みによって媒介される相互作用として屈曲し、順応するべきである。
  論文  参考訳（メタデータ） (2025-11-04T22:58:40Z)
• Curved Inference: Concern-Sensitive Geometry in Large Language Model Residual Streams [0.0]
  本稿では,大言語モデルの残差ストリーム軌跡が意味的関心事の変化に応じてどのように曲げられるかを追跡する幾何学的解釈可能性フレームワークを提案する。 Gemma3-1bとLLaMA3.2-3bを5つのネイティブ空間メトリクスを用いて解析し、曲率(kappa_i)とサリエンス(S(t))に着目した。 いずれのモデルにおいても,アクティベーショントラジェクトリが確実に変更されることが示唆された。
  論文  参考訳（メタデータ） (2025-07-08T23:05:00Z)
• Generalized Linear Mode Connectivity for Transformers [87.32299363530996]
  驚くべき現象はリニアモード接続(LMC)であり、独立に訓練されたモデルを低損失またはゼロ損失の経路で接続することができる。 以前の研究は主に置換によるニューロンの並べ替えに焦点を合わせてきたが、そのようなアプローチは範囲に限られている。 我々は、4つの対称性クラス(置換、半置換、変換、一般可逆写像)をキャプチャする統一的なフレームワークを導入する。 この一般化により、独立に訓練された視覚変換器とGPT-2モデルの間の低障壁とゼロバリア線形経路の発見が可能となった。
  論文  参考訳（メタデータ） (2025-06-28T01:46:36Z)
• Gradient-Based Feature Learning under Structured Data [57.76552698981579]
  異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。 バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。 特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
  論文  参考訳（メタデータ） (2023-09-07T16:55:50Z)
• Shape And Structure Preserving Differential Privacy [70.08490462870144]
  正方形距離関数の勾配がラプラス機構よりも感度をよりよく制御できることを示す。 また,2乗距離関数の勾配を用いることで,ラプラス機構よりも感度を制御できることを示す。
  論文  参考訳（メタデータ） (2022-09-21T18:14:38Z)
• A Model for Multi-View Residual Covariances based on Perspective Deformation [88.21738020902411]
  マルチビューSfM, オードメトリ, SLAMセットアップにおける視覚的残差の共分散モデルの導出を行う。 我々は、合成データと実データを用いてモデルを検証し、それを光度および特徴量に基づくバンドル調整に統合する。
  論文  参考訳（メタデータ） (2022-02-01T21:21:56Z)
• Geometric phase in a dissipative Jaynes-Cummings model: theoretical explanation for resonance robustness [68.8204255655161]
  我々は、ユニタリモデルと散逸型Jaynes-Cummingsモデルの両方で得られた幾何位相を計算する。 散逸モデルでは、非単体効果は、空洞壁を通る光子の流出から生じる。 幾何学的位相が堅牢であることを示し、非単体進化の下で消滅する補正を示す。
  論文  参考訳（メタデータ） (2021-10-27T15:27:54Z)
• Manifold Learning via Manifold Deflation [105.7418091051558]
  次元削減法は、高次元データの可視化と解釈に有用な手段を提供する。 多くの一般的な手法は単純な2次元のマニフォールドでも劇的に失敗する。 本稿では,グローバルな構造を座標として組み込んだ,新しいインクリメンタルな空間推定器の埋め込み手法を提案する。 実験により,本アルゴリズムは実世界および合成データセットに新規で興味深い埋め込みを復元することを示した。
  論文  参考訳（メタデータ） (2020-07-07T10:04:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。