論文の概要: Gauge Freedom and Metric Dependence in Neural Representation Spaces

• arxiv url: http://arxiv.org/abs/2603.06774v1
• Date: Fri, 06 Mar 2026 17:54:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:13.102431
• Title: Gauge Freedom and Metric Dependence in Neural Representation Spaces
• Title（参考訳）: ニューラル表現空間におけるゲージ自由度と距離依存性
• Authors: Jericho Cain,
• Abstract要約: 一般線型群の下でゲージ自由度を持つベクトル空間としてニューラル表現空間を研究する。 我々はコサイン類似度などのコサイン類似度が計量依存量となることを示す。 多層パーセプトロンと畳み込みネットワークの実験により、訓練されたモデルに可逆変換を挿入すると、コサイン類似性と最も近い隣り合う構造が実質的に歪むことが確認された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural network representations are often analyzed as vectors in a fixed Euclidean space. However, their coordinates are not uniquely defined. If a hidden representation is transformed by an invertible linear map, the network function can be preserved by applying the inverse transformation to downstream weights. Representations are therefore defined only up to invertible linear transformations. We study neural representation spaces from this geometric viewpoint and treat them as vector spaces with a gauge freedom under the general linear group. Within this framework, commonly used similarity measures such as cosine similarity become metric-dependent quantities whose values can change under coordinate transformations that leave the model function unchanged. This provides a common interpretation for several observations in the literature, including cosine-similarity instability, anisotropy in embedding spaces, and the appeal of representation comparison methods such as SVCCA and CKA. Experiments on multilayer perceptrons and convolutional networks confirm that inserting invertible transformations into trained models can substantially distort cosine similarity and nearest-neighbor structure while leaving predictions unchanged. These results indicate that analysis of neural representations should focus either on quantities that are invariant under this gauge freedom or on explicitly chosen canonical coordinates.
• Abstract（参考訳）: ニューラルネットワーク表現は、しばしば固定ユークリッド空間のベクトルとして解析される。 しかし、それらの座標は一意に定義されていない。 隠蔽表現が可逆線型写像によって変換された場合、ネットワーク関数は下流の重みに逆変換を適用することで保存できる。 したがって、表現は可逆線型変換にのみ定義される。 この幾何学的視点からニューラル表現空間を研究し、一般線型群の下でゲージ自由度を持つベクトル空間として扱う。 この枠組みの中では、コサイン類似性のようなよく使われる類似度尺度が計量依存量となり、その値は座標変換の下で変化し、モデル関数は変化しない。 これは、コサイン-相似不安定性、埋め込み空間における異方性、SVCCAやCKAのような表現比較手法の魅力など、文献におけるいくつかの観察の共通解釈を提供する。 多層パーセプトロンと畳み込みネットワークの実験により、トレーニングされたモデルに非可逆変換を挿入することで、予測をそのまま残しながらコサイン類似性と最も近い隣の構造を実質的に歪ませることができることを確認した。 これらの結果は、ニューラル表現の分析がこのゲージ自由度の下で不変な量か、明示的に選択された標準座標に焦点をあてるべきであることを示している。

関連論文リスト

• Fubini Study geometry of representation drift in high dimensional data [0.0]
  高次元表現のドリフトは、ユークリッド距離またはコサイン距離を用いて一般的に定量化される。 フービニ・スタディ・メトリックスにおいて,表現漂流の射影幾何学的視点を導入する。 フービニ・スタディ(Fubini Study)測度は、ゲージ誘起揺らぎの下での残留不変量による内在的進化を分離することを示した。
  論文  参考訳（メタデータ） (2026-02-01T16:00:59Z)
• Gauge-invariant representation holonomy [1.078600700827543]
  深層ネットワークは、幾何学的特徴を持つ内部表現(曲がり、回転、進化)を学習し、一般化と堅牢性の両方に影響を及ぼす。 CKAやSVCCAのような既存の類似度尺度は、アクティベーションセット間でポイントワイドに重なるが、入力パスに沿って表現がどのように変化するかを見逃す。 この経路依存性を測定するゲージ不変統計量である表現ホロノミーを導入する。
  論文  参考訳（メタデータ） (2026-01-29T12:51:17Z)
• Generalized Linear Mode Connectivity for Transformers [87.32299363530996]
  驚くべき現象はリニアモード接続(LMC)であり、独立に訓練されたモデルを低損失またはゼロ損失の経路で接続することができる。 以前の研究は主に置換によるニューロンの並べ替えに焦点を合わせてきたが、そのようなアプローチは範囲に限られている。 我々は、4つの対称性クラス(置換、半置換、変換、一般可逆写像)をキャプチャする統一的なフレームワークを導入する。 この一般化により、独立に訓練された視覚変換器とGPT-2モデルの間の低障壁とゼロバリア線形経路の発見が可能となった。
  論文  参考訳（メタデータ） (2025-06-28T01:46:36Z)
• Unsupervised Representation Learning from Sparse Transformation Analysis [79.94858534887801]
  本稿では,潜在変数のスパース成分への変換を分解し,シーケンスデータから表現を学習することを提案する。 入力データは、まず潜伏活性化の分布として符号化され、その後確率フローモデルを用いて変換される。
  論文  参考訳（メタデータ） (2024-10-07T23:53:25Z)
• PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
  PseudoNeg-MAEは、ポイントクラウドマスマスキングオートエンコーダのグローバルな特徴表現を強化する。 本研究では,ネットワークが識別的表現を保ちながら,よりリッチな変換キューをキャプチャできる新たな損失を提案する。
  論文  参考訳（メタデータ） (2024-09-24T07:57:21Z)
• EqNIO: Subequivariant Neural Inertial Odometry [33.96552018734359]
  重力ベクトルの周りで回転すると、IMUデータは等変的に変形し、重力に平行な任意の平面に対して反射することを示す。 そして、IMUデータをこのフレームにマッピングし、既製の慣性オドメトリーネットワークで直接使用できる不変な正準化を実現する。
  論文  参考訳（メタデータ） (2024-08-12T17:42:46Z)
• Optimization Dynamics of Equivariant and Augmented Neural Networks [2.7918308693131135]
  対称データに基づくニューラルネットワークの最適化について検討する。 アーキテクチャを制約する戦略を、データ拡張を使用する戦略と同等に扱う戦略と比較する。 後者の状況においても, 定常点が拡張トレーニングにおいて不安定であることは明らかだが, 明らかな同変モデルに対しては安定である。
  論文  参考訳（メタデータ） (2023-03-23T17:26:12Z)
• Revisiting Transformation Invariant Geometric Deep Learning: An Initial Representation Perspective [38.314914702299056]
  我々は幾何学的データのための単純で汎用的なプラグインであるTransform In Neural Networks (TinvNN)を提案する。 具体的には,多次元スケーリングを改良することにより,変換不変性と距離保存初期点表現を実現する。 我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
  論文  参考訳（メタデータ） (2021-12-23T03:52:33Z)
• Tensor Component Analysis for Interpreting the Latent Space of GANs [41.020230946351816]
  本稿では,GANの潜在空間における解釈可能な方向を求める問題に対処する。 提案手法では,テンソルの個々のモードに対応する線形編集と,それらの間の乗法的相互作用をモデル化する非線形編集が可能である。 実験により, 前者は幾何に基づく変換から, 後者は拡張可能な変換を生成できることを示す。
  論文  参考訳（メタデータ） (2021-11-23T09:14:39Z)
• Topographic VAEs learn Equivariant Capsules [84.33745072274942]
  本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
  論文  参考訳（メタデータ） (2021-09-03T09:25:57Z)
• Invariant Deep Compressible Covariance Pooling for Aerial Scene Categorization [80.55951673479237]
  本研究では,空気シーン分類におけるニュアンス変動を解決するために,新しい不変な深部圧縮性共分散プール (IDCCP) を提案する。 本研究では,公開空間画像データセットに関する広範な実験を行い,最先端の手法と比較して,この手法の優位性を実証する。
  論文  参考訳（メタデータ） (2020-11-11T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。