論文の概要: Measuring the Representational Alignment of Neural Systems in Superposition

• arxiv url: http://arxiv.org/abs/2604.00208v1
• Date: Tue, 31 Mar 2026 20:23:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-02 16:44:31.711015
• Title: Measuring the Representational Alignment of Neural Systems in Superposition
• Title（参考訳）: 重ね合わせにおけるニューラルネットワークの表現アライメントの測定
• Authors: Sunny Liu, Habon Issa, André Longon, Liv Gorton, Meenakshi Khosla, David Klindt,
• Abstract要約: 重ね合わせにおけるニューラルシステムの比較は、生のニューラルミキシングを比較するよりも、基礎となる特徴の抽出と整合が必要であることを示す。 重ね合わせにおけるニューラルシステムの比較には、生のニューラルミキシングを比較するよりも、基礎となる特徴の抽出と整合が必要であると論じる。
• 参考スコア（独自算出の注目度）: 4.843807818823007
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Comparing the internal representations of neural networks is a central goal in both neuroscience and machine learning. Standard alignment metrics operate on raw neural activations, implicitly assuming that similar representations produce similar activity patterns. However, neural systems frequently operate in superposition, encoding more features than they have neurons via linear compression. We derive closed-form expressions showing that superposition systematically deflates Representational Similarity Analysis, Centered Kernel Alignment, and linear regression, causing networks with identical feature content to appear dissimilar. The root cause is that these metrics are dependent on cross-similarity between two systems' respective superposition matrices, which under assumption of random projection usually differ significantly, not on the latent features themselves: alignment scores conflate what a system represents with how it represents it. Under partial feature overlap, this confound can invert the expected ordering, making systems sharing fewer features appear more aligned than systems sharing more. Crucially, the apparent misalignment need not reflect a loss of information; compressed sensing guarantees that the original features remain recoverable from the lower-dimensional activity, provided they are sparse. We therefore argue that comparing neural systems in superposition requires extracting and aligning the underlying features rather than comparing the raw neural mixtures.
• Abstract（参考訳）: ニューラルネットワークの内部表現を比較することは、神経科学と機械学習の両方において中心的な目標である。 標準的なアライメントメトリクスは、類似の表現が同様のアクティビティパターンを生成することを暗黙的に仮定して、生のニューラルアクティベーションで動作する。 しかし、ニューラルネットワークはしばしば重ね合わせで動作し、線形圧縮によってニューロンよりも多くの特徴をコードする。 重ね合わせがRepresentational similarity Analysis, Centered Kernel Alignment, 線形回帰を体系的に表すことを示すクローズドフォーム式を導出し, 同一の特徴量を持つネットワークが相違することを示す。 根本原因は、これらの指標が2つの系の各重ね合わせ行列間の相似性に依存しており、ランダムな射影の仮定の下では、潜在特徴自体によらず、通常大きく異なる。 部分的な機能の重複の下では、この欠点は期待する順序を逆転させ、システムを共有する機能が少なくなると、システムを共有する機能よりも整合性が増す。 圧縮された検知により、低次元の活動から元の特徴が回復可能であることが保証される。 したがって、重ね合わせにおけるニューラルシステムの比較には、生のニューラルミキシングを比較するよりも、基礎となる特徴の抽出と整合が必要であると論じる。

関連論文リスト

• Superposition disentanglement of neural representations reveals hidden alignment [6.015414975356222]
  神経科学とAIにおいて、表現アライメントメトリクスは、異なるディープニューラルネットワーク(DNN)または脳が類似した情報を表現する範囲を測定する。 我々は、厳密な置換度が重ね合わせに依存するかの理論を開発する。 この結果から,ニューラルネットワーク間の真の表現的アライメントを明らかにするためには,重畳不整合(superposition disentanglement)が必要であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-03T17:12:40Z)
• Comparing noisy neural population dynamics using optimal transport distances [6.459101467083055]
  既存のメトリクスは、ノイズのある動的応答を持つニューラルネットワーク間の重要な違いを捉えるのに失敗する可能性があることを示す。 次に,雑音性ニューラルトラジェクトリの幾何を比較するためのメトリクスを提案する。 本研究では,運動系の異なる領域における神経応答モデルの比較と,テキスト・ツー・イメージ合成における潜時拡散モデルのダイナミクスの比較を行う。
  論文  参考訳（メタデータ） (2024-12-19T00:20:24Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
  本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。 また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
  論文  参考訳（メタデータ） (2023-08-28T12:55:13Z)
• Representational dissimilarity metric spaces for stochastic neural networks [4.229248343585332]
  神経表現の類似性を定量化することは、深層学習と神経科学研究における長年の問題である。 形状メトリクスを一般化して表現の違いを定量化する。 神経生物学的指向型視覚格子と自然主義的なシーンはそれぞれ、訓練されていない深層ネットワーク表現と訓練された深部ネットワーク表現に類似している。
  論文  参考訳（メタデータ） (2022-11-21T17:32:40Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Two-argument activation functions learn soft XOR operations like cortical neurons [6.88204255655161]
  本研究では,基底と円錐状デンドライトに類似した2つの入力引数で正準活性化関数を学習する。 顕著なことに、結果として生じる非線形性はしばしばソフトなXOR関数を生成する。 これらの非線形性を持つネットワークは、一致したパラメータ数を持つ従来のReLU非線形性よりも高速に学習し、性能が向上する。
  論文  参考訳（メタデータ） (2021-10-13T17:06:20Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。