論文の概要: Not all solutions are created equal: An analytical dissociation of functional and representational similarity in deep linear neural networks

• arxiv url: http://arxiv.org/abs/2609.38998v1
• Date: Wed, 30 Sep 2026 05:12:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.20563
• Title: Not all solutions are created equal: An analytical dissociation of functional and representational similarity in deep linear neural networks
• Title（参考訳）: すべての解が等しく作られるわけではない:深い線形ニューラルネットワークにおける機能的および表現的類似性の解析的解離
• Abstract要約: 関数と表現が解離していることを示し、関数的類似性を伴わずに表現的類似性を許容し、その逆を許容する。 この結果から,表現的アライメントは機能的アライメント以外の計算上の優位性を反映していることが示唆された。
• 参考スコア（独自算出の注目度）: 20.469707054911485
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: A foundational principle of connectionism is that perception, action, and cognition emerge from parallel computations among simple, interconnected units that generate and rely on neural representations. Accordingly, researchers employ multivariate pattern analysis to decode and compare the neural codes of artificial and biological networks, aiming to uncover their functions. However, there is limited analytical understanding of how a network's representation and function relate, despite this being essential to any quantitative notion of underlying function or functional similarity. We address this question using analysable two-layer linear networks and numerical simulations in non-linear networks. We find that function and representation are dissociated, allowing representational similarity without functional similarity and vice versa. Further, we show that neither robustness to input noise nor the level of generalization error constrain representations to the task. In contrast, networks robust to parameter noise have limited representational flexibility and must employ task-specific representations. Our findings suggest that representational alignment reflects computational advantages beyond functional alignment alone, with significant implications for interpreting and comparing the representations of connectionist systems.
• Abstract（参考訳）: コネクショナリズムの基本的な原理は、知覚、行動、認知は、神経表現を生成・依存する単純な相互接続ユニット間の並列計算から生まれることである。 そのため、研究者は多変量パターン解析を用いて、人工ネットワークと生物学的ネットワークの神経コードをデコードし、比較し、その機能を明らかにすることを目的としている。 しかしながら、ネットワークの表現と関数の関連性については、基礎となる関数や機能的類似性の定量的概念に必須であるにもかかわらず、分析的な理解が限られている。 解析可能な2層線形ネットワークと非線形ネットワークにおける数値シミュレーションを用いてこの問題に対処する。 関数と表現は解離しており、関数的類似性なしに表現的類似性を許容し、その逆も可能である。 さらに、入力ノイズに対するロバスト性も、タスクに対する一般化誤差制約表現のレベルも示さない。 対照的に、パラメータノイズに頑健なネットワークは表現の柔軟性が限られており、タスク固有の表現を使わなければならない。 この結果から,表現的アライメントは機能的アライメントを超越した計算上の優位性を反映し,コネクショナリストシステムの表現の解釈と比較に重要な意味があることが示唆された。

関連論文リスト

• Functional Equivalence and Geometric Diversity in Neural Network Approximations: An Empirical Characterization [0.0]
  ニューラルネットワーク近似の関数同値性と幾何学的多様性をいくつかの基本的な数学的関数に解析する。 この研究は、機能的に区別できないが幾何学的に多様性のあるネットワークの大きな同値類を明らかにする。 パーシモニー,推定容易性,推論効率に基づく最適モデルを特定するために,モデル選択基準を提案する。
  論文  参考訳（メタデータ） (2026-07-21T10:12:03Z)
• Representation biases: will we achieve complete understanding by analyzing representations? [8.158699242992691]
  機械学習における最近の研究は、学習された特徴表現が過剰に表現される可能性があることを示している。 これらのバイアスは、表現分析を通じてシステムを完全に理解する上での課題となる可能性がある。
  論文  参考訳（メタデータ） (2025-07-29T20:25:09Z)
• Relational Composition in Neural Networks: A Survey and Call to Action [54.47858085003077]
  多くのニューラルネットは、データを「機能ベクトル」の線形結合として表現しているように見える。 我々は、この成功は関係性の構成を理解せずに不完全であると主張する。
  論文  参考訳（メタデータ） (2024-07-19T20:50:57Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Going Beyond Neural Network Feature Similarity: The Network Feature Complexity and Its Interpretation Using Category Theory [64.06519549649495]
  機能的に等価な機能と呼ぶものの定義を提供します。 これらの特徴は特定の変換の下で等価な出力を生成する。 反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-10T16:27:12Z)
• On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
  合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。 単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
  論文  参考訳（メタデータ） (2022-06-09T16:24:01Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。