論文の概要: Emergent Symbol-like Number Variables in Artificial Neural Networks

• arxiv url: http://arxiv.org/abs/2501.06141v3
• Date: Fri, 15 Aug 2025 19:27:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:09.756546
• Title: Emergent Symbol-like Number Variables in Artificial Neural Networks
• Title（参考訳）: ニューラルネットワークにおける創発的シンボル様数変数
• Authors: Satchel Grant, Noah D. Goodman, James L. McClelland,
• Abstract要約: 単純化されたシンボリックアルゴリズム(SA)のレンズを用いて生のNN活性を解釈できることが示される。 我々はDASフレームワークをより広範なアライメント関数のクラスに拡張し、SAからの解釈可能な変数の観点からNNアクティビティをより柔軟にキャプチャする。 繰り返しモデルでは, 神経活動において, 次数的, 記号的数変数が生成できることが示されている。
• 参考スコア（独自算出の注目度）: 34.388552536773034
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: What types of numeric representations emerge in neural systems, and what would a satisfying answer to this question look like? In this work, we interpret Neural Network (NN) solutions to sequence based number tasks using a variety of methods to understand how well we can interpret them through the lens of interpretable Symbolic Algorithms (SAs) -- precise programs describable by rules and typed, mutable variables. We use autoregressive GRUs, LSTMs, and Transformers trained on tasks where the correct tokens depend on numeric information only latent in the task structure. We show through multiple causal and theoretical methods that we can interpret raw NN activity through the lens of simplified SAs when we frame the activity in terms of neural subspaces rather than individual neurons. Using Distributed Alignment Search (DAS), we find that, depending on network architecture, dimensionality, and task specifications, alignments with SA's can be very high, or they can be only approximate, or fail altogether. We extend our analytic toolkit to address the failure cases by expanding the DAS framework to a broader class of alignment functions that more flexibly capture NN activity in terms of interpretable variables from SAs, and we provide theoretic and empirical explorations of Linear Alignment Functions (LAFs) in contrast to the preexisting Orthogonal Alignment Functions (OAFs). Through analyses of specific cases we confirm the usefulness of causal interventions on neural subspaces for NN interpretability, and we show that recurrent models can develop graded, symbol-like number variables in their neural activity. We further show that shallow Transformers learn very different solutions than recurrent networks, and we prove that such models must use anti-Markovian solutions -- solutions that do not rely on cumulative, Markovian hidden states -- in the absence of sufficient attention layers.
• Abstract（参考訳）: ニューラルネットワークにどのような数値表現が現れるのか、この疑問に対する満足のいく答えはどのようなものでしょう? 本研究では、ニューラルネットワーク(NN)ソリューションをシーケンスベースの数値タスクに解釈し、解釈可能なシンボリックアルゴリズム(SAs) -- 規則と型付けされた可変変数で記述可能な正確なプログラムを通して、それらをいかにうまく解釈できるかを理解する。 自動回帰GRU、LSTM、およびトランスフォーマーを用いて、正しいトークンがタスク構造に潜入した数値情報に依存するタスクを訓練する。 複数の因果的および理論的手法を用いて、個々のニューロンではなく神経サブスペースで活性をフレーム化する際に、単純化されたSAのレンズを通して生のNN活性を解釈できることを示す。 分散アライメントサーチ(DAS)を用いることで、ネットワークアーキテクチャ、次元、タスク仕様に依存して、SAとのアライメントが非常に高くなり得ること、あるいはそれらが近似可能であること、あるいは完全に失敗できることが分かる。 本研究では,従来の直交配向関数(OAF)とは対照的に,線形配向関数(LAF)の理論的および実証的な探索を行う。 特定の症例の分析を通して,NNの解釈可能性に対する神経サブスペースに対する因果的介入の有用性を確認し,その神経活動において,反復モデルが次数的,記号的数変数を発達させることができることを示す。 さらに、浅層トランスフォーマーは、リカレントネットワークとは全く異なる解を学習していることを示し、そのようなモデルは、十分な注意層が存在しない状態で、累積的マルコフ隠れ状態に依存しない解である反マルコフ解を使わなければならないことを証明した。

関連論文リスト

• From Neurons to Neutrons: A Case Study in Interpretability [5.242869847419834]
  高次元ニューラルネットワークはトレーニングデータの低次元表現を学習することができると我々は主張する。 このことは、解釈可能性に対するそのようなアプローチが、問題を解決するために訓練されたモデルから問題に対する新しい理解を導き出すのに有用であることを示している。
  論文  参考訳（メタデータ） (2024-05-27T17:59:35Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Identifying Interpretable Visual Features in Artificial and Biological Neural Systems [3.604033202771937]
  ニューラルネットワークの単一ニューロンはしばしば、個々の直感的に意味のある特徴を表すものとして解釈される。 多くのニューロンは$textitmixed selectivity$、すなわち複数の無関係な特徴を示す。 本稿では、視覚的解釈可能性の定量化と、ネットワークアクティベーション空間における意味のある方向を見つけるためのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-17T17:41:28Z)
• Sparse Autoencoders Find Highly Interpretable Features in Language Models [0.0]
  多意味性は、ニューラルネットワークが内部で何をしているのかについて、簡潔で理解しやすい説明を見つけるのを妨げます。 スパースオートエンコーダを用いて言語モデルの内部アクティベーションを再構築する。 我々の手法は将来の機械的解釈可能性の基盤となるかもしれない。
  論文  参考訳（メタデータ） (2023-09-15T17:56:55Z)
• Transferability of coVariance Neural Networks and Application to Interpretable Brain Age Prediction using Anatomical Features [119.45320143101381]
  グラフ畳み込みネットワーク(GCN)は、トポロジー駆動のグラフ畳み込み演算を利用して、推論タスクのためにグラフをまたいだ情報を結合する。 我々は、共分散行列をグラフとして、共分散ニューラルネットワーク(VNN)の形でGCNを研究した。 VNNは、GCNからスケールフリーなデータ処理アーキテクチャを継承し、ここでは、共分散行列が極限オブジェクトに収束するデータセットに対して、VNNが性能の転送可能性を示すことを示す。
  論文  参考訳（メタデータ） (2023-05-02T22:15:54Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Invariants for neural automata [0.0]
  我々は,異なる符号化条件下でのニューラルオートマトンの対称性と不変性を調べるための公式な枠組みを開発する。 我々の研究は、ニューロシンボリックプロセッサを用いた実世界の実測値の回帰研究において極めて重要である可能性がある。
  論文  参考訳（メタデータ） (2023-02-04T11:40:40Z)
• PCACE: A Statistical Approach to Ranking Neurons for CNN Interpretability [1.0742675209112622]
  ネットワークのどの畳み込み層にも隠れたニューロンをランク付けするための新しい統計手法を提案する。 街路画像を用いた大気汚染予測への本手法の実際の応用について述べる。
  論文  参考訳（メタデータ） (2021-12-31T17:54:57Z)
• Detecting Modularity in Deep Neural Networks [8.967870619902211]
  ネットワークニューロンの分割によるモジュラリティ評価の問題点を考察する。 本稿では,ニューロンがネットワーク性能にいかに重要かを反映した重要度と,そのニューロンが入力の特徴といかに常に関連しているかを反映したコヒーレンスという2つのプロキシを提案する。 これらの分割は、重みのみに基づくものであっても、重要で一貫性のあるニューロンのグループを明らかにします。
  論文  参考訳（メタデータ） (2021-10-13T20:33:30Z)
• Neuron-based explanations of neural networks sacrifice completeness and interpretability [67.53271920386851]
  我々は、ImageNetで事前訓練されたAlexNetに対して、ニューロンに基づく説明法が完全性と解釈可能性の両方を犠牲にすることを示す。 我々は、最も重要な主成分が、最も重要なニューロンよりも完全で解釈可能な説明を提供することを示す。 この結果から,AlexNet などのネットワークに対する説明手法は,ニューロンを埋め込みの基盤として使用するべきではないことが示唆された。
  論文  参考訳（メタデータ） (2020-11-05T21:26:03Z)
• Stability of Algebraic Neural Networks to Small Perturbations [179.55535781816343]
  Algebraic Neural Network (AlgNN) は、代数的信号モデルと関連する各層のカスケードで構成されている。 畳み込みという形式的な概念を用いるアーキテクチャは、シフト演算子の特定の選択を超えて、いかに安定であるかを示す。
  論文  参考訳（メタデータ） (2020-10-22T09:10:16Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)
• Mean-Field and Kinetic Descriptions of Neural Differential Equations [0.0]
  この研究では、ニューラルネットワークの特定のクラス、すなわち残留ニューラルネットワークに焦点を当てる。 我々は、ネットワークのパラメータ、すなわち重みとバイアスに関する定常状態と感度を分析する。 残留ニューラルネットワークにインスパイアされた微視的ダイナミクスの修正は、ネットワークのフォッカー・プランクの定式化につながる。
  論文  参考訳（メタデータ） (2020-01-07T13:41:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。