論文の概要: Emergent Symbol-like Number Variables in Artificial Neural Networks

• arxiv url: http://arxiv.org/abs/2501.06141v2
• Date: Thu, 24 Apr 2025 02:48:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-26 01:33:38.465557
• Title: Emergent Symbol-like Number Variables in Artificial Neural Networks
• Title（参考訳）: ニューラルネットワークにおける創発的シンボル様数変数
• Authors: Satchel Grant, Noah D. Goodman, James L. McClelland,
• Abstract要約: 我々は,解釈可能なアルゴリズムを用いて,ニューラルネットワーク(NN)の解法をいかに理解できるかを理解することを目指している。 我々は、数値タスクでNext Token Prediction(NTP)を用いて訓練されたGRU、LSTM、Transformerを使用する。 複数の因果的・理論的手法を用いて、単純化されたSAのレンズを通してNNの生活動を解釈できることを示す。
• 参考スコア（独自算出の注目度）: 34.388552536773034
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: What types of numeric representations emerge in neural systems? What would a satisfying answer to this question look like? In this work, we interpret Neural Network (NN) solutions to sequence based counting tasks through a variety of lenses. We seek to understand how well we can understand NNs through the lens of interpretable Symbolic Algorithms (SAs), where SAs are defined by precise, abstract, mutable variables used to perform computations. We use GRUs, LSTMs, and Transformers trained using Next Token Prediction (NTP) on numeric tasks where the solutions to the tasks depend on numeric information only latent in the task structure. We show through multiple causal and theoretical methods that we can interpret NN's raw activity through the lens of simplified SAs when we frame the neural activity in terms of interpretable subspaces rather than individual neurons. Depending on the analysis, however, these interpretations can be graded, existing on a continuum, highlighting the philosophical question of what it means to "interpret" neural activity, and motivating us to introduce Alignment Functions to add flexibility to the existing Distributed Alignment Search (DAS) method. Through our specific analyses we show the importance of causal interventions for NN interpretability; we show that recurrent models develop graded, symbol-like number variables within their neural activity; we introduce a generalization of DAS to frame NN activity in terms of linear functions of interpretable variables; and we show that Transformers must use anti-Markovian solutions -- solutions that avoid using cumulative, Markovian hidden states -- in the absence of sufficient attention layers. We use our results to encourage interpreting NNs at the level of neural subspaces through the lens of SAs.
• Abstract（参考訳）: ニューラルネットワークに現れる数値表現の種類は? この質問に対する満足のいく答えはどのようなものでしょうか。 本研究では,様々なレンズを用いてシーケンスベースカウントタスクに対するニューラルネットワーク(NN)の解法を解釈する。 我々は,解釈可能なシンボリックアルゴリズム (SA) のレンズでNNをいかに理解できるかを理解することを目的としている。 GRU、LSTM、およびNext Token Prediction(NTP)を用いて訓練されたトランスフォーマーは、タスクの解がタスク構造に潜入した数値情報にのみ依存する数値タスクに使用される。 複数の因果的および理論的手法を用いて、個々のニューロンではなく、解釈可能な部分空間で神経活動をフレーム化する際に、単純化されたSAのレンズを通してNNの生の活動を解釈できることを示す。 しかし、分析によっては、これらの解釈は、連続体に存在し、それが神経活動の「解釈」を意味するという哲学的な問題を強調し、既存の分散アライメントサーチ(DAS)メソッドに柔軟性を加えるためにアライメント関数を導入する動機付けとなる。 我々は, NNの解釈可能性に対する因果的介入の重要性を示すとともに, リカレントモデルがその神経活動の中で次数的, 記号的数変数を発達させること, 解釈可能な変数の線形関数の観点から, DAS をフレーム NN アクティビティに一般化すること, 変換器は, 累積的, マルコフ的隠蔽状態(Markovian hidden state)を使わずに, 反マルコフ的解(anti-Markovian solution)を使わなければならないことを示す。 この結果を用いて、神経サブスペースのレベルでのNNの解釈を、SAのレンズを通して促進する。

関連論文リスト

• Sparse Autoencoder Neural Operators: Model Recovery in Function Spaces [75.45093712182624]
  本研究では,スパースオートエンコーダ(SAE)を昇降空間や無限次元関数空間に拡張し,大規模ニューラル演算子(NO)の機械的解釈性を実現するフレームワークを提案する。 我々は、SAE、リフト-SAE、SAEニューラル演算子の推論とトレーニングのダイナミクスを比較した。 我々は、リフトと演算子モジュールが有益な帰納バイアスを導入し、より高速なリカバリを可能にし、スムーズな概念のリカバリを改善し、様々な解像度にわたる堅牢な推論を可能にした点を強調した。
  論文  参考訳（メタデータ） (2025-09-03T21:57:03Z)
• Concept-Guided Interpretability via Neural Chunking [64.6429903327095]
  ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。 神経集団レベルで繰り返しチャンクを抽出する3つの方法を提案する。 私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
  論文  参考訳（メタデータ） (2025-05-16T13:49:43Z)
• Learning local discrete features in explainable-by-design convolutional neural networks [0.0]
  本稿では,側方抑制機構に基づくCNN(Design-by-Design Convolutional Neural Network)を提案する。 このモデルは、残留または高密度のスキップ接続を持つ高精度CNNである予測器で構成されている。 観測を収集し,直接確率を計算することにより,隣接するレベルのモチーフ間の因果関係を説明することができる。
  論文  参考訳（メタデータ） (2024-10-31T18:39:41Z)
• Recurrent Neural Networks Learn to Store and Generate Sequences using Non-Linear Representations [54.17275171325324]
  線形表現仮説(LRH)に対する反例を提示する。 入力トークンシーケンスを繰り返すように訓練されると、ニューラルネットワークは、方向ではなく、特定の順序で各位置のトークンを表現することを学ぶ。 これらの結果は、解釈可能性の研究はLRHに限定されるべきでないことを強く示唆している。
  論文  参考訳（メタデータ） (2024-08-20T15:04:37Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• From Neurons to Neutrons: A Case Study in Interpretability [5.242869847419834]
  高次元ニューラルネットワークはトレーニングデータの低次元表現を学習することができると我々は主張する。 このことは、解釈可能性に対するそのようなアプローチが、問題を解決するために訓練されたモデルから問題に対する新しい理解を導き出すのに有用であることを示している。
  論文  参考訳（メタデータ） (2024-05-27T17:59:35Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Identifying Interpretable Visual Features in Artificial and Biological Neural Systems [3.604033202771937]
  ニューラルネットワークの単一ニューロンはしばしば、個々の直感的に意味のある特徴を表すものとして解釈される。 多くのニューロンは$textitmixed selectivity$、すなわち複数の無関係な特徴を示す。 本稿では、視覚的解釈可能性の定量化と、ネットワークアクティベーション空間における意味のある方向を見つけるためのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-17T17:41:28Z)
• Sparse Autoencoders Find Highly Interpretable Features in Language Models [0.0]
  多意味性は、ニューラルネットワークが内部で何をしているのかについて、簡潔で理解しやすい説明を見つけるのを妨げます。 スパースオートエンコーダを用いて言語モデルの内部アクティベーションを再構築する。 我々の手法は将来の機械的解釈可能性の基盤となるかもしれない。
  論文  参考訳（メタデータ） (2023-09-15T17:56:55Z)
• Transferability of coVariance Neural Networks and Application to Interpretable Brain Age Prediction using Anatomical Features [119.45320143101381]
  グラフ畳み込みネットワーク(GCN)は、トポロジー駆動のグラフ畳み込み演算を利用して、推論タスクのためにグラフをまたいだ情報を結合する。 我々は、共分散行列をグラフとして、共分散ニューラルネットワーク(VNN)の形でGCNを研究した。 VNNは、GCNからスケールフリーなデータ処理アーキテクチャを継承し、ここでは、共分散行列が極限オブジェクトに収束するデータセットに対して、VNNが性能の転送可能性を示すことを示す。
  論文  参考訳（メタデータ） (2023-05-02T22:15:54Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Invariants for neural automata [0.0]
  我々は,異なる符号化条件下でのニューラルオートマトンの対称性と不変性を調べるための公式な枠組みを開発する。 我々の研究は、ニューロシンボリックプロセッサを用いた実世界の実測値の回帰研究において極めて重要である可能性がある。
  論文  参考訳（メタデータ） (2023-02-04T11:40:40Z)
• On the limits of neural network explainability via descrambling [2.5554069583567487]
  隠蔽層プレアクティベーションの主成分は, 層重みの最適説明器やデクランブラーとして特徴付けられることを示す。 典型的なディープラーニングの文脈では、これらのデクランブラーは多様で興味深い形式をとっています。
  論文  参考訳（メタデータ） (2023-01-18T23:16:53Z)
• Modeling Structure with Undirected Neural Networks [20.506232306308977]
  任意の順序で実行できる計算を指定するためのフレキシブルなフレームワークである、非指向型ニューラルネットワークを提案する。 さまざまなタスクにおいて、非構造的かつ構造化された非指向型ニューラルアーキテクチャの有効性を実証する。
  論文  参考訳（メタデータ） (2022-02-08T10:06:51Z)
• PCACE: A Statistical Approach to Ranking Neurons for CNN Interpretability [1.0742675209112622]
  ネットワークのどの畳み込み層にも隠れたニューロンをランク付けするための新しい統計手法を提案する。 街路画像を用いた大気汚染予測への本手法の実際の応用について述べる。
  論文  参考訳（メタデータ） (2021-12-31T17:54:57Z)
• Detecting Modularity in Deep Neural Networks [8.967870619902211]
  ネットワークニューロンの分割によるモジュラリティ評価の問題点を考察する。 本稿では,ニューロンがネットワーク性能にいかに重要かを反映した重要度と,そのニューロンが入力の特徴といかに常に関連しているかを反映したコヒーレンスという2つのプロキシを提案する。 これらの分割は、重みのみに基づくものであっても、重要で一貫性のあるニューロンのグループを明らかにします。
  論文  参考訳（メタデータ） (2021-10-13T20:33:30Z)
• Neuron-based explanations of neural networks sacrifice completeness and interpretability [67.53271920386851]
  我々は、ImageNetで事前訓練されたAlexNetに対して、ニューロンに基づく説明法が完全性と解釈可能性の両方を犠牲にすることを示す。 我々は、最も重要な主成分が、最も重要なニューロンよりも完全で解釈可能な説明を提供することを示す。 この結果から,AlexNet などのネットワークに対する説明手法は,ニューロンを埋め込みの基盤として使用するべきではないことが示唆された。
  論文  参考訳（メタデータ） (2020-11-05T21:26:03Z)
• Stability of Algebraic Neural Networks to Small Perturbations [179.55535781816343]
  Algebraic Neural Network (AlgNN) は、代数的信号モデルと関連する各層のカスケードで構成されている。 畳み込みという形式的な概念を用いるアーキテクチャは、シフト演算子の特定の選択を超えて、いかに安定であるかを示す。
  論文  参考訳（メタデータ） (2020-10-22T09:10:16Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)
• Mean-Field and Kinetic Descriptions of Neural Differential Equations [0.0]
  この研究では、ニューラルネットワークの特定のクラス、すなわち残留ニューラルネットワークに焦点を当てる。 我々は、ネットワークのパラメータ、すなわち重みとバイアスに関する定常状態と感度を分析する。 残留ニューラルネットワークにインスパイアされた微視的ダイナミクスの修正は、ネットワークのフォッカー・プランクの定式化につながる。
  論文  参考訳（メタデータ） (2020-01-07T13:41:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。