論文の概要: Towards Combinatorial Interpretability of Neural Computation

• arxiv url: http://arxiv.org/abs/2504.08842v1
• Date: Thu, 10 Apr 2025 21:28:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:55:43.458810
• Title: Towards Combinatorial Interpretability of Neural Computation
• Title（参考訳）: ニューラル計算の組合せ的解釈可能性に向けて
• Authors: Micah Adler, Dan Alistarh, Nir Shavit,
• Abstract要約: 本稿では,ネットワークの重みとバイアスのシグネチャベース分類における計算構造を解析し,ニューラルネットワークを理解する手法である解釈可能性を紹介する。 ニューラルネットワークがブール表現をどう計算するかを説明する理論であるフィーチャーチャネルコーディングを通じて、そのパワーを実証する。
• 参考スコア（独自算出の注目度）: 36.53010994384343
• License:
• Abstract: We introduce combinatorial interpretability, a methodology for understanding neural computation by analyzing the combinatorial structures in the sign-based categorization of a network's weights and biases. We demonstrate its power through feature channel coding, a theory that explains how neural networks compute Boolean expressions and potentially underlies other categories of neural network computation. According to this theory, features are computed via feature channels: unique cross-neuron encodings shared among the inputs the feature operates on. Because different feature channels share neurons, the neurons are polysemantic and the channels interfere with one another, making the computation appear inscrutable. We show how to decipher these computations by analyzing a network's feature channel coding, offering complete mechanistic interpretations of several small neural networks that were trained with gradient descent. Crucially, this is achieved via static combinatorial analysis of the weight matrices, without examining activations or training new autoencoding networks. Feature channel coding reframes the superposition hypothesis, shifting the focus from neuron activation directionality in high-dimensional space to the combinatorial structure of codes. It also allows us for the first time to exactly quantify and explain the relationship between a network's parameter size and its computational capacity (i.e. the set of features it can compute with low error), a relationship that is implicitly at the core of many modern scaling laws. Though our initial studies of feature channel coding are restricted to Boolean functions, we believe they provide a rich, controlled, and informative research space, and that the path we propose for combinatorial interpretation of neural computation can provide a basis for understanding both artificial and biological neural circuits.
• Abstract（参考訳）: 本稿では,ネットワークの重みと偏りの符号に基づく分類において,組合せ構造を解析し,ニューラルネットワークを理解する手法である組合せ解釈可能性を紹介する。 この理論は、ニューラルネットワークがブール式をどう計算するかを説明し、ニューラルネットワークの計算の他のカテゴリを下敷きにする可能性がある。 この理論によれば、特徴は特徴チャネルによって計算される: 特徴が操作する入力間で共有されるユニークなクロスニューロンエンコーディング。 異なる特徴チャネルがニューロンを共有するため、ニューロンは多意味であり、チャネルは互いに干渉し合っており、計算は不可視である。 ネットワークの特徴チャネルの符号化を解析し、勾配勾配でトレーニングされたいくつかの小さなニューラルネットワークの完全な機械的解釈を提供することにより、これらの計算の解読方法を示す。 重要なことに、これは、アクティベーションを調べたり、新しいオートエンコーディングネットワークを訓練することなく、重量行列の静的組合せ解析によって達成される。 特徴チャネル符号化は重ね合わせ仮説を再構成し、高次元空間におけるニューロンの活性化方向性から符号の組合せ構造へと焦点を移す。 また、ネットワークのパラメータサイズと計算能力の関係(すなわち、低エラーで計算できる機能の集合)を正確に定量化し、説明するのが初めてである。 機能チャネル符号化の初期の研究はブール関数に限定されているが、それらは豊かで制御され、情報的な研究空間を提供しており、我々が提案するニューラルネットワークの組合せ解釈は、人工神経回路と生物学的神経回路の両方を理解する基盤となると信じている。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Understanding polysemanticity in neural networks through coding theory [0.8702432681310401]
  本稿では,ネットワークの解釈可能性に関する新たな実践的アプローチと,多意味性やコードの密度に関する理論的考察を提案する。 ランダムなプロジェクションによって、ネットワークがスムーズか非微分可能かが明らかになり、コードがどのように解釈されるかを示す。 我々のアプローチは、ニューラルネットワークにおける解釈可能性の追求を前進させ、その基盤となる構造についての洞察を与え、回路レベルの解釈可能性のための新たな道を提案する。
  論文  参考訳（メタデータ） (2024-01-31T16:31:54Z)
• Closed-Form Interpretation of Neural Network Classifiers with Symbolic Gradients [0.7832189413179361]
  人工ニューラルネットワークにおいて、任意の単一ニューロンのクローズドフォーム解釈を見つけるための統一的なフレームワークを紹介します。 ニューラルネットワーク分類器を解釈して、決定境界に符号化された概念のクローズドフォーム表現を明らかにする。
  論文  参考訳（メタデータ） (2024-01-10T07:47:42Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Efficient, probabilistic analysis of combinatorial neural codes [0.0]
  ニューラルネットワークは、個々のニューロンの活動の組み合わせの形で入力を符号化する。 これらのニューラルネットワークは、その高次元性としばしば大量のデータのため、計算上の課題を示す。 従来の手法を小さな例に適用し,実験によって生成された大きなニューラルコードに適用する。
  論文  参考訳（メタデータ） (2022-10-19T11:58:26Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Dive into Layers: Neural Network Capacity Bounding using Algebraic Geometry [55.57953219617467]
  ニューラルネットワークの学習性はそのサイズと直接関連していることを示す。 入力データとニューラルネットワークのトポロジ的幾何学的複雑さを測定するためにベッチ数を用いる。 実世界のデータセットMNISTで実験を行い、分析結果と結論を検証した。
  論文  参考訳（メタデータ） (2021-09-03T11:45:51Z)
• Optimal Approximation with Sparse Neural Networks and Applications [0.0]
  深い疎結合ニューラルネットワークを用いて、関数クラスの複雑性を$L(mathbb Rd)$で測定する。 また、ニューラルネットワークを誘導する関数の可算コレクションである表現システムについても紹介する。 次に、レート歪曲理論とウェッジレット構成を用いて、$beta$マンガ的関数と呼ばれるクラスの複雑性を分析する。
  論文  参考訳（メタデータ） (2021-08-14T05:14:13Z)
• The Connection Between Approximation, Depth Separation and Learnability in Neural Networks [70.55686685872008]
  学習可能性と近似能力の関係について検討する。 対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
  論文  参考訳（メタデータ） (2021-01-31T11:32:30Z)
• A biologically plausible neural network for multi-channel Canonical Correlation Analysis [12.940770779756482]
  皮質錐体ニューロンは、複数の神経集団から入力を受け取り、これらの入力を別々の樹状体区画に統合する。 我々は,生物学的に妥当なニューラルネットワークで実装可能なマルチチャネルCAAアルゴリズムを提案する。 生物学的信頼性のためには、ネットワークはオンライン環境で動作し、シナプス更新ルールはローカルである必要がある。
  論文  参考訳（メタデータ） (2020-10-01T16:17:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。