論文の概要: Making Sense Of Distributed Representations With Activation Spectroscopy
- arxiv url: http://arxiv.org/abs/2501.15435v1
- Date: Sun, 26 Jan 2025 07:33:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-28 13:58:21.183364
- Title: Making Sense Of Distributed Representations With Activation Spectroscopy
- Title（参考訳）: アクティベーションスペクトロスコピーによる分散表現の感覚化
- Authors: Kyle Reing, Greg Ver Steeg, Aram Galstyan,
- Abstract要約: 関連する機能が多くのニューロンに分散的にコード化されていることを示す証拠が増えている。
この研究は、分散表現におけるニューロンの結合の影響を検知し、追跡するための一つの実現可能な経路を探索する。
- 参考スコア（独自算出の注目度）: 44.94093096989921
- License:
- Abstract: In the study of neural network interpretability, there is growing evidence to suggest that relevant features are encoded across many neurons in a distributed fashion. Making sense of these distributed representations without knowledge of the network's encoding strategy is a combinatorial task that is not guaranteed to be tractable. This work explores one feasible path to both detecting and tracing the joint influence of neurons in a distributed representation. We term this approach Activation Spectroscopy (ActSpec), owing to its analysis of the pseudo-Boolean Fourier spectrum defined over the activation patterns of a network layer. The sub-network defined between a given layer and an output logit is cast as a special class of pseudo-Boolean function. The contributions of each subset of neurons in the specified layer can be quantified through the function's Fourier coefficients. We propose a combinatorial optimization procedure to search for Fourier coefficients that are simultaneously high-valued, and non-redundant. This procedure can be viewed as an extension of the Goldreich-Levin algorithm which incorporates additional problem-specific constraints. The resulting coefficients specify a collection of subsets, which are used to test the degree to which a representation is distributed. We verify our approach in a number of synthetic settings and compare against existing interpretability benchmarks. We conclude with a number of experimental evaluations on an MNIST classifier, and a transformer-based network for sentiment analysis.
- Abstract（参考訳）: ニューラルネットワークの解釈可能性の研究において、関連する特徴が分散的に多くのニューロンにコード化されていることを示す証拠が増えている。
ネットワークの符号化戦略を知らずにこれらの分散表現を理解することは、トラクタブルであることが保証されていない組合せタスクである。
この研究は、分散表現におけるニューロンの結合の影響を検知し、追跡するための一つの実現可能な経路を探索する。
本稿では,ネットワーク層の活性化パターン上に定義された疑似ブールフーリエスペクトルの解析から,このアプローチをアクティベーション分光(ActSpec)と呼ぶ。
与えられた層と出力ロジットの間に定義されたサブネットワークは、擬ブール関数の特別なクラスとしてキャストされる。
特定の層におけるニューロンの各部分集合の寄与は、関数のフーリエ係数によって定量化することができる。
本稿では,高評価かつ非冗長なフーリエ係数を探索するための組合せ最適化手法を提案する。
この手順はGoldreich-Levinアルゴリズムの拡張と見なすことができる。
結果の係数は、表現が分散される度合いをテストするために使用されるサブセットの集合を規定する。
提案手法を多数の合成条件で検証し,既存の解釈可能性ベンチマークと比較する。
我々は、MNIST分類器と、感情分析のためのトランスフォーマーベースのネットワークについて、数多くの実験的評価を行った。
関連論文リスト
- Learning local discrete features in explainable-by-design convolutional neural networks [0.0]
本稿では,側方抑制機構に基づくCNN(Design-by-Design Convolutional Neural Network)を提案する。
このモデルは、残留または高密度のスキップ接続を持つ高精度CNNである予測器で構成されている。
観測を収集し,直接確率を計算することにより,隣接するレベルのモチーフ間の因果関係を説明することができる。
論文 参考訳（メタデータ） (2024-10-31T18:39:41Z) - Spectral complexity of deep neural networks [2.099922236065961]
我々は,ネットワークアーキテクチャの複雑さを特徴付けるために,制限場の角パワースペクトルを用いる。
そこで我々は,ニューラルネットワークを低次,スパース,高次と分類する。
本稿では,この分類が標準アクティベーション関数の様々な特徴,特にReLUネットワークの空間特性を如何に強調するかを示す。
論文 参考訳（メタデータ） (2024-05-15T17:55:05Z) - Going Beyond Neural Network Feature Similarity: The Network Feature
Complexity and Its Interpretation Using Category Theory [64.06519549649495]
機能的に等価な機能と呼ぶものの定義を提供します。
これらの特徴は特定の変換の下で等価な出力を生成する。
反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-10T16:27:12Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳（メタデータ） (2023-02-27T18:52:38Z) - Probabilistic Verification of ReLU Neural Networks via Characteristic
Functions [11.489187712465325]
我々は、周波数領域における確率理論のアイデアを用いて、ReLUニューラルネットワークの確率論的検証保証を提供する。
我々は、(深い)フィードフォワードニューラルネットワークを有限地平線上の離散力学系として解釈する。
出力集合の累積分布関数を求め,ネットワークが期待通りに動作しているかどうかを確認する。
論文 参考訳（メタデータ） (2022-12-03T05:53:57Z) - Decomposing neural networks as mappings of correlation functions [57.52754806616669]
本研究では,ディープフィードフォワードネットワークによって実装された確率分布のマッピングについて検討する。
ニューラルネットワークで使用できる異なる情報表現と同様に、データに不可欠な統計を識別する。
論文 参考訳（メタデータ） (2022-02-10T09:30:31Z) - A research framework for writing differentiable PDE discretizations in
JAX [3.4389358108344257]
微分可能シミュレータは、強化学習から最適制御まで、いくつかの分野で応用される新しい概念である。
連続関数の族間の写像として作用素を表現し、有限ベクトルでパラメタ化することにより、微分可能作用素と離散化のライブラリを提案する。
本稿では、フーリエスペクトル法を用いてヘルムホルツ方程式を離散化し、勾配勾配を用いて微分可能性を示し、音響レンズの音速を最適化する音響最適化問題に対するアプローチを示す。
論文 参考訳（メタデータ） (2021-11-09T15:58:44Z) - Linear approximability of two-layer neural networks: A comprehensive
analysis based on spectral decay [4.042159113348107]
まず、単一ニューロンの場合について考察し、コルモゴロフ幅で定量化される線形近似性は、共役核の固有値崩壊によって制御されることを示す。
また,2層ニューラルネットワークについても同様の結果が得られた。
論文 参考訳（メタデータ） (2021-08-10T23:30:29Z) - Adversarial Examples Detection with Bayesian Neural Network [57.185482121807716]
本稿では,ランダムな成分が予測器の滑らかさを向上できるという観測によって動機づけられた敵の例を検出するための新しい枠組みを提案する。
本稿では,BATer を略した新しいベイズ対向型サンプル検出器を提案し,対向型サンプル検出の性能を向上させる。
論文 参考訳（メタデータ） (2021-05-18T15:51:24Z) - Spatially Adaptive Inference with Stochastic Feature Sampling and
Interpolation [72.40827239394565]
スパースサンプリングされた場所のみの機能を計算することを提案する。
次に、効率的な手順で特徴写像を密に再構築する。
提案したネットワークは、様々なコンピュータビジョンタスクの精度を維持しながら、かなりの計算を省くために実験的に示されている。
論文 参考訳（メタデータ） (2020-03-19T15:36:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。