論文の概要: The Spotlight Resonance Method: Resolving the Alignment of Embedded Activations

• arxiv url: http://arxiv.org/abs/2505.13471v1
• Date: Fri, 09 May 2025 11:03:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-25 10:52:49.05624
• Title: The Spotlight Resonance Method: Resolving the Alignment of Embedded Activations
• Title（参考訳）: スポットライト共振法:組込み活性化のアライメントの解消
• Authors: George Bird,
• Abstract要約: 本稿では,組込みデータの軸アライメントを決定する汎用的で斬新な可視化ツールについて述べる。 ネットワークの特権基底ベクトルによって定義される平面上の分布を評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding how deep learning models represent data is currently difficult due to the limited number of methodologies available. This paper demonstrates a versatile and novel visualisation tool for determining the axis alignment of embedded data at any layer in any deep learning model. In particular, it evaluates the distribution around planes defined by the network's privileged basis vectors. This method provides both an atomistic and a holistic, intuitive metric for interpreting the distribution of activations across all planes. It ensures that both positive and negative signals contribute, treating the activation vector as a whole. Depending on the application, several variations of this technique are presented, with a resolution scale hyperparameter to probe different angular scales. Using this method, multiple examples are provided that demonstrate embedded representations tend to be axis-aligned with the privileged basis. This is not necessarily the standard basis, and it is found that activation functions directly result in privileged bases. Hence, it provides a direct causal link between functional form symmetry breaking and representational alignment, explaining why representations have a tendency to align with the neuron basis. Therefore, using this method, we begin to answer the fundamental question of what causes the observed tendency of representations to align with neurons. Finally, examples of so-called grandmother neurons are found in a variety of networks.
• Abstract（参考訳）: ディープラーニングモデルがデータをどのように表現しているかを理解することは、利用可能な方法論が限られているため、現時点では難しい。 本稿では, 深層学習モデルの任意の層における埋め込みデータの軸アライメントを決定するための, 汎用的で斬新な可視化ツールについて述べる。 特に、ネットワークの特権基底ベクトルによって定義される平面上の分布を評価する。 この方法は、すべての平面における活性化の分布を解釈するために、原子論と全体論的、直観的な計量の両方を提供する。 正信号と負信号の両方が寄与することを保証し、活性化ベクトル全体を扱います。 応用によっては、この手法の様々なバリエーションが示され、分解能尺度ハイパーパラメーターを用いて異なる角度スケールを探索する。 この方法では、埋め込み表現が特権ベースと軸整合する傾向があることを示す複数の例が提供される。 これは必ずしも標準基底ではなく、アクティベーション関数が直接特権基底をもたらすことが分かる。 したがって、関数型対称性の破れと表現的アライメントの直接的な因果関係を提供し、なぜ表現がニューロン基底と整合する傾向を持つのかを説明する。 そこで本手法を用いて,観察された表現傾向がニューロンとどのように一致しているかという根本的な疑問に答える。 最後に、いわゆる祖母ニューロンの例は様々なネットワークで見られる。

関連論文リスト

• Symmetric Single Index Learning [46.7352578439663]
  1つの一般的なモデルはシングルインデックスモデルであり、ラベルは未知のリンク関数を持つ未知の線形射影によって生成される。 我々は、対称ニューラルネットワークの設定において、単一インデックス学習を検討する。
  論文  参考訳（メタデータ） (2023-10-03T14:59:00Z)
• A theory of data variability in Neural Network Bayesian inference [0.70224924046445]
  無限広ネットワークの一般化特性をカバーする場理論形式論を提供する。 入力の統計的性質から一般化特性を導出する。 データ可変性は、(varphi3+varphi4$)-理論を思い起こさせる非ガウス的作用をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-07-31T14:11:32Z)
• Neural Eigenfunctions Are Structured Representation Learners [93.53445940137618]
  本稿ではニューラル固有写像という,構造化された適応長の深部表現を提案する。 本稿では,データ拡張設定における正の関係から固有関数が導出される場合,NeuralEFを適用することで目的関数が得られることを示す。 画像検索システムにおいて,適応長符号のような表現を用いることを実証する。
  論文  参考訳（メタデータ） (2022-10-23T07:17:55Z)
• The Manifold Hypothesis for Gradient-Based Explanations [55.01671263121624]
  勾配に基づく説明アルゴリズムは知覚的に整合した説明を提供する。 特徴属性がデータの接する空間と一致しているほど、知覚的に一致している傾向にあることを示す。 説明アルゴリズムは、その説明をデータ多様体と整合させるよう積極的に努力すべきである。
  論文  参考訳（メタデータ） (2022-06-15T08:49:24Z)
• Learning to Reason with Neural Networks: Generalization, Unseen Data and Boolean Measures [44.87247707099189]
  本稿では,[ZRKB21]で導入されたポインタ値検索(PVR)ベンチマークについて考察する。 まず、対称ニューラルネットワーク上で勾配勾配勾配の論理関数を学習するために、対象関数の雑音安定性の観点から一般化誤差を下界化できることを示した。
  論文  参考訳（メタデータ） (2022-05-26T21:53:47Z)
• Semiparametric Nonlinear Bipartite Graph Representation Learning with Provable Guarantees [106.91654068632882]
  半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。 提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。 我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
  論文  参考訳（メタデータ） (2020-03-02T16:40:36Z)
• Generalizing Convolutional Neural Networks for Equivariance to Lie Groups on Arbitrary Continuous Data [52.78581260260455]
  任意の特定のリー群からの変換に同値な畳み込み層を構築するための一般的な方法を提案する。 同じモデルアーキテクチャを画像、ボール・アンド・スティック分子データ、ハミルトン力学系に適用する。
  論文  参考訳（メタデータ） (2020-02-25T17:40:38Z)
• Invariant Feature Coding using Tensor Product Representation [75.62232699377877]
  我々は,群不変特徴ベクトルが線形分類器を学習する際に十分な識別情報を含んでいることを証明した。 主成分分析やk平均クラスタリングにおいて,グループアクションを明示的に考慮する新たな特徴モデルを提案する。
  論文  参考訳（メタデータ） (2019-06-05T07:15:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。