論文の概要: Tapping into the Black Box: Uncovering Aligned Representations in Pretrained Neural Networks

• arxiv url: http://arxiv.org/abs/2507.22832v2
• Date: Fri, 15 Aug 2025 10:09:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-18 14:51:23.538969
• Title: Tapping into the Black Box: Uncovering Aligned Representations in Pretrained Neural Networks
• Title（参考訳）: ブラックボックスにタッピング:事前訓練されたニューラルネットワークにおける配向表現の発見
• Authors: Maciej Satkiewicz,
• Abstract要約: ReLUネットワークでは、出力ユニットの勾配は、アクティブサブネットワークを通してのユニットのプルバックに対応するため、入力レベルの表現と見なすことができる。 これは、ReLUのハードゲーティングのため、アクティブワークが本質的にノイズが多いためである、と我々は主張する。 このノイズに対処するため,後方通過のみのソフトゲーティングを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In ReLU networks, gradients of output units can be seen as their input-level representations, as they correspond to the units' pullbacks through the active subnetwork. However, gradients of deeper models are notoriously misaligned, significantly contributing to their black-box nature. We claim that this is because active subnetworks are inherently noisy due to the ReLU hard-gating. To tackle that noise, we propose soft-gating in the backward pass only. The resulting input-level vector field (called ''excitation pullback'') exhibits remarkable perceptual alignment, revealing high-resolution input- and target-specific features that ''just make sense'', therefore establishing a compelling novel explanation method. Furthermore, we speculate that excitation pullbacks approximate (directionally) the gradients of a simpler model, linear in the network's path space, learned implicitly during optimization and largely determining the network's decision; thus arguing for the faithfulness of the produced explanations and their overall significance.
• Abstract（参考訳）: ReLUネットワークでは、出力ユニットの勾配は、アクティブサブネットワークを通してのユニットのプルバックに対応するため、入力レベルの表現と見なすことができる。 しかし、より深いモデルの勾配は不一致で知られており、ブラックボックスの性質に大きく貢献している。 これは、アクティブサブネットワークがReLUのハードゲーティングのために本質的にノイズが多いためである、と我々は主張する。 このノイズに対処するため,後方通過のみのソフトゲーティングを提案する。 結果として得られるインプットレベルベクトル場(「励起プルバック」と呼ばれる)は目覚しいアライメントを示し、「単に意味を成す」ような高解像度なインプットとターゲット固有の特徴を明らかにし、説得力のある斬新な説明法を確立する。 さらに,ネットワークの経路空間において線形な単純なモデルの勾配を近似的に(方向的に)近似し,最適化中に暗黙的に学習し,ネットワークの判断を決定づけることにより,生成した説明の忠実さと全体的な意義を論じる。

関連論文リスト

• Concept-Guided Interpretability via Neural Chunking [54.73787666584143]
  ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。 本稿では,ラベルの可利用性と次元性に基づいて,これら新たな実体を抽出する3つの手法を提案する。 私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
  論文  参考訳（メタデータ） (2025-05-16T13:49:43Z)
• Make Haste Slowly: A Theory of Emergent Structured Mixed Selectivity in Feature Learning ReLU Networks [16.83151955540625]
  有限ReLUネットワークにおける特徴学習理論への一歩を踏み出した。 ノード再利用と学習速度のバイアスにより,構造化された混合選択潜在表現が出現することを示す。
  論文  参考訳（メタデータ） (2025-03-08T11:47:33Z)
• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• Neural Network Pruning by Gradient Descent [7.427858344638741]
  我々は,Gumbel-Softmaxテクニックを取り入れた,新しい,かつ簡単なニューラルネットワークプルーニングフレームワークを提案する。 ネットワークパラメータの0.15%しか持たないMNISTデータセット上で、高い精度を維持しながら、例外的な圧縮能力を実証する。 我々は,ディープラーニングプルーニングと解釈可能な機械学習システム構築のための,有望な新たな道を開くと信じている。
  論文  参考訳（メタデータ） (2023-11-21T11:12:03Z)
• Interpretable Mesomorphic Networks for Tabular Data [25.76214343259399]
  我々は,深度と線形性の両方を同時に備えた,解釈可能なニューラルネットワークの新たなクラスを提案する。 我々は、ディープ・ハイパーネットワークを最適化し、インスタンス毎に説明可能な線形モデルを生成する。
  論文  参考訳（メタデータ） (2023-05-22T14:41:17Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Clustering-Based Interpretation of Deep ReLU Network [17.234442722611803]
  我々はReLU関数の非線形挙動が自然なクラスタリングを引き起こすことを認識している。 本稿では,完全連結フィードフォワードReLUニューラルネットワークの解釈可能性を高める手法を提案する。
  論文  参考訳（メタデータ） (2021-10-13T09:24:11Z)
• Predify: Augmenting deep neural networks with brain-inspired predictive coding dynamics [0.5284812806199193]
  我々は神経科学の一般的な枠組みからインスピレーションを得た:「予測コーディング」 本稿では、この戦略をVGG16とEfficientNetB0という2つの人気ネットワークに実装することで、様々な汚職に対する堅牢性を向上させることを示す。
  論文  参考訳（メタデータ） (2021-06-04T22:48:13Z)
• Explain by Evidence: An Explainable Memory-based Neural Network for Question Answering [41.73026155036886]
  本稿では,エビデンスに基づくメモリネットワークアーキテクチャを提案する。 データセットを要約し、その決定を下すための証拠を抽出することを学ぶ。 本モデルは,2つの質問応答データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-11-05T21:18:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。