論文の概要: Tapping into the Black Box: Uncovering Aligned Representations in Pretrained Neural Networks

• arxiv url: http://arxiv.org/abs/2507.22832v1
• Date: Wed, 30 Jul 2025 16:47:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-31 16:14:18.346016
• Title: Tapping into the Black Box: Uncovering Aligned Representations in Pretrained Neural Networks
• Title（参考訳）: ブラックボックスにタッピング:事前訓練されたニューラルネットワークにおける配向表現の発見
• Authors: Maciej Satkiewicz,
• Abstract要約: ReLUネットワークは、実際にタップできる暗黙の線形モデルを学ぶ。 我々は,その決定境界を後方通過の簡単な修正を施して,入力空間に約引き戻すことができることを示す。 これは、ニューラルネットワークが実際に、トレーニング後に回復できる学習された解釈可能なパターンに依存していることを強く示唆している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper we argue that ReLU networks learn an implicit linear model we can actually tap into. We describe that alleged model formally and show that we can approximately pull its decision boundary back to the input space with certain simple modification to the backward pass. The resulting gradients (called excitation pullbacks) reveal high-resolution input- and target-specific features of remarkable perceptual alignment on a number of popular ImageNet-pretrained deep architectures. This strongly suggests that neural networks do, in fact, rely on learned interpretable patterns that can be recovered after training. Thus, our findings may have profound implications for knowledge discovery and the development of dependable artificial systems.
• Abstract（参考訳）: 本稿では、ReLUネットワークが実際にタップできる暗黙の線形モデルを学ぶことを論じる。 そのモデルが公式に記述され、その決定境界を入力空間にほぼ引き戻すことができることを示す。 結果として得られる勾配(励起プルバックと呼ばれる)は、多くの人気のあるImageNetが推奨する深層アーキテクチャにおいて、目立った知覚アライメントの高解像度な入力とターゲット固有の特徴を示す。 これは、ニューラルネットワークが実際に、トレーニング後に回復できる学習された解釈可能なパターンに依存していることを強く示唆している。 したがって,本研究の知見は,知識発見と信頼性の高い人工システム開発に深く影響する可能性がある。

関連論文リスト

• Make Haste Slowly: A Theory of Emergent Structured Mixed Selectivity in Feature Learning ReLU Networks [16.83151955540625]
  有限ReLUネットワークにおける特徴学習理論への一歩を踏み出した。 ノード再利用と学習速度のバイアスにより,構造化された混合選択潜在表現が出現することを示す。
  論文  参考訳（メタデータ） (2025-03-08T11:47:33Z)
• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• Interpretable Mesomorphic Networks for Tabular Data [25.76214343259399]
  我々は,深度と線形性の両方を同時に備えた,解釈可能なニューラルネットワークの新たなクラスを提案する。 我々は、ディープ・ハイパーネットワークを最適化し、インスタンス毎に説明可能な線形モデルを生成する。
  論文  参考訳（メタデータ） (2023-05-22T14:41:17Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Predify: Augmenting deep neural networks with brain-inspired predictive coding dynamics [0.5284812806199193]
  我々は神経科学の一般的な枠組みからインスピレーションを得た:「予測コーディング」 本稿では、この戦略をVGG16とEfficientNetB0という2つの人気ネットワークに実装することで、様々な汚職に対する堅牢性を向上させることを示す。
  論文  参考訳（メタデータ） (2021-06-04T22:48:13Z)
• Explain by Evidence: An Explainable Memory-based Neural Network for Question Answering [41.73026155036886]
  本稿では,エビデンスに基づくメモリネットワークアーキテクチャを提案する。 データセットを要約し、その決定を下すための証拠を抽出することを学ぶ。 本モデルは,2つの質問応答データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-11-05T21:18:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。