論文の概要: Hidden Activations Are Not Enough: A General Approach to Neural Network Predictions
- arxiv url: http://arxiv.org/abs/2409.13163v1
- Date: Fri, 20 Sep 2024 02:35:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 11:41:13.318634
- Title: Hidden Activations Are Not Enough: A General Approach to Neural Network Predictions
- Title（参考訳）: 隠れたアクティベーションは十分ではない:ニューラルネットワークの予測に対する一般的なアプローチ
- Authors: Samuel Leblanc, Aiky Rasolomanana, Marco Armenta,
- Abstract要約: 本稿では,クイバー表現理論のツールを用いたニューラルネットワーク解析のための新しい数学的枠組みを提案する。
データサンプルの帰納的クイバー表現を活用することで、従来の隠蔽層出力よりも多くの情報をキャプチャする。
結果はアーキテクチャ非依存でタスク非依存であり、広く適用できます。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a novel mathematical framework for analyzing neural networks using tools from quiver representation theory. This framework enables us to quantify the similarity between a new data sample and the training data, as perceived by the neural network. By leveraging the induced quiver representation of a data sample, we capture more information than traditional hidden layer outputs. This quiver representation abstracts away the complexity of the computations of the forward pass into a single matrix, allowing us to employ simple geometric and statistical arguments in a matrix space to study neural network predictions. Our mathematical results are architecture-agnostic and task-agnostic, making them broadly applicable. As proof of concept experiments, we apply our results for the MNIST and FashionMNIST datasets on the problem of detecting adversarial examples on different MLP architectures and several adversarial attack methods. Our experiments can be reproduced with our \href{https://github.com/MarcoArmenta/Hidden-Activations-are-not-Enough}{publicly available repository}.
- Abstract（参考訳）: 本稿では,クイバー表現理論のツールを用いたニューラルネットワーク解析のための新しい数学的枠組みを提案する。
このフレームワークにより,ニューラルネットワークが認識する新たなデータサンプルとトレーニングデータとの類似性を定量化することができる。
データサンプルの帰納的クイバー表現を活用することで、従来の隠蔽層出力よりも多くの情報をキャプチャする。
このクイバー表現は、フォワードパスの計算の複雑さを1つの行列に抽象化し、行列空間における単純な幾何学的および統計的引数を用いてニューラルネットワークの予測を研究する。
私たちの数学的結果はアーキテクチャ非依存でタスク非依存であり、広く適用できます。
本稿では,MNIST と FashionMNIST のデータセットに対して,異なる MLP アーキテクチャの対角的例といくつかの対向的攻撃方法を検出する問題に対して,本研究の結果を適用した。
我々の実験は、我々の \href{https://github.com/MarcoArmenta/Hidden-Activations-are-Enough}{publicly available repository} で再現できる。
関連論文リスト
- Steinmetz Neural Networks for Complex-Valued Data [23.80312814400945]
並列実値デッツワークと結合出力からなるDNNを用いて複素値データを処理する新しい手法を提案する。
提案するアーキテクチャのクラスは、Steinmetz Neural Networksと呼ばれ、多視点学習を利用して、潜在空間内でより解釈可能な表現を構築する。
提案手法は,これらのネットワークがベンチマーク・データセットや合成例で実現した改良性能と付加雑音を示す数値実験である。
論文 参考訳（メタデータ） (2024-09-16T08:26:06Z) - Relational Composition in Neural Networks: A Survey and Call to Action [54.47858085003077]
多くのニューラルネットは、データを「機能ベクトル」の線形結合として表現しているように見える。
我々は、この成功は関係性の構成を理解せずに不完全であると主張する。
論文 参考訳（メタデータ） (2024-07-19T20:50:57Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Tabular Data: Is Attention All You Need? [23.787352248749382]
本稿では、ニューラルネットワークと、構造データ上の勾配ブースト決定木を比較した大規模な実証的研究を紹介する。
これまでの研究とは対照的に、ニューラルネットワークは決定木と競合することを示している。
論文 参考訳（メタデータ） (2024-02-06T12:59:02Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳（メタデータ） (2023-10-17T01:05:28Z) - Representation Learning via Manifold Flattening and Reconstruction [10.823557517341964]
本研究では,組込み部分多様体の線形化と再構成を行うニューラルネットワークのペアを明示的に構築するアルゴリズムを提案する。
このような生成されたニューラルネットワークは、FlatNet(FlatNet)と呼ばれ、理論的に解釈可能であり、大規模に計算可能であり、データをテストするためにうまく一般化されている。
論文 参考訳（メタデータ） (2023-05-02T20:36:34Z) - An Information-Theoretic Framework for Supervised Learning [22.280001450122175]
後悔とサンプルの複雑さという独自の概念を持つ新しい情報理論フレームワークを提案する。
本稿では、ReLUアクティベーションユニットを用いたディープニューラルネットワークによって生成されたデータから学習する際のサンプルの複雑さについて検討する。
我々は、ランダムな単層ニューラルネットワークの実験的な解析により、理論結果を裏付けることで結論付ける。
論文 参考訳（メタデータ） (2022-03-01T05:58:28Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - How Neural Networks Extrapolate: From Feedforward to Graph Neural
Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。
グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文 参考訳（メタデータ） (2020-09-24T17:48:59Z) - Relation-Guided Representation Learning [53.60351496449232]
本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。
私たちのフレームワークは、サンプル間の関係をよく保存します。
サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
論文 参考訳（メタデータ） (2020-07-11T10:57:45Z) - Analyzing the Noise Robustness of Deep Neural Networks [43.63911131982369]
通常の例に小さいが故意に知覚できない摂動を加えることで生じる敵対的な例は、深層ニューラルネットワーク(DNN)を誤認して誤った予測をする可能性がある。
本稿では,なぜ敵対的事例が誤分類されたのかを説明するための視覚解析手法を提案する。
論文 参考訳（メタデータ） (2020-01-26T03:39:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。