論文の概要: NFT-K: Non-Fungible Tangent Kernels
- arxiv url: http://arxiv.org/abs/2110.04945v1
- Date: Mon, 11 Oct 2021 00:35:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-13 09:07:21.683378
- Title: NFT-K: Non-Fungible Tangent Kernels
- Title（参考訳）: nft-k:非フランジブル接核
- Authors: Sina Alemohammad, Hossein Babaei, CJ Barberan, Naiming Liu, Lorenzo
Luzi, Blake Mason, Richard G. Baraniuk
- Abstract要約: 我々は、ディープニューラルネットワークの各層を個別にモデル化する複数のニューラルネットワークカーネルの組み合わせとして、新しいネットワークを開発する。
2つのデータセット上でこのモデルの解釈可能性を示し、複数のカーネルモデルが層と予測の間の相互作用を解明することを示した。
- 参考スコア（独自算出の注目度）: 23.93508901712177
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks have become essential for numerous applications due to
their strong empirical performance such as vision, RL, and classification.
Unfortunately, these networks are quite difficult to interpret, and this limits
their applicability in settings where interpretability is important for safety,
such as medical imaging. One type of deep neural network is neural tangent
kernel that is similar to a kernel machine that provides some aspect of
interpretability. To further contribute interpretability with respect to
classification and the layers, we develop a new network as a combination of
multiple neural tangent kernels, one to model each layer of the deep neural
network individually as opposed to past work which attempts to represent the
entire network via a single neural tangent kernel. We demonstrate the
interpretability of this model on two datasets, showing that the multiple
kernels model elucidates the interplay between the layers and predictions.
- Abstract（参考訳）: 深層ニューラルネットワークは、視覚、RL、分類などの強力な経験的性能のために、多くのアプリケーションに欠かせないものとなっている。
残念ながら、これらのネットワークは解釈が極めて困難であり、医療画像など安全のために解釈が重要である設定での適用性が制限される。
ディープニューラルネットワークの1つのタイプは、解釈可能性のいくつかの側面を提供するカーネルマシンに似ているニューラルネットワークである。
分類と層に関する解釈可能性をさらに向上するため,我々は,ニューラルネットワークの各層を個別にモデル化する複数のニューラルネットワークカーネルの組み合わせとして,ネットワーク全体を1つのニューラルネットワークカーネルを介して表現しようとする過去の作業に対して,新しいネットワークを開発する。
2つのデータセット上でこのモデルの解釈可能性を示し、複数のカーネルモデルが層間の相互作用と予測を解明することを示す。
関連論文リスト
- Feature Averaging: An Implicit Bias of Gradient Descent Leading to Non-Robustness in Neural Networks [13.983863226803336]
我々は「機能平均化」がディープニューラルネットワークの非ロバスト性に寄与する主要な要因の1つであると論じる。
二層分類タスクのための2層ReLUネットワークにおいて、勾配降下のトレーニング力学を詳細に理論的に解析する。
よりきめ細かい教師付き情報を提供することで、2層多層ニューラルネットワークが個々の特徴を学習できることを実証する。
論文 参考訳（メタデータ） (2024-10-14T09:28:32Z) - Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。
また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。
この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文 参考訳（メタデータ） (2024-05-24T06:30:36Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Neural Network Pruning as Spectrum Preserving Process [7.386663473785839]
行列スペクトル学習とニューラルネットワーク学習の密集層と畳み込み層との密接な関係を同定する。
本稿では,ニューラルネットワークのプルーニングに適した行列スペーシフィケーションアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-07-18T05:39:32Z) - Why Quantization Improves Generalization: NTK of Binary Weight Neural
Networks [33.08636537654596]
ニューラルネットワークにおける二分重みを、ラウンドリングの下でのランダム変数とみなし、ニューラルネットワークの異なる層上での分布伝搬について検討する。
本研究では,連続パラメータとスムーズなアクティベーション関数を持つニューラルネットワークである分布伝搬を近似する準ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2022-06-13T06:11:21Z) - Excess Risk of Two-Layer ReLU Neural Networks in Teacher-Student
Settings and its Superiority to Kernel Methods [58.44819696433327]
教師回帰モデルにおける2層ReLUニューラルネットワークのリスクについて検討する。
学生ネットワークは、どの解法よりも確実に優れていることがわかった。
論文 参考訳（メタデータ） (2022-05-30T02:51:36Z) - Interpretable part-whole hierarchies and conceptual-semantic
relationships in neural networks [4.153804257347222]
本稿では、視覚的手がかりから部分全体階層を表現できるフレームワークであるAgglomeratorについて述べる。
本研究では,SmallNORB,MNIST,FashionMNIST,CIFAR-10,CIFAR-100などの共通データセットを用いて評価を行った。
論文 参考訳（メタデータ） (2022-03-07T10:56:13Z) - Provably Training Neural Network Classifiers under Fairness Constraints [70.64045590577318]
過パラメータのニューラルネットワークが制約を満たしていることを示す。
公平なニューラルネットワーク分類器を構築する上で重要な要素は、ニューラルネットワークの非応答解析を確立することである。
論文 参考訳（メタデータ） (2020-12-30T18:46:50Z) - Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。
中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。
重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文 参考訳（メタデータ） (2020-07-31T01:57:47Z) - On the Empirical Neural Tangent Kernel of Standard Finite-Width
Convolutional Neural Network Architectures [3.4698840925433765]
NTK理論が実際に一般的な幅の標準的なニューラルネットワークアーキテクチャをいかにうまくモデル化するかは、まだ明らかな疑問である。
我々はこの疑問を、AlexNetとLeNetという2つのよく知られた畳み込みニューラルネットワークアーキテクチャに対して実証的に研究する。
これらのネットワークのより広いバージョンでは、完全に接続されたレイヤのチャネル数や幅が増加すると、偏差は減少する。
論文 参考訳（メタデータ） (2020-06-24T11:40:36Z) - Towards Understanding Hierarchical Learning: Benefits of Neural
Representations [160.33479656108926]
この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。
提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。
この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
論文 参考訳（メタデータ） (2020-06-24T02:44:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。