論文の概要: Faithful and Efficient Explanations for Neural Networks via Neural
Tangent Kernel Surrogate Models
- arxiv url: http://arxiv.org/abs/2305.14585v2
- Date: Wed, 4 Oct 2023 17:44:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 21:59:47.621777
- Title: Faithful and Efficient Explanations for Neural Networks via Neural
Tangent Kernel Surrogate Models
- Title（参考訳）: ニューラルネットワークのニューラルネットワークカーネルサロゲートモデルによる忠実かつ効率的な説明
- Authors: Andrew Engel, Zhichao Wang, Natalie S. Frank, Ioana Dumitriu, Sutanay
Choudhury, Anand Sarwate, Tony Chiang
- Abstract要約: 我々は、データ属性の近似的経験的ニューラルネットワークカーネル(eNTK)を解析する。
我々は、結果のカーネルマシンサロゲートモデルが、基盤となるニューラルネットワークとどのように相関するかについて、新しい分析を行う。
ニューラルネットワークカーネルをカーネル関数として用いたカーネルマシンは,効率的なサロゲートモデルである。
- 参考スコア（独自算出の注目度）: 7.608408123113268
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A recent trend in explainable AI research has focused on surrogate modeling,
where neural networks are approximated as simpler ML algorithms such as kernel
machines. A second trend has been to utilize kernel functions in various
explain-by-example or data attribution tasks to investigate a diverse set of
neural network behavior. In this work, we combine these two trends to analyze
approximate empirical neural tangent kernels (eNTK) for data attribution.
Approximation is critical for eNTK analysis due to the high computational cost
to compute the eNTK. We define new approximate eNTK and perform novel analysis
on how well the resulting kernel machine surrogate models correlate with the
underlying neural network. We introduce two new random projection variants of
approximate eNTK which allow users to tune the time and memory complexity of
their calculation. We conclude that kernel machines using approximate neural
tangent kernel as the kernel function are effective surrogate models, with the
introduced trace NTK the most consistent performer.
- Abstract（参考訳）: 説明可能なAI研究の最近のトレンドは、ニューラルネットワークをカーネルマシンのような単純なMLアルゴリズムとして近似する代理モデリングに焦点を当てている。
第2の傾向は、さまざまな説明バイサンプルやデータ属性タスクにおけるカーネル関数を使用して、さまざまなニューラルネットワークの振る舞いを調べることである。
本研究では、これらの2つのトレンドを組み合わせて、データ属性に近似した経験的ニューラルネットワークカーネル(eNTK)を解析する。
近似は、eNTKを計算するのに高い計算コストのため、eNTK分析に不可欠である。
我々は、新しい近似eNTKを定義し、結果のカーネルマシンサロゲートモデルと基盤となるニューラルネットワークとの相関性について、新しい分析を行う。
本稿では,計算の時間とメモリの複雑さをユーザが調整できる近似entkの2つの新しいランダム投影方式を提案する。
ニューラルネットワークカーネルをカーネル関数として用いたカーネルマシンは実効的なサロゲートモデルであり,提案したトレースNTKが最も一貫した性能を示す。
関連論文リスト
- Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。
また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。
この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文 参考訳（メタデータ） (2024-05-24T06:30:36Z) - An Exact Kernel Equivalence for Finite Classification Models [1.4777718769290527]
我々は、その正確な表現をよく知られたニューラルタンジェントカーネル(NTK)と比較し、NTKに対する近似誤差について議論する。
この正確なカーネルを使って、ニューラルネットワークによる予測について、理論的貢献が有益な洞察を提供することを示す。
論文 参考訳（メタデータ） (2023-08-01T20:22:53Z) - On the Eigenvalue Decay Rates of a Class of Neural-Network Related
Kernel Functions Defined on General Domains [10.360517127652185]
一般領域上で定義されたカーネル関数の大きなクラスの固有値減衰率(EDR)を決定するための戦略を提供する。
この種類のカーネル関数は含まれているが、異なる深さと様々なアクティベーション関数を持つニューラルネットワークに付随する神経タンジェントカーネルに限らない。
論文 参考訳（メタデータ） (2023-05-04T08:54:40Z) - Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。
次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
論文 参考訳（メタデータ） (2023-03-09T10:08:34Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。
我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。
RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文 参考訳（メタデータ） (2022-10-21T15:56:13Z) - Scaling Neural Tangent Kernels via Sketching and Random Features [53.57615759435126]
最近の研究報告では、NTKレグレッションは、小規模データセットでトレーニングされた有限範囲のニューラルネットワークより優れている。
我々は、アークコサインカーネルの拡張をスケッチして、NTKの近距離入力スパーシティ時間近似アルゴリズムを設計する。
CNTKの特徴をトレーニングした線形回帰器が,CIFAR-10データセット上での正確なCNTKの精度と150倍の高速化を実現していることを示す。
論文 参考訳（メタデータ） (2021-06-15T04:44:52Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳（メタデータ） (2021-04-03T09:08:12Z) - Classifying high-dimensional Gaussian mixtures: Where kernel methods
fail and neural networks succeed [27.38015169185521]
2層ニューラルネットワーク (2lnn) の隠れたニューロンがカーネル学習の性能を上回ることができることを理論的に示している。
ニューラルネットワークのオーバーパラメータが収束を早めるが、最終的な性能は改善しないことを示す。
論文 参考訳（メタデータ） (2021-02-23T15:10:15Z) - Avoiding Kernel Fixed Points: Computing with ELU and GELU Infinite
Networks [12.692279981822011]
指数線型単位(ELU)とガウス誤差線形単位(GELU)を持つ多層パーセプトロンの共分散関数を導出する。
我々は、幅広い活性化関数に対応する繰り返しカーネルの固定点ダイナミクスを解析する。
これまで研究されてきたニューラルネットワークカーネルとは異なり、これらの新しいカーネルは非自明な固定点ダイナミクスを示す。
論文 参考訳（メタデータ） (2020-02-20T01:25:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。