Fugu-MT 論文翻訳(概要): Unwrapping All ReLU Networks

論文の概要: Unwrapping All ReLU Networks

arxiv url: http://arxiv.org/abs/2305.09424v1
Date: Tue, 16 May 2023 13:30:15 GMT
ステータス: 処理完了
システム内更新日: 2023-05-17 14:58:26.508070
Title: Unwrapping All ReLU Networks
Title（参考訳）: すべてのreluネットワークを
Authors: Mattia Jacopo Villani, Peter McBurney
Abstract要約: Deep ReLU Networksは線形モデルの集合に分解できる。この分解をグラフニューラルネットワークやテンソル畳み込みネットワークに拡張する。このモデルが、より安価で正確なSHAP値に繋がることを示す。
参考スコア（独自算出の注目度）: 1.370633147306388
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep ReLU Networks can be decomposed into a collection of linear models, each defined in a region of a partition of the input space. This paper provides three results extending this theory. First, we extend this linear decompositions to Graph Neural networks and tensor convolutional networks, as well as networks with multiplicative interactions. Second, we provide proofs that neural networks can be understood as interpretable models such as Multivariate Decision trees and logical theories. Finally, we show how this model leads to computing cheap and exact SHAP values. We validate the theory through experiments with on Graph Neural Networks.
Abstract（参考訳）: Deep ReLU Networksは線形モデルの集合に分解することができ、それぞれが入力空間の分割の領域で定義される。本論文はこの理論を拡張した3つの結果を示す。まず、この線形分解をグラフニューラルネットワークとテンソル畳み込みネットワーク、および乗法相互作用を持つネットワークに拡張する。次に,ニューラルネットワークが多変量決定木や論理理論などの解釈可能なモデルとして理解できることを示す。最後に、このモデルが安価で正確なシェープ値を計算する方法を示す。グラフニューラルネットワークを用いた実験により理論を検証する。

関連論文リスト

Convection-Diffusion Equation: A Theoretically Certified Framework for Neural Networks [14.01268607317875]
ニューラルネットワークの偏微分方程式モデルについて検討する。この写像は対流拡散方程式で定式化できることを示す。拡散機構をネットワークアーキテクチャに組み込んだ新しいネットワーク構造を設計する。
論文参考訳（メタデータ） (2024-03-23T05:26:36Z)
A Library of Mirrors: Deep Neural Nets in Low Dimensions are Convex Lasso Models with Reflection Features [54.83898311047626]
2層から有限層まで線形に活性化するニューラルネットワークについて検討する。まず, 分岐深さの離散辞書を用いたLassoモデルについて検討した。
論文参考訳（メタデータ） (2024-03-02T00:33:45Z)
Globally Gated Deep Linear Networks [3.04585143845864]
我々はGGDLN(Globally Gated Deep Linear Networks)を導入する。有限幅熱力学極限におけるこれらのネットワークの一般化特性の正確な方程式を導出する。我々の研究は、有限幅の非線形ネットワークの族における学習に関する最初の正確な理論解である。
論文参考訳（メタデータ） (2022-10-31T16:21:56Z)
Convolutional Neural Networks on Manifolds: From Graphs and Back [122.06927400759021]
本稿では,多様体畳み込みフィルタと点次非線形性からなる多様体ニューラルネットワーク(MNN)を提案する。要約すると、我々は大きなグラフの極限として多様体モデルに焦点を合わせ、MNNを構築するが、それでもMNNの離散化によってグラフニューラルネットワークを復活させることができる。
論文参考訳（メタデータ） (2022-10-01T21:17:39Z)
Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文参考訳（メタデータ） (2021-11-03T15:14:20Z)
On some theoretical limitations of Generative Adversarial Networks [77.34726150561087]
GANが任意の確率分布を生成できるという一般的な仮定である。 GANが重み付き分布を生成できないことを示すExtreme Value Theoryに基づく新しい結果を提供する。
論文参考訳（メタデータ） (2021-10-21T06:10:38Z)
The Principles of Deep Learning Theory [19.33681537640272]
この本は、実践的妥当性の深いニューラルネットワークを理解するための効果的な理論アプローチを開発する。これらのネットワークがトレーニングから非自明な表現を効果的に学習する方法について説明する。トレーニングネットワークのアンサンブルの有効モデル複雑性を,奥行き比が支配していることを示す。
論文参考訳（メタデータ） (2021-06-18T15:00:00Z)
A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文参考訳（メタデータ） (2021-01-12T00:40:45Z)
Towards Understanding Learning in Neural Networks with Linear Teachers [31.849269592822296]
我々は,この学習問題をLaky ReLUアクティベートした2層ネットワークに対して,SGDがグローバルに最適化していることを証明する。ネットワーク重みが2つの重みクラスターに収束すると、これは概線形決定境界となることを証明し、この現象を理論的に支持する。
論文参考訳（メタデータ） (2021-01-07T13:21:24Z)
Perceptron Theory Can Predict the Accuracy of Neural Networks [6.136302173351179]
多層ニューラルネットワークは、多くの技術的分類問題に対する技術の現状を定めている。しかし、これらのネットワークは基本的にはブラックボックスであり、分析してパフォーマンスを予測する。本稿では, 1層パーセプトロンの統計的理論を開発し, 驚くほど多種多様なニューラルネットワークの性能を予測できることを示す。
論文参考訳（メタデータ） (2020-12-14T19:02:26Z)
How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文参考訳（メタデータ） (2020-09-24T17:48:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。