Fugu-MT 論文翻訳(概要): Any Deep ReLU Network is Shallow

論文の概要: Any Deep ReLU Network is Shallow

arxiv url: http://arxiv.org/abs/2306.11827v1
Date: Tue, 20 Jun 2023 18:37:21 GMT
ステータス: 処理完了
システム内更新日: 2023-06-22 16:03:59.291976
Title: Any Deep ReLU Network is Shallow
Title（参考訳）: ディープReLUネットワークは浅すぎる
Authors: Mattia Jacopo Villani, Nandi Schoots
Abstract要約: 深部ReLUネットワークが与えられた場合、対応する浅部ネットワークの明示的な重みを求めるアルゴリズムを提案する。結果として生じる浅いネットワークは透明であり、モデルsの振る舞いの説明を生成するために使用される。
参考スコア（独自算出の注目度）: 1.4502611532302039
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We constructively prove that every deep ReLU network can be rewritten as a functionally identical three-layer network with weights valued in the extended reals. Based on this proof, we provide an algorithm that, given a deep ReLU network, finds the explicit weights of the corresponding shallow network. The resulting shallow network is transparent and used to generate explanations of the model s behaviour.
Abstract（参考訳）: 我々は,全ての深部ReLUネットワークが,拡張実数で重み付けされた機能的に同一の3層ネットワークとして書き換えられることを示す。この証明に基づき、深いReLUネットワークが与えられた場合、対応する浅層ネットワークの明示的な重みを求めるアルゴリズムを提案する。結果として生じる浅いネットワークは透明であり、モデルsの振る舞いを説明するために使用される。

関連論文リスト

On the Principles of ReLU Networks with One Hidden Layer [0.0]
バックプロパゲーションアルゴリズムによって得られる解のメカニズムをどう解釈するかは、まだ不明である。理論的にも実験的にも, 1次元入力のトレーニング解が完全に理解できることが示されている。
論文参考訳（メタデータ） (2024-11-11T05:51:11Z)
Leaky ReLUs That Differ in Forward and Backward Pass Facilitate Activation Maximization in Deep Neural Networks [0.022344294014777957]
アクティベーション(AM)は最適な入力を生成し、トレーニングされたディープニューラルネットワークで高い応答をトリガーする機能を明らかにする。本稿では,ReLU や Leaky ReLU を含む単純な関数に対して,AM が最適入力を生成できないことを示す。本稿では,後進パスに負の勾配を持つLeaky ReLUを用いて,前進パスに,元の(通常ゼロの)傾斜を保ちながら,後方パスに高い負の勾配を持つ解を提案する。
論文参考訳（メタデータ） (2024-10-22T12:38:39Z)
A Library of Mirrors: Deep Neural Nets in Low Dimensions are Convex Lasso Models with Reflection Features [54.83898311047626]
2層から有限層まで線形に活性化するニューラルネットワークについて検討する。まず, 分岐深さの離散辞書を用いたLassoモデルについて検討した。
論文参考訳（メタデータ） (2024-03-02T00:33:45Z)
Depth Separation in Norm-Bounded Infinite-Width Neural Networks [55.21840159087921]
無限幅ニューラルネットワークでは,重みの総和$ell$-normで複雑性を制御できる。本稿では,標準制御深度3ReLUネットワークによる入力次元のサンプル複雑性を学習可能な関数が存在するが,標準制御深度2ReLUネットワークによるサブ指数サンプル複雑性では学習できないことを示す。
論文参考訳（メタデータ） (2024-02-13T21:26:38Z)
Expressivity and Approximation Properties of Deep Neural Networks with ReLU$^k$ Activation [2.3020018305241337]
本稿では、ReLU$k$Activation Function for $k geq 2$を用いたディープネットワークの表現性と近似特性について検討する。ディープ ReLU$k$ ネットワークは効率的に近似できるが、ディープ ReLU$k$ ネットワークは高次を正確に表現することができる。
論文参考訳（メタデータ） (2023-12-27T09:11:14Z)
Deep Learning without Shortcuts: Shaping the Kernel with Tailored Rectifiers [83.74380713308605]
我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
論文参考訳（メタデータ） (2022-03-15T17:49:08Z)
Clustering-Based Interpretation of Deep ReLU Network [17.234442722611803]
我々はReLU関数の非線形挙動が自然なクラスタリングを引き起こすことを認識している。本稿では,完全連結フィードフォワードReLUニューラルネットワークの解釈可能性を高める手法を提案する。
論文参考訳（メタデータ） (2021-10-13T09:24:11Z)
ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
論文参考訳（メタデータ） (2020-06-28T23:09:27Z)
Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文参考訳（メタデータ） (2020-04-06T15:51:00Z)
Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
論文参考訳（メタデータ） (2020-02-22T21:13:44Z)
Quasi-Equivalence of Width and Depth of Neural Networks [10.365556153676538]
人工ニューラルネットワークの設計が指向性を持つかどうかを検討する。 De Morgan法に触発されて、ReLUネットワークの幅と深さの間に準等価性を確立する。以上の結果から,深層ネットワークは任意に小さな誤差を被る広い等価性を有することがわかった。
論文参考訳（メタデータ） (2020-02-06T21:17:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。