Fugu-MT 論文翻訳(概要): Locally Linear Attributes of ReLU Neural Networks

論文の概要: Locally Linear Attributes of ReLU Neural Networks

arxiv url: http://arxiv.org/abs/2012.01940v1
Date: Mon, 30 Nov 2020 19:31:23 GMT
ステータス: 処理完了
システム内更新日: 2021-06-06 14:56:49.364429
Title: Locally Linear Attributes of ReLU Neural Networks
Title（参考訳）: ReLUニューラルネットワークの局所線形属性
Authors: Ben Sattelberg, Renzo Cavalieri, Michael Kirby, Chris Peterson, Ross Beveridge
Abstract要約: ReLUニューラルネットワークは、入力空間から出力空間への連続的なピースワイズ線形写像を決定/決定する。ニューラルネットワークの重みは、入力空間の凸ポリトープへの分解を決定する。これらのポリトープのそれぞれについて、ネットワークは単一のアフィン写像によって記述することができる。
参考スコア（独自算出の注目度）: 2.218917829443032
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: A ReLU neural network determines/is a continuous piecewise linear map from an input space to an output space. The weights in the neural network determine a decomposition of the input space into convex polytopes and on each of these polytopes the network can be described by a single affine mapping. The structure of the decomposition, together with the affine map attached to each polytope, can be analyzed to investigate the behavior of the associated neural network.
Abstract（参考訳）: reluニューラルネットワークは、入力空間から出力空間への連続的な区分線形写像を判定する。ニューラルネットワークの重み付けは、入力空間の凸ポリトープへの分解を決定し、これらのポリトープのそれぞれについて、ネットワークを単一のアフィンマッピングで記述することができる。各ポリトープに付加されたアフィンマップと共に分解の構造を解析し、関連するニューラルネットワークの挙動を調べることができる。

関連論文リスト

Topological obstruction to the training of shallow ReLU neural networks [0.0]
損失ランドスケープの幾何学と単純なニューラルネットワークの最適化軌跡との相互作用について検討する。本稿では,勾配流を用いた浅部ReLUニューラルネットワークの損失景観におけるトポロジカル障害物の存在を明らかにする。
論文参考訳（メタデータ） (2024-10-18T19:17:48Z)
Defining Neural Network Architecture through Polytope Structures of Dataset [53.512432492636236]
本稿では, ニューラルネットワーク幅の上下境界を定義し, 問題となるデータセットのポリトープ構造から情報を得る。本研究では,データセットのポリトープ構造を学習したニューラルネットワークから推定できる逆条件を探索するアルゴリズムを開発した。 MNIST、Fashion-MNIST、CIFAR10といった一般的なデータセットは、顔の少ない2つ以上のポリトップを用いて効率的にカプセル化できることが確立されている。
論文参考訳（メタデータ） (2024-02-04T08:57:42Z)
The Geometric Structure of Fully-Connected ReLU Layers [0.0]
ニューラルネットワークにおいて,$d$次元の完全連結ReLU層の幾何学構造を定式化し,解釈する。このようなネットワークによって生成される決定境界の幾何学的複雑さに関する結果を提供するとともに、アフィン変換を変調することで、そのようなネットワークは$d$の異なる決定境界しか生成できないことを示す。
論文参考訳（メタデータ） (2023-10-05T11:54:07Z)
Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
論文参考訳（メタデータ） (2023-05-25T14:17:15Z)
Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文参考訳（メタデータ） (2023-02-01T03:18:07Z)
Entangled Residual Mappings [59.02488598557491]
残余接続の構造を一般化するために、絡み合った残余写像を導入する。絡み合い残余写像は、アイデンティティスキップ接続を特別な絡み合い写像に置き換える。絡み合った写像は、様々な深層モデルにまたがる特徴の反復的洗練を保ちながら、畳み込みネットワークにおける表現学習プロセスに影響を及ぼすことを示す。
論文参考訳（メタデータ） (2022-06-02T19:36:03Z)
Traversing the Local Polytopes of ReLU Neural Networks: A Unified Approach for Network Verification [6.71092092685492]
ReLUアクティベーション機能を備えたニューラルネットワーク(NN)は、幅広いアプリケーションで成功している。頑健さを検証し,解釈可能性を向上させるための従来の研究は,ReLU NNの断片線形関数形式を部分的に活用した。本稿では,ReLU NNが入力空間で生成する独自のトポロジ構造について検討し,分割した局所ポリトープ間の隣接性を同定する。
論文参考訳（メタデータ） (2021-11-17T06:12:39Z)
Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文参考訳（メタデータ） (2021-11-03T15:14:20Z)
Approximation Properties of Deep ReLU CNNs [8.74591882131599]
本稿では,2次元空間上での深部ReLU畳み込みニューラルネットワーク(CNN)の近似特性について述べる。この分析は、大きな空間サイズとマルチチャネルを持つ畳み込みカーネルの分解定理に基づいている。
論文参考訳（メタデータ） (2021-09-01T05:16:11Z)
Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
論文参考訳（メタデータ） (2020-02-22T21:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。