論文の概要: Parallel Algorithms for Exact Enumeration of Deep Neural Network
Activation Regions
- arxiv url: http://arxiv.org/abs/2403.00860v1
- Date: Thu, 29 Feb 2024 20:48:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 16:15:26.470875
- Title: Parallel Algorithms for Exact Enumeration of Deep Neural Network
Activation Regions
- Title（参考訳）: ニューラルネットワーク活性化領域の厳密な列挙のための並列アルゴリズム
- Authors: Sabrina Drammis, Bowen Zheng, Karthik Srinivasan, Robert C. Berwick,
Nancy A. Lynch, Robert Ajemian
- Abstract要約: フィードフォワードニューラルネットワークは、入力空間を一連の凸領域に分割することにより、入力から出力へのマッピングを構築する。
深部(および浅部)ニューラルネットワークにおける正確な列挙のための並列アルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 2.782882026947924
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A feedforward neural network using rectified linear units constructs a
mapping from inputs to outputs by partitioning its input space into a set of
convex regions where points within a region share a single affine
transformation. In order to understand how neural networks work, when and why
they fail, and how they compare to biological intelligence, we need to
understand the organization and formation of these regions. Step one is to
design and implement algorithms for exact region enumeration in networks beyond
toy examples.
In this work, we present parallel algorithms for exact enumeration in deep
(and shallow) neural networks. Our work has three main contributions: (1) we
present a novel algorithm framework and parallel algorithms for region
enumeration; (2) we implement one of our algorithms on a variety of network
architectures and experimentally show how the number of regions dictates
runtime; and (3) we show, using our algorithm's output, how the dimension of a
region's affine transformation impacts further partitioning of the region by
deeper layers.
To our knowledge, we run our implemented algorithm on networks larger than
all of the networks used in the existing region enumeration literature.
Further, we experimentally demonstrate the importance of parallelism for region
enumeration of any reasonably sized network.
- Abstract（参考訳）: 整列線形ユニットを用いたフィードフォワードニューラルネットワークは、入力空間を単一のアフィン変換を共有する一連の凸領域に分割することにより、入力から出力へのマッピングを構築する。
ニューラルネットワークがどのように機能するか、いつ、なぜ失敗するのか、そしてどのように生物学的知性と比較するのかを理解するためには、これらの領域の組織と形成を理解する必要がある。
ステップ1は、おもちゃ以外のネットワークにおける正確な領域列挙のためのアルゴリズムの設計と実装である。
本研究では,深部(および浅部)ニューラルネットワークの正確な列挙のための並列アルゴリズムを提案する。
提案手法は,(1)新しいアルゴリズムフレームワークと領域列挙のための並列アルゴリズム,(2)様々なネットワークアーキテクチャ上でアルゴリズムの1つを実装し,その領域がランタイムをどのように決定しているかを実験的に示すこと,(3)アルゴリズムの出力を用いて,領域のアフィン変換の次元がより深い層による領域の分割にどのように影響するかを示すこと,の3つの大きな貢献がある。
我々の知る限り、既存の地域列挙文献で使われている全てのネットワークよりも大きいネットワーク上で実装されたアルゴリズムを実行する。
さらに,任意のネットワークの領域列挙における並列性の重要性を実験的に示す。
関連論文リスト
- The Evolution of the Interplay Between Input Distributions and Linear
Regions in Networks [20.97553518108504]
ReLUに基づくディープニューラルネットワークにおける線形凸領域の数をカウントする。
特に、任意の1次元入力に対して、それを表現するのに必要となるニューロンの数に対して最小限の閾値が存在することを証明している。
また、トレーニング中のReLUネットワークにおける決定境界の反復的改善プロセスも明らかにした。
論文 参考訳（メタデータ） (2023-10-28T15:04:53Z) - Connections between Operator-splitting Methods and Deep Neural Networks
with Applications in Image Segmentation [7.668812831777923]
ディープニューラルネットワークと数学的アルゴリズムの接続方法はまだ開発中だ。
ディープニューラルネットワークについて,特に演算子分割との接続において,アルゴリズムによる説明を行う。
Pottsモデルを解く演算子分割法に着想を得た2つのネットワークを提案する。
論文 参考訳（メタデータ） (2023-07-18T08:06:14Z) - A singular Riemannian geometry approach to Deep Neural Networks II.
Reconstruction of 1-D equivalence classes [78.120734120667]
入力空間における出力多様体内の点の事前像を構築する。
我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
論文 参考訳（メタデータ） (2021-12-17T11:47:45Z) - Unsupervised Domain-adaptive Hash for Networks [81.49184987430333]
ドメイン適応型ハッシュ学習はコンピュータビジョンコミュニティでかなりの成功を収めた。
UDAHと呼ばれるネットワークのための教師なしドメイン適応型ハッシュ学習手法を開発した。
論文 参考訳（メタデータ） (2021-08-20T12:09:38Z) - Learning Structures for Deep Neural Networks [99.8331363309895]
我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。
スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。
公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
論文 参考訳（メタデータ） (2021-05-27T12:27:24Z) - A General Computational Framework to Measure the Expressiveness of
Complex Networks Using a Tighter Upper Bound of Linear Regions [13.030269373463168]
整流器ネットワークによって分割される領域番号の上限は、数値自体の代わりに、DNNの表現力のより実用的な測定である。
我々は,任意のネットワーク構造に対して,新しい,より厳密なアップ・パー・バウンド領域番号を提案する。
私たちの実験では、上界が既存のものよりも密接であることを示し、スキップ接続と残余構造がネットワーク性能を改善する理由を説明します。
論文 参考訳（メタデータ） (2020-12-08T14:01:20Z) - Primal-Dual Mesh Convolutional Neural Networks [62.165239866312334]
本稿では,グラフ・ニューラル・ネットワークの文献からトライアングル・メッシュへ引き起こされた原始双対のフレームワークを提案する。
提案手法は,3次元メッシュのエッジと顔の両方を入力として特徴付け,動的に集約する。
メッシュ単純化の文献から得られたツールを用いて、我々のアプローチに関する理論的知見を提供する。
論文 参考訳（メタデータ） (2020-10-23T14:49:02Z) - Inductive Graph Embeddings through Locality Encodings [0.42970700836450487]
ドメイン依存のノード/エッジ属性を使わずに,大規模ネットワークにインダクティブネットワークを組み込むことの問題点を考察する。
本稿では,学習アルゴリズムの基盤として,基本的定義済みの局所符号化を用いることを提案する。
本手法は,役割検出,リンク予測,ノード分類などのタスクにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2020-09-26T13:09:11Z) - Parallelization Techniques for Verifying Neural Networks [52.917845265248744]
検証問題に基づくアルゴリズムを反復的に導入し、2つの分割戦略を探索する。
また、ニューラルネットワークの検証問題を単純化するために、ニューロンアクティベーションフェーズを利用する、高度に並列化可能な前処理アルゴリズムも導入する。
論文 参考訳（メタデータ） (2020-04-17T20:21:47Z) - Adaptive Region-Based Active Learning [57.78835999208091]
入力空間を有限個の領域に適応的に分割する新しい能動学習アルゴリズムを提案する。
本稿では,アルゴリズムの一般化誤差とラベル複雑性の両立を理論的に保証する。
いくつかの実世界のデータセットに対する広範な実験結果について報告する。
論文 参考訳（メタデータ） (2020-02-18T03:16:36Z) - Fast Geometric Projections for Local Robustness Certification [29.833035157227553]
本稿では,フィードフォワードニューラルネットワークにおける局所ロバスト性をチェックするための高速な手法を提案する。
簡単な幾何学的射影を用いて、ある点周辺の領域をどのように解析することができるかを示す。
論文 参考訳（メタデータ） (2020-02-12T00:21:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。