論文の概要: Fast and Exact Enumeration of Deep Networks Partitions Regions

• arxiv url: http://arxiv.org/abs/2401.11188v1
• Date: Sat, 20 Jan 2024 09:51:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 17:45:07.410337
• Title: Fast and Exact Enumeration of Deep Networks Partitions Regions
• Title（参考訳）: ディープネットワーク分割領域の高速かつ正確な列挙
• Authors: Randall Balestriero, Yann LeCun
• Abstract要約: 本稿では,DNの分割領域を正確に列挙する最初の並列アルゴリズムを提案する。 我々の重要な発見の1つは、もし大きな体積を持つ領域だけに関心があるなら、空間の均一なサンプリングは非常に効率的であるということである。
• 参考スコア（独自算出の注目度）: 38.72252891333172
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One fruitful formulation of Deep Networks (DNs) enabling their theoretical study and providing practical guidelines to practitioners relies on Piecewise Affine Splines. In that realm, a DN's input-mapping is expressed as per-region affine mapping where those regions are implicitly determined by the model's architecture and form a partition of their input space. That partition -- which is involved in all the results spanned from this line of research -- has so far only been computed on $2/3$-dimensional slices of the DN's input space or estimated by random sampling. In this paper, we provide the first parallel algorithm that does exact enumeration of the DN's partition regions. The proposed algorithm enables one to finally assess the closeness of the commonly employed approximations methods, e.g. based on random sampling of the DN input space. One of our key finding is that if one is only interested in regions with ``large'' volume, then uniform sampling of the space is highly efficient, but that if one is also interested in discovering the ``small'' regions of the partition, then uniform sampling is exponentially costly with the DN's input space dimension. On the other hand, our proposed method has complexity scaling linearly with input dimension and the number of regions.
• Abstract（参考訳）: ディープネットワーク(dns)の成果のある定式化の一つは、理論的な研究を可能にし、実践者に実践的なガイドラインを提供することである。 この領域では、DNの入力マッピングは領域ごとのアフィンマッピングとして表現され、これらの領域はモデルのアーキテクチャによって暗黙的に決定され、入力空間の分割を形成する。 これまでのところ、DNの入力空間の2/3$のスライスやランダムサンプリングによって見積もられているだけである。 本稿では,DNの分割領域を正確に列挙する最初の並列アルゴリズムを提案する。 提案アルゴリズムは、DN入力空間のランダムサンプリングに基づいて、一般的に用いられる近似法の近接性を最終的に評価することを可能にする。 我々の重要な発見の1つは、もし「大」体積を持つ領域だけに関心があるなら、空間の均一なサンプリングは非常に効率的であるが、分割の「小」領域の発見にも興味があるなら、一様サンプリングはDNの入力空間次元と指数関数的にコストがかかることである。 一方,提案手法では,入力次元と領域数を線形にスケーリングする。

関連論文リスト

• Parallel Algorithms for Exact Enumeration of Deep Neural Network Activation Regions [2.782882026947924]
  フィードフォワードニューラルネットワークは、入力空間を一連の凸領域に分割することにより、入力から出力へのマッピングを構築する。 深部(および浅部)ニューラルネットワークにおける正確な列挙のための並列アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-29T20:48:39Z)
• On the Number of Regions of Piecewise Linear Neural Networks [16.78532039510369]
  多くのフィードフォワードニューラルネットワーク(NN)はCPWLマッピングを生成する。 これらのいわゆる線形領域の数は、CPWL NNの表現性を特徴付ける自然な計量を提供する。 本稿では,CPWL NN が生成する線形領域の平均数を推定する補完的フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-17T08:17:28Z)
• Super-resolution GANs of randomly-seeded fields [68.8204255655161]
  ランダムスパースセンサからフィールド量の推定を行うための,GAN(Super- resolution Generative Adversarial Network)フレームワークを提案する。 このアルゴリズムはランダムサンプリングを利用して、高解像度の基底分布の不完全ビューを提供する。 提案手法は, 流体流動シミュレーション, 海洋表面温度分布測定, 粒子画像速度測定データの合成データベースを用いて検証した。
  論文  参考訳（メタデータ） (2022-02-23T18:57:53Z)
• Region-Based Semantic Factorization in GANs [67.90498535507106]
  本稿では,任意の画像領域についてGAN(Generative Adversarial Networks)が学習した潜在意味を分解するアルゴリズムを提案する。 適切に定義された一般化されたレイリー商を通して、アノテーションや訓練なしにそのような問題を解く。 様々な最先端のGANモデルに対する実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-02-19T17:46:02Z)
• Partition-based formulations for mixed-integer optimization of trained ReLU neural networks [66.88252321870085]
  本稿では,訓練されたReLUニューラルネットワークのための混合整数式について紹介する。 1つの極端な場合、入力毎に1つのパーティションがノードの凸殻、すなわち各ノードの最も厳密な可能な定式化を回復する。
  論文  参考訳（メタデータ） (2021-02-08T17:27:34Z)
• A General Computational Framework to Measure the Expressiveness of Complex Networks Using a Tighter Upper Bound of Linear Regions [13.030269373463168]
  整流器ネットワークによって分割される領域番号の上限は、数値自体の代わりに、DNNの表現力のより実用的な測定である。 我々は,任意のネットワーク構造に対して,新しい,より厳密なアップ・パー・バウンド領域番号を提案する。 私たちの実験では、上界が既存のものよりも密接であることを示し、スキップ接続と残余構造がネットワーク性能を改善する理由を説明します。
  論文  参考訳（メタデータ） (2020-12-08T14:01:20Z)
• Non-Local Spatial Propagation Network for Depth Completion [82.60915972250706]
  本研究では,深度完了のための堅牢で効率的な非局所的空間伝搬ネットワークを提案する。 提案するネットワークは,RGBとスパース深度画像を入力とし,各画素の非局所的近傍とその親和性を推定する。 提案アルゴリズムは,混合深度問題に対する深度補完精度とロバスト性の観点から,従来のアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-20T12:26:51Z)
• LRC-Net: Learning Discriminative Features on Point Clouds by Encoding Local Region Contexts [65.79931333193016]
  本稿では,LRC-Net(Local-Region-Context Network)を提案する。 LRC-Netは、局所領域内および周辺領域間の微粒なコンテキストを同時に符号化する。 その結果, LRC-Netは形状分類や形状分割の応用において最先端の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2020-03-18T14:34:08Z)
• Fast Geometric Projections for Local Robustness Certification [29.833035157227553]
  本稿では,フィードフォワードニューラルネットワークにおける局所ロバスト性をチェックするための高速な手法を提案する。 簡単な幾何学的射影を用いて、ある点周辺の領域をどのように解析することができるかを示す。
  論文  参考訳（メタデータ） (2020-02-12T00:21:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。