論文の概要: On the Decision Boundaries of Neural Networks: A Tropical Geometry Perspective

• arxiv url: http://arxiv.org/abs/2002.08838v3
• Date: Mon, 22 Aug 2022 19:33:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 07:01:15.546582
• Title: On the Decision Boundaries of Neural Networks: A Tropical Geometry Perspective
• Title（参考訳）: ニューラルネットワークの意思決定境界について:熱帯幾何学的視点
• Authors: Motasem Alfarra, Adel Bibi, Hasan Hammoud, Mohamed Gaafar, and Bernard Ghanem
• Abstract要約: この研究は、線形非線形なアクティベーションを持つニューラルネットワークの決定境界を特徴づけ、理解する問題に取り組む。 我々は、代数幾何学の新しい発展である熱帯幾何学を用いて、その形の単純なネットワーク(Affine, ReLU, Affine)の決定境界を特徴づける。
• 参考スコア（独自算出の注目度）: 54.1171355815052
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work tackles the problem of characterizing and understanding the decision boundaries of neural networks with piecewise linear non-linearity activations. We use tropical geometry, a new development in the area of algebraic geometry, to characterize the decision boundaries of a simple network of the form (Affine, ReLU, Affine). Our main finding is that the decision boundaries are a subset of a tropical hypersurface, which is intimately related to a polytope formed by the convex hull of two zonotopes. The generators of these zonotopes are functions of the network parameters. This geometric characterization provides new perspectives to three tasks. (i) We propose a new tropical perspective to the lottery ticket hypothesis, where we view the effect of different initializations on the tropical geometric representation of a network's decision boundaries. (ii) Moreover, we propose new tropical based optimization reformulations that directly influence the decision boundaries of the network for the task of network pruning. (iii) At last, we discuss the reformulation of the generation of adversarial attacks in a tropical sense. We demonstrate that one can construct adversaries in a new tropical setting by perturbing a specific set of decision boundaries by perturbing a set of parameters in the network.
• Abstract（参考訳）: この研究は、線形非線形なアクティベーションを持つニューラルネットワークの決定境界を特徴づけ、理解する問題に取り組む。 我々は、代数幾何学の分野における新たな発展である熱帯幾何学を用いて、その形式の単純なネットワーク(affine, relu, affine)の決定境界を特徴づける。 我々の主な発見は、決定境界が熱帯超曲面の部分集合であり、2つのゾノトペの凸包によって形成されるポリトープと密接な関係にあることである。 これらのゾノトペの生成元はネットワークパラメータの関数である。 この幾何学的特徴付けは、3つのタスクに新しい視点を与える。 i) 抽選券仮説に対する新たな熱帯的視点を提案し, ネットワークの判断境界の熱帯幾何学的表現に対する異なる初期化の影響を考察する。 さらに,ネットワークプルーニングのタスクにおいて,ネットワークの決定境界に直接影響を及ぼすような,新たな熱帯型最適化手法を提案する。 (iii)ついに熱帯的な意味での敵対的攻撃の発生の変容について論じる。 ネットワーク内のパラメータの集合を摂動することで、特定の決定境界を摂動することで、新たな熱帯環境において敵を構築できることを実証する。

関連論文リスト

• Geometry Distributions [51.4061133324376]
  本稿では,分布として幾何学をモデル化する新しい幾何学的データ表現を提案する。 提案手法では,新しいネットワークアーキテクチャを用いた拡散モデルを用いて表面点分布の学習を行う。 本研究では,多種多様な対象に対して質的かつ定量的に表現を評価し,その有効性を実証した。
  論文  参考訳（メタデータ） (2024-11-25T04:06:48Z)
• Tropical Expressivity of Neural Networks [0.0]
  熱帯の幾何学を用いて、ニューラルネットワークの様々なアーキテクチャ的側面を特徴づけ、研究する。 線形領域の正確な数を計算するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-30T15:45:03Z)
• ParaPoint: Learning Global Free-Boundary Surface Parameterization of 3D Point Clouds [52.03819676074455]
  ParaPointは、グローバルな自由境界面パラメータ化を実現するための教師なしのニューラルネットワークパイプラインである。 この研究は、グローバルマッピングと自由境界の両方を追求するニューラルポイントクラウドパラメータ化を調査する最初の試みである。
  論文  参考訳（メタデータ） (2024-03-15T14:35:05Z)
• Tropical Decision Boundaries for Neural Networks Are Robust Against Adversarial Attacks [0.0]
  我々は、任意のモデルに付加可能な単一の隠蔽層にデータをトロピカル射影トーラスに埋め込むことにより、ピースワイズ線形ニューラルネットワークの熱帯性を利用する。 計算実験により,画像データセットに対する逆攻撃に対する頑健性を示す。
  論文  参考訳（メタデータ） (2024-02-01T13:14:38Z)
• The Geometric Structure of Fully-Connected ReLU Layers [0.0]
  ニューラルネットワークにおいて,$d$次元の完全連結ReLU層の幾何学構造を定式化し,解釈する。 このようなネットワークによって生成される決定境界の幾何学的複雑さに関する結果を提供するとともに、アフィン変換を変調することで、そのようなネットワークは$d$の異なる決定境界しか生成できないことを示す。
  論文  参考訳（メタデータ） (2023-10-05T11:54:07Z)
• Neural Poisson Surface Reconstruction: Resolution-Agnostic Shape Reconstruction from Point Clouds [53.02191521770926]
  我々は,3次元形状を点から復元するという課題に対処する形状再構成アーキテクチャであるニューラルポアソン表面再構成(nPSR)を導入する。 nPSRには2つの大きな利点がある: まず、高分解能評価において同等の性能を達成しつつ、低分解能データの効率的なトレーニングを可能にする。 全体として、ニューラル・ポアソン表面の再構成は、形状再構成における古典的なディープニューラルネットワークの限界を改良するだけでなく、再構築品質、走行時間、分解能非依存の観点からも優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-08-03T13:56:07Z)
• Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
  まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。 その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。 トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
  論文  参考訳（メタデータ） (2023-05-25T14:17:15Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• Parametric Complexity Bounds for Approximating PDEs with Neural Networks [41.46028070204925]
  pdeの係数が小さなニューラルネットワークで表現できる場合、入力された$d$でスケール的に解を近似するために必要なパラメータは、ニューラルネットワークのパラメータ数に比例することを証明する。 我々の証明は、PDEの解に収束する適切な空間における勾配降下をシミュレートするニューラルネットワークの構築に基づいている。
  論文  参考訳（メタデータ） (2021-03-03T02:42:57Z)
• The Landscape of Multi-Layer Linear Neural Network From the Perspective of Algebraic Geometry [0.0]
  ニューラルネットワークの非双対景観の明確な理解は、複雑な不完全問題である。 勾配方程式を方程式として扱うことにより、代数幾何学ツールを用いて解く。
  論文  参考訳（メタデータ） (2021-01-30T04:50:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。