論文の概要: Neural Polytopes
- arxiv url: http://arxiv.org/abs/2307.00721v1
- Date: Mon, 3 Jul 2023 03:00:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-05 14:40:01.800087
- Title: Neural Polytopes
- Title(参考訳): 神経ポリトープ
- Authors: Koji Hashimoto, Tomoya Naito, Hisashi Naito
- Abstract要約: ReLUを活性化した単純なニューラルネットワークは、様々な次元の単位球の近似としてポリトープを生成する。
様々な活性化関数に対して、ニューラルポリトープと呼ばれるポリトープの一般化が得られる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We find that simple neural networks with ReLU activation generate polytopes
as an approximation of a unit sphere in various dimensions. The species of
polytopes are regulated by the network architecture, such as the number of
units and layers. For a variety of activation functions, generalization of
polytopes is obtained, which we call neural polytopes. They are a smooth
analogue of polytopes, exhibiting geometric duality. This finding initiates
research of discrete geometry via machine learning and also a visualization of
trained networks.
- Abstract(参考訳): reluアクティベーションを持つ単純なニューラルネットワークは、様々な次元の単位球面の近似としてポリトープを生成する。
ポリトープの種類は、ユニット数や層数などのネットワークアーキテクチャによって規制されている。
様々な活性化関数に対して、ニューラルポリトープと呼ばれるポリトープの一般化が得られる。
ポリトープの滑らかな類似体であり、幾何学的双対性を示す。
この発見は、機械学習と訓練されたネットワークの可視化を通じて、離散幾何学の研究を開始する。
関連論文リスト
- Geometry Distributions [51.4061133324376]
本稿では,分布として幾何学をモデル化する新しい幾何学的データ表現を提案する。
提案手法では,新しいネットワークアーキテクチャを用いた拡散モデルを用いて表面点分布の学習を行う。
本研究では,多種多様な対象に対して質的かつ定量的に表現を評価し,その有効性を実証した。
論文 参考訳(メタデータ) (2024-11-25T04:06:48Z) - Learning Geometric Invariant Features for Classification of Vector Polygons with Graph Message-passing Neural Network [3.804240190982697]
本稿では,ポリゴンの形状分類のための幾何学的不変特徴を学習するために,新しいグラフメッセージパッシングニューラルネットワーク(PolyMP)を提案する。
提案したグラフベースPolyMPネットワークは,ポリゴンの幾何変換に不変な表現幾何学的特徴の学習を可能にする。
論文 参考訳(メタデータ) (2024-07-05T08:19:36Z) - A singular Riemannian Geometry Approach to Deep Neural Networks III. Piecewise Differentiable Layers and Random Walks on $n$-dimensional Classes [49.32130498861987]
本稿ではReLUのような非微分可能活性化関数の事例について検討する。
最近の2つの研究は、ニューラルネットワークを研究するための幾何学的枠組みを導入した。
本稿では,画像の分類と熱力学問題に関する数値実験を行った。
論文 参考訳(メタデータ) (2024-04-09T08:11:46Z) - Defining Neural Network Architecture through Polytope Structures of Dataset [53.512432492636236]
本稿では, ニューラルネットワーク幅の上下境界を定義し, 問題となるデータセットのポリトープ構造から情報を得る。
本研究では,データセットのポリトープ構造を学習したニューラルネットワークから推定できる逆条件を探索するアルゴリズムを開発した。
MNIST、Fashion-MNIST、CIFAR10といった一般的なデータセットは、顔の少ない2つ以上のポリトップを用いて効率的にカプセル化できることが確立されている。
論文 参考訳(メタデータ) (2024-02-04T08:57:42Z) - Geometry of Polynomial Neural Networks [3.498371632913735]
単項活性化機能を持つニューラルネットワーク(PNN)の表現性と学習過程について検討した。
これらの理論的結果は実験を伴う。
論文 参考訳(メタデータ) (2024-02-01T19:06:06Z) - Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。
その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。
トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
論文 参考訳(メタデータ) (2023-05-25T14:17:15Z) - Deep ReLU Networks Have Surprisingly Simple Polytopes [30.417072051872726]
ReLUネットワークはポリトープ上の一括線形関数である。
ポリトープの形状をポリトープの顔数を用いて検討する。
ポリトープの形状を特徴付けることで、他の問題に対する新たなレバレッジとなり得る。
論文 参考訳(メタデータ) (2023-05-16T03:51:34Z) - Lower Bounds on the Depth of Integral ReLU Neural Networks via Lattice
Polytopes [3.0079490585515343]
我々は、$lceillog_(n)rceil$ hidden layerが$n$の最大値を計算するために本当に必要であることを示す。
この結果は、ニューラルネットワークと熱帯の幾何学によるニュートンポリトープの双対性に基づいている。
論文 参考訳(メタデータ) (2023-02-24T10:14:53Z) - A singular Riemannian geometry approach to Deep Neural Networks I.
Theoretical foundations [77.86290991564829]
ディープニューラルネットワークは、音声認識、機械翻訳、画像解析など、いくつかの科学領域で複雑な問題を解決するために広く使われている。
我々は、リーマン計量を備えた列の最後の多様体で、多様体間の写像の特定の列を研究する。
このようなシーケンスのマップの理論的性質について検討し、最終的に実践的な関心を持つニューラルネットワークの実装間のマップのケースに焦点を当てる。
論文 参考訳(メタデータ) (2021-12-17T11:43:30Z) - PolyNet: Polynomial Neural Network for 3D Shape Recognition with
PolyShape Representation [51.147664305955495]
3次元形状表現とその処理は3次元形状認識に大きな影響を及ぼす。
我々は、ディープニューラルネットワークに基づく手法(PolyNet)と特定のポリゴン表現(PolyShape)を提案する。
本研究では,3次元形状分類と検索作業におけるPolyNetの長所と長所を実証した。
論文 参考訳(メタデータ) (2021-10-15T06:45:59Z) - Embed Me If You Can: A Geometric Perceptron [14.274582421372308]
多層超球パーセプトロン(MLHP)の拡張について紹介する。
我々のモデルは3次元テトリス形状の分類においてバニラ多層パーセプトロンよりも優れている。
論文 参考訳(メタデータ) (2020-06-11T15:25:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。