論文の概要: Tropical Expressivity of Neural Networks

• arxiv url: http://arxiv.org/abs/2405.20174v2
• Date: Tue, 08 Oct 2024 20:58:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-10 14:25:41.204927
• Title: Tropical Expressivity of Neural Networks
• Title（参考訳）: ニューラルネットワークの熱帯表現性
• Authors: Paul Lezeau, Thomas Walker, Yueqi Cao, Shiv Bhatia, Anthea Monod,
• Abstract要約: 熱帯の幾何学を用いて、ニューラルネットワークの様々なアーキテクチャ的側面を特徴づけ、研究する。 線形領域の正確な数を計算するアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We propose an algebraic geometric framework to study the expressivity of linear activation neural networks. A particular quantity of neural networks that has been actively studied is the number of linear regions, which gives a quantification of the information capacity of the architecture. To study and evaluate information capacity and expressivity, we work in the setting of tropical geometry - a combinatorial and polyhedral variant of algebraic geometry - where there are known connections between tropical rational maps and feedforward neural networks. Our work builds on and expands this connection to capitalize on the rich theory of tropical geometry to characterize and study various architectural aspects of neural networks. Our contributions are threefold: we provide a novel tropical geometric approach to selecting sampling domains among linear regions; an algebraic result allowing for a guided restriction of the sampling domain for network architectures with symmetries; and a new open source OSCAR library to analyze neural networks symbolically using their tropical representations, where we present a new algorithm that computes the exact number of their linear regions. We provide a comprehensive set of proof-of-concept numerical experiments demonstrating the breadth of neural network architectures to which tropical geometric theory can be applied to reveal insights on expressivity characteristics of a network. Our work provides the foundations for the adaptation of both theory and existing software from computational tropical geometry and symbolic computation to neural networks and deep learning
• Abstract（参考訳）: 本稿では線形活性化ニューラルネットワークの表現性を研究するための代数幾何学的枠組みを提案する。 活発に研究されているニューラルネットワークの特定の量は線形領域の数であり、アーキテクチャの情報容量の定量化をもたらす。 情報容量と表現性について研究・評価するために、我々は熱帯幾何学(代数幾何学の組合せ的・多面的変種)の設定に取り組んでおり、熱帯有理写像とフィードフォワードニューラルネットワークの間には既知の関係がある。 私たちの研究は、ニューラルネットワークの様々なアーキテクチャ的側面を特徴づけ、研究するために、熱帯幾何学の豊かな理論を活かすために、この関係を構築し、拡張します。 我々は、線形領域間のサンプリングドメインを選択するための新しい熱帯幾何学的アプローチ、対称性を持つネットワークアーキテクチャにおけるサンプリングドメインのガイド付き制限を可能にする代数的結果、ニューラルネットワークを象徴的に熱帯表現を用いて解析する新しいオープンソースOSCARライブラリを提供し、線形領域の正確な数を計算する新しいアルゴリズムを提案する。 本稿では,ネットワークの表現性特性に関する知見を明らかにするために,熱帯の幾何学的理論を応用できるニューラルネットワークアーキテクチャの広さを実証する,概念実証実験の総合的なセットを提供する。 我々の研究は、計算熱帯幾何学と記号計算からニューラルネットワークやディープラーニングへの理論と既存のソフトウェアへの適応の基礎を提供する。

関連論文リスト

• Activation thresholds and expressiveness of polynomial neural networks [0.0]
  多項式ニューラルネットワークは様々な用途で実装されている。 本稿では,ネットワークアーキテクチャのアクティベーションしきい値の概念を紹介する。
  論文  参考訳（メタデータ） (2024-08-08T16:28:56Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Defining Neural Network Architecture through Polytope Structures of Dataset [53.512432492636236]
  本稿では, ニューラルネットワーク幅の上下境界を定義し, 問題となるデータセットのポリトープ構造から情報を得る。 本研究では,データセットのポリトープ構造を学習したニューラルネットワークから推定できる逆条件を探索するアルゴリズムを開発した。 MNIST、Fashion-MNIST、CIFAR10といった一般的なデータセットは、顔の少ない2つ以上のポリトップを用いて効率的にカプセル化できることが確立されている。
  論文  参考訳（メタデータ） (2024-02-04T08:57:42Z)
• Geometry of Polynomial Neural Networks [3.498371632913735]
  単項活性化機能を持つニューラルネットワーク(PNN)の表現性と学習過程について検討した。 これらの理論的結果は実験を伴う。
  論文  参考訳（メタデータ） (2024-02-01T19:06:06Z)
• Riemannian Residual Neural Networks [58.925132597945634]
  残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
  論文  参考訳（メタデータ） (2023-10-16T02:12:32Z)
• Deep neural networks architectures from the perspective of manifold learning [0.0]
  本稿では,ゲノメトリとトポロジの観点から,ニューラルネットワークアーキテクチャの包括的比較と記述を行う。 我々は、ニューラルネットワークの内部表現と、異なる層上のデータ多様体のトポロジーと幾何学の変化のダイナミクスに焦点を当てる。
  論文  参考訳（メタデータ） (2023-06-06T04:57:39Z)
• Quiver neural networks [5.076419064097734]
  ニューラルネットワーク接続アーキテクチャの解析に対する一様理論的アプローチを開発する。 数学におけるquiver表現理論にインスパイアされたこのアプローチは、精巧なデータフローを捉えるためのコンパクトな方法を与える。
  論文  参考訳（メタデータ） (2022-07-26T09:42:45Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Neural population geometry: An approach for understanding biological and artificial neural networks [3.4809730725241605]
  生体および人工ニューラルネットワークの機能に関する洞察を提供する幾何学的アプローチの例を概観する。 神経集団幾何学は、生体と人工のニューラルネットワークにおける構造と機能の理解を統一する可能性がある。
  論文  参考訳（メタデータ） (2021-04-14T18:10:34Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• On the Decision Boundaries of Neural Networks: A Tropical Geometry Perspective [54.1171355815052]
  この研究は、線形非線形なアクティベーションを持つニューラルネットワークの決定境界を特徴づけ、理解する問題に取り組む。 我々は、代数幾何学の新しい発展である熱帯幾何学を用いて、その形の単純なネットワーク(Affine, ReLU, Affine)の決定境界を特徴づける。
  論文  参考訳（メタデータ） (2020-02-20T16:22:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。