論文の概要: Tropical Expressivity of Neural Networks

• arxiv url: http://arxiv.org/abs/2405.20174v1
• Date: Thu, 30 May 2024 15:45:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 13:39:08.972998
• Title: Tropical Expressivity of Neural Networks
• Title（参考訳）: ニューラルネットワークの熱帯表現性
• Authors: Shiv Bhatia, Yueqi Cao, Paul Lezeau, Anthea Monod,
• Abstract要約: ディープラーニングの分野で活発に研究されている特定の量は、線形領域の数である。 情報のキャパシティと表現性について検討し,その評価を行う。 我々の研究は、熱帯幾何学の豊かな理論を生かして、この関係を築き、拡張している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose an algebraic geometric framework to study the expressivity of linear activation neural networks. A particular quantity that has been actively studied in the field of deep learning is the number of linear regions, which gives an estimate of the information capacity of the architecture. To study and evaluate information capacity and expressivity, we work in the setting of tropical geometry -- a combinatorial and polyhedral variant of algebraic geometry -- where there are known connections between tropical rational maps and feedforward neural networks. Our work builds on and expands this connection to capitalize on the rich theory of tropical geometry to characterize and study various architectural aspects of neural networks. Our contributions are threefold: we provide a novel tropical geometric approach to selecting sampling domains among linear regions; an algebraic result allowing for a guided restriction of the sampling domain for network architectures with symmetries; and an open source library to analyze neural networks as tropical Puiseux rational maps. We provide a comprehensive set of proof-of-concept numerical experiments demonstrating the breadth of neural network architectures to which tropical geometric theory can be applied to reveal insights on expressivity characteristics of a network. Our work provides the foundations for the adaptation of both theory and existing software from computational tropical geometry and symbolic computation to deep learning.
• Abstract（参考訳）: 本稿では線形活性化ニューラルネットワークの表現性を研究するための代数幾何学的枠組みを提案する。 ディープラーニングの分野で活発に研究されている特定の量は線形領域の数であり、アーキテクチャの情報容量を推定する。 情報容量と表現性について研究し評価するために、我々は熱帯幾何学(代数幾何学の組合せ的および多面的変種)の設定に取り組んでおり、熱帯有理写像とフィードフォワードニューラルネットワークの間には既知の関係がある。 私たちの研究は、ニューラルネットワークの様々なアーキテクチャ的側面を特徴づけ、研究するために、熱帯幾何学の豊かな理論を活かすために、この関係を構築し、拡張します。 線形領域間でサンプリングドメインを選択するための新しい熱帯幾何学的アプローチ、対称性を持つネットワークアーキテクチャにおけるサンプリングドメインのガイド付き制限を可能にする代数的結果、ニューラルネットワークを熱帯のPuiseux有理写像として解析するオープンソースライブラリを提供する。 本稿では,ネットワークの表現性特性に関する知見を明らかにするために,熱帯の幾何学的理論を応用できるニューラルネットワークアーキテクチャの広さを実証する,概念実証実験の総合的なセットを提供する。 我々の研究は、計算熱帯幾何学や記号計算から深層学習まで、理論と既存のソフトウェアの両方を適応するための基盤を提供する。

関連論文リスト

• Geometry Distributions [51.4061133324376]
  本稿では,分布として幾何学をモデル化する新しい幾何学的データ表現を提案する。 提案手法では,新しいネットワークアーキテクチャを用いた拡散モデルを用いて表面点分布の学習を行う。 本研究では,多種多様な対象に対して質的かつ定量的に表現を評価し,その有効性を実証した。
  論文  参考訳（メタデータ） (2024-11-25T04:06:48Z)
• Activation thresholds and expressiveness of polynomial neural networks [0.0]
  多項式ニューラルネットワークは様々な用途で実装されている。 本稿では,ネットワークアーキテクチャのアクティベーションしきい値の概念を紹介する。
  論文  参考訳（メタデータ） (2024-08-08T16:28:56Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Geometry of Polynomial Neural Networks [3.498371632913735]
  単項活性化機能を持つニューラルネットワーク(PNN)の表現性と学習過程について検討した。 これらの理論的結果は実験を伴う。
  論文  参考訳（メタデータ） (2024-02-01T19:06:06Z)
• Riemannian Residual Neural Networks [58.925132597945634]
  残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
  論文  参考訳（メタデータ） (2023-10-16T02:12:32Z)
• Deep neural networks architectures from the perspective of manifold learning [0.0]
  本稿では,ゲノメトリとトポロジの観点から,ニューラルネットワークアーキテクチャの包括的比較と記述を行う。 我々は、ニューラルネットワークの内部表現と、異なる層上のデータ多様体のトポロジーと幾何学の変化のダイナミクスに焦点を当てる。
  論文  参考訳（メタデータ） (2023-06-06T04:57:39Z)
• Quiver neural networks [5.076419064097734]
  ニューラルネットワーク接続アーキテクチャの解析に対する一様理論的アプローチを開発する。 数学におけるquiver表現理論にインスパイアされたこのアプローチは、精巧なデータフローを捉えるためのコンパクトな方法を与える。
  論文  参考訳（メタデータ） (2022-07-26T09:42:45Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Neural population geometry: An approach for understanding biological and artificial neural networks [3.4809730725241605]
  生体および人工ニューラルネットワークの機能に関する洞察を提供する幾何学的アプローチの例を概観する。 神経集団幾何学は、生体と人工のニューラルネットワークにおける構造と機能の理解を統一する可能性がある。
  論文  参考訳（メタデータ） (2021-04-14T18:10:34Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• On the Decision Boundaries of Neural Networks: A Tropical Geometry Perspective [54.1171355815052]
  この研究は、線形非線形なアクティベーションを持つニューラルネットワークの決定境界を特徴づけ、理解する問題に取り組む。 我々は、代数幾何学の新しい発展である熱帯幾何学を用いて、その形の単純なネットワーク(Affine, ReLU, Affine)の決定境界を特徴づける。
  論文  参考訳（メタデータ） (2020-02-20T16:22:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。