論文の概要: The Real Tropical Geometry of Neural Networks

• arxiv url: http://arxiv.org/abs/2403.11871v1
• Date: Mon, 18 Mar 2024 15:24:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 19:50:22.622272
• Title: The Real Tropical Geometry of Neural Networks
• Title（参考訳）: ニューラルネットワークのリアルトロピカル幾何学
• Authors: Marie-Charlotte Brandenburg, Georg Loho, Guido Montúfar,
• Abstract要約: 本稿では,ReLUニューラルネットワークを熱帯有理関数として分類する。 本研究は, ニューラルネットワークと熱帯地形との関係を, 実際の熱帯地形で確立された構造を観察することによって拡張し, 改善するものである。
• 参考スコア（独自算出の注目度）: 15.07926301607672
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider a binary classifier defined as the sign of a tropical rational function, that is, as the difference of two convex piecewise linear functions. The parameter space of ReLU neural networks is contained as a semialgebraic set inside the parameter space of tropical rational functions. We initiate the study of two different subdivisions of this parameter space: a subdivision into semialgebraic sets, on which the combinatorial type of the decision boundary is fixed, and a subdivision into a polyhedral fan, capturing the combinatorics of the partitions of the dataset. The sublevel sets of the 0/1-loss function arise as subfans of this classification fan, and we show that the level-sets are not necessarily connected. We describe the classification fan i) geometrically, as normal fan of the activation polytope, and ii) combinatorially through a list of properties of associated bipartite graphs, in analogy to covector axioms of oriented matroids and tropical oriented matroids. Our findings extend and refine the connection between neural networks and tropical geometry by observing structures established in real tropical geometry, such as positive tropicalizations of hypersurfaces and tropical semialgebraic sets.
• Abstract（参考訳）: 我々は、熱帯有理関数の符号として定義される二項分類器を、2つの凸線型関数の差として考える。 ReLUニューラルネットワークのパラメータ空間は、熱帯有理関数のパラメータ空間内の半代数集合として含まれる。 我々は、このパラメータ空間の2つの異なる部分分割の研究を開始する: 半代数集合に分割し、決定境界の組合せ型を固定し、多面体ファンに分割し、データセットの分割のコンビネータをキャプチャする。 0/1-ロス関数の下位レベル集合は、この分類ファンの下位ファンとして現れ、レベル集合は必ずしも連結でないことを示す。 分類ファンについて述べる 一 アクティベーションポリトープの通常の扇として、及び 二 関連する二分グラフの性質のリストを組合せて、配向マトロイド及び熱帯配向マトロイドのコベクター公理に類似すること。 本研究は,高地表面の正の熱帯化や半代数集合の熱帯化など,実際の熱帯地形で確立された構造を観察することにより,ニューラルネットワークと熱帯地形の関係を拡大・改善するものである。

関連論文リスト

• Relative Representations: Topological and Geometric Perspectives [53.88896255693922]
  相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。 相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。 第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
  論文  参考訳（メタデータ） (2024-09-17T08:09:22Z)
• Low-dimensional polaritonics: Emergent non-trivial topology on exciton-polariton simulators [0.0]
  次元$D=2$のポラリトニック格子構成は、対称性クラスAハミルトニアンに基づく位相位相のシミュレータとして用いられる。 我々は、結合された分極配列系における位相位相のソースと構造を完全に扱う包括的な数学的枠組みを提供する。
  論文  参考訳（メタデータ） (2023-10-31T04:22:58Z)
• Revisiting Tropical Polynomial Division: Theory, Algorithms and Application to Neural Networks [40.137069931650444]
  熱帯幾何学は、最近、一方向線形活性化関数を持つニューラルネットワークの解析にいくつかの応用を見出した。 本稿では,熱帯分断問題に対する新たな考察とニューラルネットワークの単純化への応用について述べる。
  論文  参考訳（メタデータ） (2023-06-27T02:26:07Z)
• Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
  まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。 その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。 トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
  論文  参考訳（メタデータ） (2023-05-25T14:17:15Z)
• Mathematical Foundations for a Compositional Account of the Bayesian Brain [0.0]
  現代応用圏論のツールを用いて、近似推論のための関手意味論を提供する。 統計ゲームのフィブレーションを定義し、統計的推論の様々な問題を対応する部分として分類する。 我々は,自由エネルギー原理の下で,予測符号化ニューラルネットワークの構成構造を説明する関手を構築した。
  論文  参考訳（メタデータ） (2022-12-23T18:58:17Z)
• Spectral embedding and the latent geometry of multipartite networks [67.56499794542228]
  多くのネットワークはマルチパーティションであり、ノードはパーティションに分割され、同じパーティションのノードは接続されない。 本稿では,高次元空間の分割特異的な低次元部分空間近傍のスペクトル埋め込みにより得られるノード表現について述べる。 スペクトル埋め込み後の追従ステップとして,周辺次元ではなく固有次元のノード表現を復元する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T15:52:03Z)
• Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
  単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。 単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
  論文  参考訳（メタデータ） (2021-10-28T14:59:41Z)
• Topological aspects of the critical three-state Potts model [0.0]
  フラックス・ランケル・シュヴァイガートによる2次元有理CFTの構成を格子設定に分解することで、完全な特徴付けが得られる。 対称性は行列積演算子 (MPO) で表され、対角四臨界イジングモデルと非対角三状態ポッツモデルとの間にある。
  論文  参考訳（メタデータ） (2021-07-22T16:43:40Z)
• Quantum critical phase transition between two topologically-ordered phases in the Ising toric code bilayer [0.0]
  正方形格子上の2つのトーリック符号層がイジング相互作用によって結合され、固有の位相秩序を持つ2つの異なる位相を示すことを示す。 弱結合の $mathbbZtimesmathbbZ$ と強結合の $mathbbZ$ の間の二階量子相転移は、両側からのボゾン準粒子の凝縮によって説明できる。
  論文  参考訳（メタデータ） (2020-10-12T19:16:36Z)
• Dynamical solitons and boson fractionalization in cold-atom topological insulators [110.83289076967895]
  Incommensurate densities において $mathbbZ$ Bose-Hubbard モデルについて検討する。 我々は、$mathbbZ$フィールドの欠陥が基底状態にどのように現れ、異なるセクターを接続するかを示す。 ポンピングの議論を用いて、有限相互作用においても生き残ることを示す。
  論文  参考訳（メタデータ） (2020-03-24T17:31:34Z)
• On the Decision Boundaries of Neural Networks: A Tropical Geometry Perspective [54.1171355815052]
  この研究は、線形非線形なアクティベーションを持つニューラルネットワークの決定境界を特徴づけ、理解する問題に取り組む。 我々は、代数幾何学の新しい発展である熱帯幾何学を用いて、その形の単純なネットワーク(Affine, ReLU, Affine)の決定境界を特徴づける。
  論文  参考訳（メタデータ） (2020-02-20T16:22:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。