論文の概要: CantorNet: A Sandbox for Testing Geometrical and Topological Complexity Measures
- arxiv url: http://arxiv.org/abs/2411.19713v2
- Date: Mon, 02 Dec 2024 06:53:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-03 13:36:12.741985
- Title: CantorNet: A Sandbox for Testing Geometrical and Topological Complexity Measures
- Title（参考訳）: CantorNet: 幾何学的およびトポロジ的複雑度測定のためのサンドボックス
- Authors: Michal Lewandowski, Hamid Eghbalzadeh, Bernhard A. Moser,
- Abstract要約: カントール集合の3進構成にインスパイアされたemphCantorNetを導入する。
CantorNetはReLUニューラルネットワークのファミリーであり、コルモゴロフ複雑性の可能な全スペクトルにまたがる。
我々の研究は、幾何学的に無知なデータ拡張技術と敵攻撃の潜在的な落とし穴を示すのに役立つかもしれない。
- 参考スコア（独自算出の注目度）: 6.84273129511071
- License:
- Abstract: Many natural phenomena are characterized by self-similarity, for example the symmetry of human faces, or a repetitive motif of a song. Studying of such symmetries will allow us to gain deeper insights into the underlying mechanisms of complex systems. Recognizing the importance of understanding these patterns, we propose a geometrically inspired framework to study such phenomena in artificial neural networks. To this end, we introduce \emph{CantorNet}, inspired by the triadic construction of the Cantor set, which was introduced by Georg Cantor in the $19^\text{th}$ century. In mathematics, the Cantor set is a set of points lying on a single line that is self-similar and has a counter intuitive property of being an uncountably infinite null set. Similarly, we introduce CantorNet as a sandbox for studying self-similarity by means of novel topological and geometrical complexity measures. CantorNet constitutes a family of ReLU neural networks that spans the whole spectrum of possible Kolmogorov complexities, including the two opposite descriptions (linear and exponential as measured by the description length). CantorNet's decision boundaries can be arbitrarily ragged, yet are analytically known. Besides serving as a testing ground for complexity measures, our work may serve to illustrate potential pitfalls in geometry-ignorant data augmentation techniques and adversarial attacks.
- Abstract（参考訳）: 多くの自然現象は、例えば人間の顔の対称性や歌の反復的なモチーフなど、自己相似性によって特徴づけられる。
このような対称性の研究により、複雑なシステムの基盤となるメカニズムについてより深い洞察を得ることができる。
本稿では,これらのパターンを理解することの重要性を認識し,これらの現象をニューラルネットワークで研究するための幾何学的に着想を得た枠組みを提案する。
この目的のために、19^\text{th}$世紀のゲオルク・カントールによって導入されたカントール集合の3進構成にインスパイアされた \emph{CantorNet} を導入する。
数学において、カントール集合(カントールせき、英: Cantor set)は、自己相似で、数え切れないほど無限のヌル集合であるような直感的な性質を持つ一直線上の点の集合である。
同様に、CantorNetは、新しい位相的および幾何学的複雑性尺度を用いて自己相似性を研究するためのサンドボックスとして導入する。
CantorNetは2つの反対の記述(記述長によって測定される線形と指数)を含む、コルモゴロフ複合体の可能なスペクトル全体にまたがるReLUニューラルネットワークのファミリーを構成する。
CantorNetの決定境界は任意にラギングできるが、解析的に知られている。
複雑度測定のための試験場としての役割に加えて、我々の研究は幾何学的に無知なデータ強化技術や敵攻撃の潜在的な落とし穴を示すのに役立つかもしれない。
関連論文リスト
- Geometry of Lightning Self-Attention: Identifiability and Dimension [2.9816332334719773]
任意の層数に対するパラメトリゼーションの一般的な繊維の表現を提供することにより、深い注意の識別可能性について検討する。
単層モデルでは特異点と境界点を特徴付ける。
最後に,本研究の結果を正規化された自己注意ネットワークに拡張し,単一層として証明し,深部ケースで数値的に検証する。
論文 参考訳（メタデータ） (2024-08-30T12:00:36Z) - Algebraic Complexity and Neurovariety of Linear Convolutional Networks [0.0]
線形畳み込みネットワークを1次元および任意のストライドで検討する。
共通零点が対応する神経多様体のザリスキー閉包に対応する方程式を生成する。
このようなネットワークの最適化におけるすべての複素臨界点の数は、セグレ多様体の一般的なユークリッド距離と等しいことが判明した。
論文 参考訳（メタデータ） (2024-01-29T23:00:15Z) - Learning to be Simple [0.0]
有限群を含む構造化された数学的データを理解するために機械学習を用いる。
有限単純群の生成元に必要な性質に関する定理を導出する。
我々の研究は、機械学習の助けを借りて数学の新しい予想と定理を生成する可能性を強調している。
論文 参考訳（メタデータ） (2023-12-08T19:00:00Z) - Riemannian Residual Neural Networks [58.925132597945634]
残余ニューラルネットワーク(ResNet)の拡張方法を示す。
ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
論文 参考訳（メタデータ） (2023-10-16T02:12:32Z) - A singular Riemannian geometry approach to Deep Neural Networks II.
Reconstruction of 1-D equivalence classes [78.120734120667]
入力空間における出力多様体内の点の事前像を構築する。
我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
論文 参考訳（メタデータ） (2021-12-17T11:47:45Z) - A singular Riemannian geometry approach to Deep Neural Networks I.
Theoretical foundations [77.86290991564829]
ディープニューラルネットワークは、音声認識、機械翻訳、画像解析など、いくつかの科学領域で複雑な問題を解決するために広く使われている。
我々は、リーマン計量を備えた列の最後の多様体で、多様体間の写像の特定の列を研究する。
このようなシーケンスのマップの理論的性質について検討し、最終的に実践的な関心を持つニューラルネットワークの実装間のマップのケースに焦点を当てる。
論文 参考訳（メタデータ） (2021-12-17T11:43:30Z) - Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。
単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
論文 参考訳（メタデータ） (2021-10-28T14:59:41Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Emergent entanglement structures and self-similarity in quantum spin
chains [0.0]
我々は,多体量子状態に対する実験的にアクセス可能なネットワーク表現を,その構成成分のすべての対間の絡み合いに基づいて導入する。
この表現のパワーを、パラダイム的スピンチェーンモデル、XXモデルに適用し、それが軽い新しい現象をもたらすことを示す。
論文 参考訳（メタデータ） (2020-07-14T12:13:29Z) - Models of zero-range interaction for the bosonic trimer at unitarity [91.3755431537592]
ゼロ範囲の2体相互作用によって相互に結合された同一ボソンからなる3体系に対する量子ハミルトニアンの構成について述べる。
プレゼンテーションの大部分では、無限の散乱長が考慮される。
論文 参考訳（メタデータ） (2020-06-03T17:54:43Z) - The impossibility of low rank representations for triangle-rich complex
networks [9.550745725703292]
このようなグラフ埋め込みは複素ネットワークの健全な性質を捉えないと主張する。
数学的には、これらの2つの性質をうまく生成できる埋め込みは、頂点数においてほぼ線型でなければならない。
このことは、Singular Value Decompositionやnode2vecのような一般的な埋め込み技術が現実世界の複雑なネットワークの構造的側面を捉えていないことを証明している。
論文 参考訳（メタデータ） (2020-03-27T20:57:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。