論文の概要: Topology and geometry of data manifold in deep learning
- arxiv url: http://arxiv.org/abs/2204.08624v1
- Date: Tue, 19 Apr 2022 02:57:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-20 13:36:42.591326
- Title: Topology and geometry of data manifold in deep learning
- Title（参考訳）: 深層学習におけるデータ多様体のトポロジーと幾何学
- Authors: German Magai, Anton Ayzenberg
- Abstract要約: 本稿では,ニューラルネットワークの学習過程の幾何学的および位相的視点について述べる。
我々は、さまざまなデータセットと畳み込みニューラルネットワークアーキテクチャの異なる構成に関する幅広い実験を提示する。
我々の研究は、コンピュータビジョンの例を通して、説明可能な、解釈可能なAIの重要な分野の発展に寄与している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite significant advances in the field of deep learning in applications to
various fields, explaining the inner processes of deep learning models remains
an important and open question. The purpose of this article is to describe and
substantiate the geometric and topological view of the learning process of
neural networks. Our attention is focused on the internal representation of
neural networks and on the dynamics of changes in the topology and geometry of
the data manifold on different layers. We also propose a method for assessing
the generalizing ability of neural networks based on topological descriptors.
In this paper, we use the concepts of topological data analysis and intrinsic
dimension, and we present a wide range of experiments on different datasets and
different configurations of convolutional neural network architectures. In
addition, we consider the issue of the geometry of adversarial attacks in the
classification task and spoofing attacks on face recognition systems. Our work
is a contribution to the development of an important area of explainable and
interpretable AI through the example of computer vision.
- Abstract（参考訳）: 深層学習の分野が様々な分野に応用されているにもかかわらず、深層学習モデルの内部過程を説明することは重要かつオープンな問題である。
本稿では,ニューラルネットワークの学習過程の幾何学的,トポロジ的視点を記述し,実証することを目的とする。
我々は、ニューラルネットワークの内部表現と、異なる層上のデータ多様体のトポロジーと幾何学の変化のダイナミクスに注目している。
また,トポロジカル記述子に基づくニューラルネットワークの一般化能力の評価手法を提案する。
本稿では、トポロジカルデータ解析と本質的な次元の概念を用いて、さまざまなデータセットと畳み込みニューラルネットワークアーキテクチャの異なる構成に関する幅広い実験を行う。
さらに,分類課題における敵攻撃の幾何学的特徴と,顔認識システムに対する攻撃の偽装について考察する。
我々の研究は、コンピュータビジョンの例を通して、説明可能な、解釈可能なAIの重要な分野の発展に寄与している。
関連論文リスト
- A singular Riemannian Geometry Approach to Deep Neural Networks III. Piecewise Differentiable Layers and Random Walks on $n$-dimensional Classes [49.32130498861987]
本稿ではReLUのような非微分可能活性化関数の事例について検討する。
最近の2つの研究は、ニューラルネットワークを研究するための幾何学的枠組みを導入した。
本稿では,画像の分類と熱力学問題に関する数値実験を行った。
論文 参考訳（メタデータ） (2024-04-09T08:11:46Z) - Probing Biological and Artificial Neural Networks with Task-dependent
Neural Manifolds [12.037840490243603]
本稿では,ニューラルネットワークの内部機構について,ニューラル集団幾何学のレンズを用いて検討する。
学習目的の違いが,これらのモデルの組織戦略の違いにどのように影響するかを定量的に評価する。
これらの分析は、ニューラルネットワークにおける機械的および規範的理論を神経集団幾何学を通してブリッジする強力な方向を示す。
論文 参考訳（メタデータ） (2023-12-21T20:40:51Z) - Topological Data Analysis for Neural Network Analysis: A Comprehensive
Survey [35.29334376503123]
このサーベイは、ニューラルネットワーク分析におけるトポロジカルデータ分析(TDA)の適用を包括的に調査する。
我々は、TDAを用いて、データとニューラルネットワークから位相情報を得るための様々な戦略について議論する。
深層学習の実践的意義を考察し、特に敵対的検出やモデル選択といった分野に焦点を当てる。
論文 参考訳（メタデータ） (2023-12-10T09:50:57Z) - Deep neural networks architectures from the perspective of manifold
learning [0.0]
本稿では,ゲノメトリとトポロジの観点から,ニューラルネットワークアーキテクチャの包括的比較と記述を行う。
我々は、ニューラルネットワークの内部表現と、異なる層上のデータ多様体のトポロジーと幾何学の変化のダイナミクスに焦点を当てる。
論文 参考訳（メタデータ） (2023-06-06T04:57:39Z) - Experimental Observations of the Topology of Convolutional Neural
Network Activations [2.4235626091331737]
トポロジカル・データ解析は、複雑な構造のコンパクトでノイズ・ロバストな表現を提供する。
ディープニューラルネットワーク(DNN)は、モデルアーキテクチャによって定義された一連の変換に関連する数百万のパラメータを学習する。
本稿では,画像分類に使用される畳み込みニューラルネットワークの解釈可能性に関する知見を得る目的で,TDAの最先端技術を適用した。
論文 参考訳（メタデータ） (2022-12-01T02:05:44Z) - Tensor Methods in Computer Vision and Deep Learning [120.3881619902096]
テンソル(tensor)は、複数の次元の視覚データを自然に表現できるデータ構造である。
コンピュータビジョンにおけるディープラーニングパラダイムシフトの出現により、テンソルはさらに基本的なものになっている。
本稿では,表現学習と深層学習の文脈において,テンソルとテンソル法を深く,実践的に検討する。
論文 参考訳（メタデータ） (2021-07-07T18:42:45Z) - A Comprehensive Survey on Community Detection with Deep Learning [93.40332347374712]
コミュニティは、ネットワーク内の他のコミュニティと異なるメンバーの特徴と接続を明らかにする。
この調査は、最先端の手法の様々なカテゴリをカバーする新しい分類法を考案し、提案する。
ディープニューラルネットワーク(Deep Neural Network)は、畳み込みネットワーク(convolutional network)、グラフアテンションネットワーク( graph attention network)、生成的敵ネットワーク(generative adversarial network)、オートエンコーダ(autoencoder)に分けられる。
論文 参考訳（メタデータ） (2021-05-26T14:37:07Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Neural population geometry: An approach for understanding biological and
artificial neural networks [3.4809730725241605]
生体および人工ニューラルネットワークの機能に関する洞察を提供する幾何学的アプローチの例を概観する。
神経集団幾何学は、生体と人工のニューラルネットワークにおける構造と機能の理解を統一する可能性がある。
論文 参考訳（メタデータ） (2021-04-14T18:10:34Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。
結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
論文 参考訳（メタデータ） (2020-06-22T12:46:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。