Fugu-MT 論文翻訳(概要): Deep Manifold Part 1: Anatomy of Neural Network Manifold

論文の概要: Deep Manifold Part 1: Anatomy of Neural Network Manifold

arxiv url: http://arxiv.org/abs/2409.17592v1
Date: Thu, 26 Sep 2024 07:19:12 GMT
ステータス: 処理完了
システム内更新日: 2024-09-28 22:46:14.684171
Title: Deep Manifold Part 1: Anatomy of Neural Network Manifold
Title（参考訳）: Deep Manifold Part 1: Anatomy of Neural Network Manifold
Authors: Max Y. Ma and Gen-Hua Shi
Abstract要約: 数値多様体法の原理に基づいて,ニューラルネットワーク多様体の数学的枠組みであるDeep Manifoldを開発した。また、ニューラルネットワーク学習空間と深い多様体空間という2つの概念を定義します。負の時間を与えるトレーニングデータのトークンタイムスタンプが、逆問題においてどれほど重要か。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Based on the numerical manifold method principle, we developed a mathematical framework of a neural network manifold: Deep Manifold and discovered that neural networks: 1) is numerical computation combining forward and inverse; 2) have near infinite degrees of freedom; 3) exponential learning capacity with depth; 4) have self-progressing boundary conditions; 5) has training hidden bottleneck. We also define two concepts: neural network learning space and deep manifold space and introduce two concepts: neural network intrinsic pathway and fixed point. We raise three fundamental questions: 1). What is the training completion definition; 2). where is the deep learning convergence point (neural network fixed point); 3). How important is token timestamp in training data given negative time is critical in inverse problem.
Abstract（参考訳）: 数値多様体法の原理に基づいて,ニューラルネットワーク多様体の数学的枠組みを開発した。 1) 前方と逆数を組み合わせた数値計算 2) ほぼ無限の自由度を持つ。 3) 深度による指数学習能力 4) 自己進行性境界条件を有すること。 5) 隠れボトルネックをトレーニングする。また、ニューラルネットワーク学習空間と深い多様体空間という2つの概念を定義し、ニューラルネットワーク固有の経路と固定点という2つの概念を紹介します。基本的な質問は3つです。トレーニング完了の定義は何ですか; 2)。深層学習収束点(神経ネットワーク固定点)はどこにあるのか。負の時間を与えるトレーニングデータのトークンタイムスタンプが、逆問題においてどれほど重要か。

関連論文リスト

Verified Neural Compressed Sensing [58.98637799432153]
精度の高い計算タスクのために、初めて(私たちの知識を最大限に活用するために)証明可能なニューラルネットワークを開発します。極小問題次元(最大50)では、線形および双項線形測定からスパースベクトルを確実に回復するニューラルネットワークを訓練できることを示す。ネットワークの複雑さは問題の難易度に適応できることを示し、従来の圧縮センシング手法が証明不可能な問題を解く。
論文参考訳（メタデータ） (2024-05-07T12:20:12Z)
Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文参考訳（メタデータ） (2024-02-19T09:29:37Z)
A Sparse Quantized Hopfield Network for Online-Continual Memory [0.0]
神経系は、ノイズの多いデータポイントのストリームが非独立で同一に分散された(非i.d.)方法で提示されるオンライン学習を行う。一方、ディープネットワークは、通常非ローカルな学習アルゴリズムを使用し、オフライン、非ノイズ、すなわち設定で訓練される。我々は、スパース量子ホップフィールドネットワーク(SQHN)と呼ばれる新しいニューラルネットワークにこの種のモデルを実装する。
論文参考訳（メタデータ） (2023-07-27T17:46:17Z)
Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文参考訳（メタデータ） (2023-07-20T13:34:11Z)
Meta Learning in Decentralized Neural Networks: Towards More General AI [0.0]
我々は、分散ニューラルネットワーク(分散NN)の内容から学ぶための学習の基本的な理解を提供することを目的としている。このような分散学習システムを構築するために,我々は3つの異なるアプローチを提案する。
論文参考訳（メタデータ） (2023-02-02T11:15:07Z)
Topological Understanding of Neural Networks, a survey [0.0]
一般にブラックボックスとして扱われるニューラルネットワークの内部構造を考察する。我々は、異なるアクティベーション関数、それらに関連するネットワークアーキテクチャの種類、およびいくつかの経験的データの重要性についてレビューする。
論文参考訳（メタデータ） (2023-01-23T22:11:37Z)
What is an equivariant neural network? [11.107386212926702]
コンピュータビジョンのための深層畳み込みニューラルネットワークから、タンパク質構造予測のためのAlphaFold 2まで、機械学習におけるブレークスルーの基礎となる概念である同変ニューラルネットワークについて説明する。基本的な数学的アイデアは単純であるが、実践的な実現をもたらす工学的な複雑さによってしばしば曖昧にされる。
論文参考訳（メタデータ） (2022-05-15T19:24:12Z)
A singular Riemannian geometry approach to Deep Neural Networks II. Reconstruction of 1-D equivalence classes [78.120734120667]
入力空間における出力多様体内の点の事前像を構築する。我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
論文参考訳（メタデータ） (2021-12-17T11:47:45Z)
Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文参考訳（メタデータ） (2020-08-19T04:53:31Z)
Locality Guided Neural Networks for Explainable Artificial Intelligence [12.435539489388708]
LGNN(Locality Guided Neural Network)と呼ばれる,バック伝搬のための新しいアルゴリズムを提案する。 LGNNはディープネットワークの各層内の隣接ニューロン間の局所性を保っている。実験では,CIFAR100 上の画像分類のための様々な VGG と Wide ResNet (WRN) ネットワークを訓練した。
論文参考訳（メタデータ） (2020-07-12T23:45:51Z)
Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
論文参考訳（メタデータ） (2020-06-24T02:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。