論文の概要: Leveraging The Topological Consistencies of Learning in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2111.15651v1
• Date: Tue, 30 Nov 2021 18:34:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-01 14:38:11.772672
• Title: Leveraging The Topological Consistencies of Learning in Deep Neural Networks
• Title（参考訳）: 深層ニューラルネットワークにおける学習のトポロジカルな構成の活用
• Authors: Stuart Synakowski, Fabian Benitez-Quiroz, Aleix M. Martinez
• Abstract要約: 我々は,実行中の計算の迅速化を図りながら,学習の進捗を正確に特徴付ける,新しいトポロジ的特徴のクラスを定義する。 提案するトポロジカルな特徴は, バックプロパゲーションに容易に対応できるので, エンド・ツー・エンドのトレーニングに組み込むことが可能である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, methods have been developed to accurately predict the testing performance of a Deep Neural Network (DNN) on a particular task, given statistics of its underlying topological structure. However, further leveraging this newly found insight for practical applications is intractable due to the high computational cost in terms of time and memory. In this work, we define a new class of topological features that accurately characterize the progress of learning while being quick to compute during running time. Additionally, our proposed topological features are readily equipped for backpropagation, meaning that they can be incorporated in end-to-end training. Our newly developed practical topological characterization of DNNs allows for an additional set of applications. We first show we can predict the performance of a DNN without a testing set and without the need for high-performance computing. We also demonstrate our topological characterization of DNNs is effective in estimating task similarity. Lastly, we show we can induce learning in DNNs by actively constraining the DNN's topological structure. This opens up new avenues in constricting the underlying structure of DNNs in a meta-learning framework.
• Abstract（参考訳）: 近年,その基盤となるトポロジ構造に関する統計から,特定のタスクにおけるディープニューラルネットワーク(DNN)のテスト性能を正確に予測する手法が開発されている。 しかし、時間とメモリの面で計算コストが高いため、この新たな知見を実用的応用に活用することは困難である。 本研究では,実行中に高速に計算できながら学習の進捗を正確に特徴付けるトポロジカルな特徴の新たなクラスを定義する。 さらに,提案する位相的特徴はバックプロパゲーションに容易に備えられるため,エンドツーエンドのトレーニングに組み込むことができる。 新たに開発されたDNNの実践的トポロジ的特徴により,さらなる応用が可能となった。 まず,dnnの性能をテストセットなしで,高性能コンピューティングを必要とせずに予測できることを示す。 また,DNNのトポロジ的特徴が課題類似性の推定に有効であることを示す。 最後に,DNNのトポロジ的構造を積極的に制約することで,DNNにおける学習を誘導できることを示す。 これにより、メタ学習フレームワークでDNNの基盤構造を絞る新たな道が開かれる。

関連論文リスト

• Deep Neural Networks via Complex Network Theory: a Perspective [3.1023851130450684]
  ディープニューラルネットワーク(DNN)は、リンクと頂点が反復的にデータを処理し、タスクを亜最適に解くグラフとして表現することができる。複雑なネットワーク理論(CNT)は、統計物理学とグラフ理論を融合させ、その重みとニューロン構造を分析してニューラルネットワークを解釈する方法を提供する。 本研究では,DNNのトレーニング分布から抽出した測定値を用いて既存のCNTメトリクスを拡張し,純粋なトポロジカル解析からディープラーニングの解釈可能性へ移行する。
  論文  参考訳（メタデータ） (2024-04-17T08:42:42Z)
• Low-Rank Learning by Design: the Role of Network Architecture and Activation Linearity in Gradient Rank Collapse [14.817633094318253]
  ディープニューラルネットワーク(DNN)におけるデータ効果勾配ランクのアーキテクチャ的選択と構造について検討する。 我々の理論的分析は、完全連結、再帰、畳み込みニューラルネットワークのトレーニングにこれらの境界を提供する。 また、理論的にも経験的にも、アクティベーション関数の線形性、ボトルネック層の導入、畳み込みストライド、シーケンストランケーションといった設計選択がこれらの境界にどのように影響するかを示す。
  論文  参考訳（メタデータ） (2024-02-09T19:28:02Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Abstraction and Symbolic Execution of Deep Neural Networks with Bayesian Approximation of Hidden Features [8.723426955657345]
  本稿では,ディープニューラルネットワークとデータセットをベイズネットワークに抽象化する新しい抽象化手法を提案する。 我々は,DNNの隠蔽層から学習した隠れ特徴を特定するために,次元削減技術を利用している。 運用時間に稀な入力を検出するランタイム監視アプローチを導出できる。
  論文  参考訳（メタデータ） (2021-03-05T14:28:42Z)
• Designing Interpretable Approximations to Deep Reinforcement Learning [14.007731268271902]
  ディープニューラルネットワーク(DNN)は、アルゴリズムのパフォーマンスのバーを設定する。 実際にそのようなハイパフォーマンスなDNNを使うことは不可能かもしれない。 この研究は、所望のパフォーマンスレベルを保持するだけでなく、例えば、DNNで表される潜伏した知識を簡潔に説明できるような縮小モデルを特定することを目指している。
  論文  参考訳（メタデータ） (2020-10-28T06:33:09Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case [93.37576644429578]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。 回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
  論文  参考訳（メタデータ） (2020-06-25T00:45:52Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• The gap between theory and practice in function approximation with deep neural networks [2.969705152497174]
  ディープラーニング(DL)は、意思決定プロセスが現実世界のデータに基づいてトレーニングされたディープニューラルネットワーク(DNN)によって自動化されているため、業界を変革している。 そこで我々は,実際にDNNを検証するための計算フレームワークを導入し,これらの問題に関して経験的性能の研究に利用した。
  論文  参考訳（メタデータ） (2020-01-16T20:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。