論文の概要: Topological Structure is Predictive of Deep Neural Network Success in Learning

• arxiv url: http://arxiv.org/abs/2301.09734v1
• Date: Mon, 23 Jan 2023 21:54:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-25 14:47:44.126379
• Title: Topological Structure is Predictive of Deep Neural Network Success in Learning
• Title（参考訳）: トポロジカル構造は学習におけるディープニューラルネットワークの成功を予測する
• Authors: Christopher Griffin and Trevor Karn and Benjamin Apple
• Abstract要約: 基礎となるトレーニングデータの構造は、ディープニューラルネットワーク(DNN)がデータを分類する能力に劇的な影響を及ぼす可能性があることを示す。 それらのトポロジ的構造における単純さは、DNNが2つのデータセットで操作できる能力の大部分を説明できることを示す。
• 参考スコア（独自算出の注目度）: 0.08594140167290097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning has become a fundamental tool in modern science, yet its limitations are still not fully understood. Using a simple children's game, we show that the topological structure of the underlying training data can have a dramatic effect on the ability of a deep neural network (DNN) classifier to learn to classify data. We then take insights obtained from this toy model and apply them to two physical data sets (one from particle physics and one from acoustics), which are known to be amenable to classification by DNN's. We show that the simplicity in their topological structure explains the majority of the DNN's ability to operate on these data sets by showing that fully interpretable topological classifiers are able to perform nearly as well as their DNN counterparts.
• Abstract（参考訳）: 機械学習は現代科学の基本的なツールとなっているが、その限界はまだ完全には理解されていない。 簡単な子どものゲームを用いて、基礎となるトレーニングデータのトポロジ的構造がディープニューラルネットワーク(DNN)分類器のデータの分類学習能力に劇的な影響を及ぼすことを示した。 次に,この玩具モデルから得られた知見を2つの物理データセット(素粒子物理学から1つ,音響学から1つ)に適用する。 それらのトポロジ的構造における単純さは、DNNがこれらのデータセットで操作する能力の大部分を、完全に解釈可能なトポロジ的分類器が、DNNとほぼ同等に動作可能であることを示すことによって説明できる。

関連論文リスト

• Experimental Observations of the Topology of Convolutional Neural Network Activations [2.4235626091331737]
  トポロジカル・データ解析は、複雑な構造のコンパクトでノイズ・ロバストな表現を提供する。 ディープニューラルネットワーク(DNN)は、モデルアーキテクチャによって定義された一連の変換に関連する数百万のパラメータを学習する。 本稿では,画像分類に使用される畳み込みニューラルネットワークの解釈可能性に関する知見を得る目的で,TDAの最先端技術を適用した。
  論文  参考訳（メタデータ） (2022-12-01T02:05:44Z)
• Leveraging The Topological Consistencies of Learning in Deep Neural Networks [0.0]
  我々は,実行中の計算の迅速化を図りながら,学習の進捗を正確に特徴付ける,新しいトポロジ的特徴のクラスを定義する。 提案するトポロジカルな特徴は, バックプロパゲーションに容易に対応できるので, エンド・ツー・エンドのトレーニングに組み込むことが可能である。
  論文  参考訳（メタデータ） (2021-11-30T18:34:48Z)
• Dive into Layers: Neural Network Capacity Bounding using Algebraic Geometry [55.57953219617467]
  ニューラルネットワークの学習性はそのサイズと直接関連していることを示す。 入力データとニューラルネットワークのトポロジ的幾何学的複雑さを測定するためにベッチ数を用いる。 実世界のデータセットMNISTで実験を行い、分析結果と結論を検証した。
  論文  参考訳（メタデータ） (2021-09-03T11:45:51Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Topological Graph Neural Networks [14.349152231293928]
  永続ホモロジーを用いたグラフのグローバルトポロジ情報を取り入れた新しい層であるTOGLを提案する。 我々の層によるGNNの拡張は、合成データセットと実世界のデータの両方において、有益な予測性能をもたらす。
  論文  参考訳（メタデータ） (2021-02-15T20:27:56Z)
• NSL: Hybrid Interpretable Learning From Noisy Raw Data [66.15862011405882]
  本稿では,ラベル付き非構造データから解釈可能なルールを学習するニューラルシンボリック学習フレームワークNSLを提案する。 NSLは、機能抽出のためのトレーニング済みニューラルネットワークと、解集合セマンティクスに基づくルール学習のための最先端のILPシステムであるFastLASを組み合わせる。 NSLは、MNISTデータから堅牢なルールを学び、ニューラルネットワークやランダムフォレストベースラインと比較して、比較または優れた精度を達成できることを実証します。
  論文  参考訳（メタデータ） (2020-12-09T13:02:44Z)
• Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
  関係データに対するKENNの拡張を提案する。 その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
  論文  参考訳（メタデータ） (2020-09-13T21:12:20Z)
• A Topological Framework for Deep Learning [0.7310043452300736]
  機械学習における分類問題は、非常に穏やかな条件下では常に解決可能であることを示す。 特に,ソフトマックス分類ネットワークは,有限列の位相移動によって入力位相空間に作用し,その分類処理を実現する。
  論文  参考訳（メタデータ） (2020-08-31T15:56:42Z)
• An analytic theory of shallow networks dynamics for hinge loss classification [14.323962459195771]
  我々は、単純なタイプのニューラルネットワーク(分類タスクを実行するために訓練された単一の隠れ層)のトレーニングダイナミクスについて研究する。 我々はこの理論を線形分離可能なデータセットと線形ヒンジ損失のプロトタイプケースに特化する。 これにより、トレーニングダイナミクスの減速、リッチラーニングと遅延ラーニングのクロスオーバー、オーバーフィッティングといった、現代のネットワークに現れるいくつかの現象に対処することが可能になります。
  論文  参考訳（メタデータ） (2020-06-19T16:25:29Z)
• Eigen-GNN: A Graph Structure Preserving Plug-in for GNNs [95.63153473559865]
  グラフニューラルネットワーク(GNN)は、グラフ上の新たな機械学習モデルである。 既存のGNNモデルの多くは浅く、本質的に機能中心である。 我々は,既存の浅いGNNがグラフ構造をよく保存できないことを経験的かつ解析的に示す。 本稿では,グラフ構造保存におけるGNNの能力を高めるプラグインモジュールであるEigen-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-08T02:47:38Z)
• Architecture Disentanglement for Deep Neural Networks [174.16176919145377]
  ディープニューラルネットワーク(DNN)の内部動作を説明するために,ニューラルアーキテクチャ・ディコンタングルメント(NAD)を導入する。 NADは、訓練済みのDNNを独立したタスクに従ってサブアーキテクチャに切り離すことを学び、推論プロセスを記述する情報フローを形成する。 その結果、誤分類された画像は、タスクサブアーキテクチャーに正しいサブアーキテクチャーに割り当てられる確率が高いことが示された。
  論文  参考訳（メタデータ） (2020-03-30T08:34:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。