論文の概要: Neural networks adapting to datasets: learning network size and topology

• arxiv url: http://arxiv.org/abs/2006.12195v2
• Date: Wed, 15 Jul 2020 10:00:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 04:25:57.048334
• Title: Neural networks adapting to datasets: learning network size and topology
• Title（参考訳）: データセットに適応するニューラルネットワーク:ネットワークサイズとトポロジーの学習
• Authors: Romuald A. Janik, Aleksandra Nowak
• Abstract要約: ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。 結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
• 参考スコア（独自算出の注目度）: 77.34726150561087
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a flexible setup allowing for a neural network to learn both its size and topology during the course of a standard gradient-based training. The resulting network has the structure of a graph tailored to the particular learning task and dataset. The obtained networks can also be trained from scratch and achieve virtually identical performance. We explore the properties of the network architectures for a number of datasets of varying difficulty observing systematic regularities. The obtained graphs can be therefore understood as encoding nontrivial characteristics of the particular classification tasks.
• Abstract（参考訳）: ニューラルネットワークが標準勾配に基づくトレーニングの過程で、そのサイズとトポロジを学習できるようにするフレキシブルなセットアップを導入する。 得られたネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。 得られたネットワークはスクラッチからトレーニングすることもでき、ほぼ同じ性能が得られる。 ネットワークアーキテクチャの特性を,系統的な規則性の観察が困難であるさまざまなデータセットに対して検討する。 したがって、得られたグラフは特定の分類タスクの非自明な特性を符号化するものとして理解することができる。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Topological Uncertainty: Monitoring trained neural networks through persistence of activation graphs [0.9786690381850356]
  産業アプリケーションでは、オープンワールド設定から得られるデータは、ネットワークがトレーニングされたベンチマークデータセットと大きく異なる可能性がある。 活性化グラフのトポロジ的特性に基づいて訓練されたニューラルネットワークを監視する手法を開発している。
  論文  参考訳（メタデータ） (2021-05-07T14:16:03Z)
• Graph-Based Neural Network Models with Multiple Self-Supervised Auxiliary Tasks [79.28094304325116]
  グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。 マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
  論文  参考訳（メタデータ） (2020-11-14T11:09:51Z)
• A Topological Framework for Deep Learning [0.7310043452300736]
  機械学習における分類問題は、非常に穏やかな条件下では常に解決可能であることを示す。 特に,ソフトマックス分類ネットワークは,有限列の位相移動によって入力位相空間に作用し,その分類処理を実現する。
  論文  参考訳（メタデータ） (2020-08-31T15:56:42Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• An analytic theory of shallow networks dynamics for hinge loss classification [14.323962459195771]
  我々は、単純なタイプのニューラルネットワーク(分類タスクを実行するために訓練された単一の隠れ層)のトレーニングダイナミクスについて研究する。 我々はこの理論を線形分離可能なデータセットと線形ヒンジ損失のプロトタイプケースに特化する。 これにより、トレーニングダイナミクスの減速、リッチラーニングと遅延ラーニングのクロスオーバー、オーバーフィッティングといった、現代のネットワークに現れるいくつかの現象に対処することが可能になります。
  論文  参考訳（メタデータ） (2020-06-19T16:25:29Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)
• Progressive Graph Convolutional Networks for Semi-Supervised Node Classification [97.14064057840089]
  グラフ畳み込みネットワークは、半教師付きノード分類のようなグラフベースのタスクに対処することに成功した。 本稿では,コンパクトかつタスク固有のグラフ畳み込みネットワークを自動構築する手法を提案する。
  論文  参考訳（メタデータ） (2020-03-27T08:32:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。