論文の概要: Learning Connectivity of Neural Networks from a Topological Perspective

• arxiv url: http://arxiv.org/abs/2008.08261v1
• Date: Wed, 19 Aug 2020 04:53:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 12:00:56.473189
• Title: Learning Connectivity of Neural Networks from a Topological Perspective
• Title（参考訳）: トポロジカル視点から見たニューラルネットワークの接続性学習
• Authors: Kun Yuan, Quanquan Li, Jing Shao, Junjie Yan
• Abstract要約: 本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
• 参考スコア（独自算出の注目度）: 80.35103711638548
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Seeking effective neural networks is a critical and practical field in deep learning. Besides designing the depth, type of convolution, normalization, and nonlinearities, the topological connectivity of neural networks is also important. Previous principles of rule-based modular design simplify the difficulty of building an effective architecture, but constrain the possible topologies in limited spaces. In this paper, we attempt to optimize the connectivity in neural networks. We propose a topological perspective to represent a network into a complete graph for analysis, where nodes carry out aggregation and transformation of features, and edges determine the flow of information. By assigning learnable parameters to the edges which reflect the magnitude of connections, the learning process can be performed in a differentiable manner. We further attach auxiliary sparsity constraint to the distribution of connectedness, which promotes the learned topology focus on critical connections. This learning process is compatible with existing networks and owns adaptability to larger search spaces and different tasks. Quantitative results of experiments reflect the learned connectivity is superior to traditional rule-based ones, such as random, residual, and complete. In addition, it obtains significant improvements in image classification and object detection without introducing excessive computation burden.
• Abstract（参考訳）: 効果的なニューラルネットワークを探すことは、ディープラーニングにおける批判的で実践的な分野である。 深度、畳み込みの種類、正規化、非線形性を設計するだけでなく、ニューラルネットワークのトポロジカル接続も重要である。 従来のルールベースのモジュラー設計の原則は、効率的なアーキテクチャを構築することの難しさを単純化するが、限られた空間で可能なトポロジを制約する。 本稿では,ニューラルネットワークにおけるコネクティビティの最適化を試みる。 本稿では,ノードが特徴の集約と変換を行い,エッジが情報の流れを決定する,解析のための完全なグラフにネットワークを表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 さらに,連結度分布に余剰空間制約を付加し,臨界接続に着目した学習トポロジを促進する。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。 実験の定量的結果は、学習された接続性は、ランダム、残留、完全といった従来の規則に基づくものよりも優れていることを反映している。 さらに、過剰な計算負荷を伴わずに画像分類と物体検出を大幅に改善する。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• The Principles of Deep Learning Theory [19.33681537640272]
  この本は、実践的妥当性の深いニューラルネットワークを理解するための効果的な理論アプローチを開発する。 これらのネットワークがトレーニングから非自明な表現を効果的に学習する方法について説明する。 トレーニングネットワークのアンサンブルの有効モデル複雑性を,奥行き比が支配していることを示す。
  論文  参考訳（メタデータ） (2021-06-18T15:00:00Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Topological Insights into Sparse Neural Networks [16.515620374178535]
  本稿では,グラフ理論の観点から,スパースニューラルネットワークトポロジの理解と比較を行うアプローチを提案する。 まず、異なるスパースニューラルネットワーク間の距離を測定するために、NNSTD(Neural Network Sparse Topology Distance)を提案する。 適応的なスパース接続は、高密度モデルよりも優れた非常に異なるトポロジを持つスパースサブネットワークを常に顕在化することができることを示す。
  論文  参考訳（メタデータ） (2020-06-24T22:27:21Z)
• Neural Rule Ensembles: Encoding Sparse Feature Interactions into Neural Networks [3.7277730514654555]
  決定木を用いて、関連する特徴とその相互作用をキャプチャし、抽出した関係をニューラルネットワークにエンコードするマッピングを定義する。 同時に、機能選択により、アートツリーベースのアプローチの状況と比較して、コンパクトな表現の学習が可能になる。
  論文  参考訳（メタデータ） (2020-02-11T11:22:20Z)
• Emergence of Network Motifs in Deep Neural Networks [0.35911228556176483]
  ニューラルネットワークの研究にネットワークサイエンスツールをうまく応用できることが示される。 特に,マルチ層パーセプトロンにおけるネットワークモチーフの出現について検討する。
  論文  参考訳（メタデータ） (2019-12-27T17:05:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。