論文の概要: Graph Modularity: Towards Understanding the Cross-Layer Transition of Feature Representations in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2111.12485v1
• Date: Wed, 24 Nov 2021 13:29:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-25 14:37:15.548068
• Title: Graph Modularity: Towards Understanding the Cross-Layer Transition of Feature Representations in Deep Neural Networks
• Title（参考訳）: グラフモジュラリティ:ディープニューラルネットワークにおける特徴表現の階層的遷移の理解に向けて
• Authors: Yao Lu, Wen Yang, Yunzhe Zhang, Jinhuan Wang, Shengbo Gong, Zhuangzhi Chen, Zuohui Chen, Qi Xuan, Xiaoniu Yang
• Abstract要約: 我々は、ディープニューラルネットワーク(DNN)における特徴表現の遷移を理解するための小さな一歩を踏み出した。 まず、中間層におけるクラス分離を解析し、次に、動的グラフにおけるコミュニティ進化としてクラス分離の過程をモデル化する。 モジュラリティは層が深くなるにつれて上昇する傾向にあるが、特定の層で隆起するか、あるいは隆起する傾向にある。
• 参考スコア（独自算出の注目度）: 7.187240308034312
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There are good arguments to support the claim that feature representations eventually transition from general to specific in deep neural networks (DNNs), but this transition remains relatively underexplored. In this work, we move a tiny step towards understanding the transition of feature representations. We first characterize this transition by analyzing the class separation in intermediate layers, and next model the process of class separation as community evolution in dynamic graphs. Then, we introduce modularity, a common metric in graph theory, to quantify the evolution of communities. We find that modularity tends to rise as the layer goes deeper, but descends or reaches a plateau at particular layers. Through an asymptotic analysis, we show that modularity can provide quantitative analysis of the transition of the feature representations. With the insight on feature representations, we demonstrate that modularity can also be used to identify and locate redundant layers in DNNs, which provides theoretical guidance for layer pruning. Based on this inspiring finding, we propose a layer-wise pruning method based on modularity. Further experiments show that our method can prune redundant layers with minimal impact on performance. The codes are available at https://github.com/yaolu-zjut/Dynamic-Graphs-Construction.
• Abstract（参考訳）: 特徴表現が最終的に一般から特定のディープニューラルネットワーク(DNN)へ移行すると主張する主張を支持するにはよい議論があるが、この移行はいまだに未検討である。 この作業では、機能表現の遷移を理解するための小さな一歩を踏み出します。 まず,中間層におけるクラス分離を解析し,次に動的グラフにおけるクラス分離の過程をコミュニティ進化としてモデル化する。 次に,グラフ理論における共通指標であるモジュラリティを導入し,コミュニティの進化を定量化する。 モジュール性は、層が深くなるにつれて上昇しがちだが、特定の層で下降するか、高原に達する。 漸近分析により,モジュラリティは特徴表現の遷移を定量的に解析できることを示した。 特徴表現の洞察により、モジュール性はDNNにおける冗長なレイヤの特定と配置にも利用でき、レイヤーのプルーニングに関する理論的ガイダンスを提供する。 この着想的な発見に基づいて,モジュール性に基づく層状刈り込み手法を提案する。 さらなる実験により,本手法は性能への影響を最小限に抑えながら冗長な層をプルーピングできることを示した。 コードはhttps://github.com/yaolu-zjut/dynamic-graphs-structionで入手できる。

関連論文リスト

• Manifold GCN: Diffusion-based Convolutional Neural Network for Manifold-valued Graphs [2.685668802278156]
  リーマン多様体に特徴を持つグラフに対する2つのグラフニューラルネットワーク層を提案する。 まず、多様体値グラフ拡散方程式に基づいて、任意の数のノードに適用可能な拡散層を構築する。 第2に、ベクトルニューロンの枠組みから一般設定へのアイデアの伝達により、多層タンジェントパーセプトロンをモデル化する。
  論文  参考訳（メタデータ） (2024-01-25T18:36:10Z)
• Learning to Approximate Adaptive Kernel Convolution on Graphs [4.434835769977399]
  本稿では,拡散カーネルのスケールによって特徴集約の範囲を制御できる拡散学習フレームワークを提案する。 本モデルは,最先端データセットの性能評価のためのノードワイズ分類のための様々な標準で検証されている。 グラフ分類のための実世界の脳ネットワークデータにも検証され、アルツハイマー分類の実用性を実証している。
  論文  参考訳（メタデータ） (2024-01-22T10:57:11Z)
• A Fractional Graph Laplacian Approach to Oversmoothing [15.795926248847026]
  非直交グラフから有向グラフへのオーバースムーシングの概念を一般化する。 非局所力学を記述した分数グラフ Laplacian Neural ODE を提案する。 グラフのディリクレエネルギーの収束に関して、我々の方法はより柔軟である。
  論文  参考訳（メタデータ） (2023-05-22T14:52:33Z)
• Deep Manifold Learning with Graph Mining [80.84145791017968]
  グラフマイニングのための非段階的決定層を持つ新しいグラフ深層モデルを提案する。 提案モデルでは,現行モデルと比較して最先端性能を実現している。
  論文  参考訳（メタデータ） (2022-07-18T04:34:08Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Multi-Level Attention Pooling for Graph Neural Networks: Unifying Graph Representations with Multiple Localities [4.142375560633827]
  グラフニューラルネットワーク(GNN)は、グラフ構造データのベクトル表現を学ぶために広く使用されている。 潜在的な原因は、深いGNNモデルは、多くのメッセージ通過ステップを通じてノードのローカル情報を失う傾向にある。 このいわゆる過度な問題を解くために,マルチレベルアテンションプールアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-03-02T05:58:12Z)
• Spatio-Temporal Inception Graph Convolutional Networks for Skeleton-Based Action Recognition [126.51241919472356]
  我々はスケルトンに基づく行動認識のためのシンプルで高度にモジュール化されたグラフ畳み込みネットワークアーキテクチャを設計する。 ネットワークは,空間的および時間的経路から多粒度情報を集約するビルディングブロックを繰り返すことで構築される。
  論文  参考訳（メタデータ） (2020-11-26T14:43:04Z)
• Neural Function Modules with Sparse Arguments: A Dynamic Approach to Integrating Information across Layers [84.57980167400513]
  Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。 トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。 私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
  論文  参考訳（メタデータ） (2020-10-15T20:43:17Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。