論文の概要: Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks

• arxiv url: http://arxiv.org/abs/2010.01097v1
• Date: Fri, 2 Oct 2020 16:50:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 02:02:46.474088
• Title: Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks
• Title（参考訳）: Dynamic Graph: ニューラルネットワークのインスタンス対応接続性を学ぶ
• Authors: Kun Yuan, Quanquan Li, Dapeng Chen, Aojun Zhou and Junjie Yan
• Abstract要約: 動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
• 参考スコア（独自算出の注目度）: 78.65792427542672
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One practice of employing deep neural networks is to apply the same architecture to all the input instances. However, a fixed architecture may not be representative enough for data with high diversity. To promote the model capacity, existing approaches usually employ larger convolutional kernels or deeper network structure, which may increase the computational cost. In this paper, we address this issue by raising the Dynamic Graph Network (DG-Net). The network learns the instance-aware connectivity, which creates different forward paths for different instances. Specifically, the network is initialized as a complete directed acyclic graph, where the nodes represent convolutional blocks and the edges represent the connection paths. We generate edge weights by a learnable module \textit{router} and select the edges whose weights are larger than a threshold, to adjust the connectivity of the neural network structure. Instead of using the same path of the network, DG-Net aggregates features dynamically in each node, which allows the network to have more representation ability. To facilitate the training, we represent the network connectivity of each sample in an adjacency matrix. The matrix is updated to aggregate features in the forward pass, cached in the memory, and used for gradient computing in the backward pass. We verify the effectiveness of our method with several static architectures, including MobileNetV2, ResNet, ResNeXt, and RegNet. Extensive experiments are performed on ImageNet classification and COCO object detection, which shows the effectiveness and generalization ability of our approach.
• Abstract（参考訳）: ディープニューラルネットワークを採用するプラクティスのひとつは、すべての入力インスタンスに同じアーキテクチャを適用することだ。 しかし、固定アーキテクチャは、高い多様性を持つデータに対して十分に代表されないかもしれない。 モデル容量を促進するために、既存のアプローチは通常、より大きな畳み込みカーネルまたはより深いネットワーク構造を用いる。 本稿では,動的グラフネットワーク(DG-Net)の立ち上げによってこの問題に対処する。 ネットワークはインスタンス認識接続を学習し、異なるインスタンスに対して異なるフォワードパスを生成する。 具体的には、ネットワークは完全有向非巡回グラフとして初期化され、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 学習可能なモジュール \textit{router} によってエッジ重みを生成し、重みがしきい値より大きいエッジを選択し、ニューラルネットワーク構造の接続性を調整する。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。 学習を容易にするために,各サンプルのネットワーク接続を隣接行列で表現する。 マトリックスはフォワードパスの機能を集約するために更新され、メモリにキャッシュされ、後方パスでの勾配計算に使用される。 提案手法の有効性をMobileNetV2,ResNet,ResNeXt,RegNetなどいくつかの静的アーキテクチャで検証する。 画像ネットの分類とCOCOオブジェクト検出について大規模な実験を行い,本手法の有効性と一般化能力を示した。

関連論文リスト

• Online Learning Of Expanding Graphs [14.952056744888916]
  本稿では,信号ストリームからグラフを拡張するためのオンラインネットワーク推論の問題に対処する。 ネットワークに加入したばかりのノードや,それまでのノードに対して,さまざまなタイプの更新を可能にする戦略を導入する。
  論文  参考訳（メタデータ） (2024-09-13T09:20:42Z)
• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• Graph Metanetworks for Processing Diverse Neural Architectures [33.686728709734105]
  Graph Metanetworks(GMN)は、競合するメソッドが苦労するニューラルネットワークに一般化する。 GMNは,入力ニューラルネットワーク関数を残したパラメータ置換対称性と等価であることを示す。
  論文  参考訳（メタデータ） (2023-12-07T18:21:52Z)
• Infinite Width Graph Neural Networks for Node Regression/ Classification [0.0]
  この研究は、グラフ構造化データ上の完全連結ディープニューラルネットワークの一般化であるグラフニューラルネットワークを分析する。
  論文  参考訳（メタデータ） (2023-10-12T10:01:39Z)
• EGRC-Net: Embedding-induced Graph Refinement Clustering Network [66.44293190793294]
  埋め込みによるグラフリファインメントクラスタリングネットワーク (EGRC-Net) という新しいグラフクラスタリングネットワークを提案する。 EGRC-Netは学習した埋め込みを利用して初期グラフを適応的に洗練し、クラスタリング性能を向上させる。 提案手法はいくつかの最先端手法より一貫して優れている。
  論文  参考訳（メタデータ） (2022-11-19T09:08:43Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Temporal Graph Network Embedding with Causal Anonymous Walks Representations [54.05212871508062]
  本稿では,時間グラフネットワークに基づく動的ネットワーク表現学習のための新しいアプローチを提案する。 評価のために、時間的ネットワーク埋め込みの評価のためのベンチマークパイプラインを提供する。 欧州の大手銀行が提供した実世界のダウンストリームグラフ機械学習タスクにおいて、我々のモデルの適用性と優れた性能を示す。
  論文  参考訳（メタデータ） (2021-08-19T15:39:52Z)
• Adjoined Networks: A Training Paradigm with Applications to Network Compression [3.995047443480282]
  本稿では、元のベースネットワークとより小さな圧縮ネットワークの両方を同時にトレーニングする学習パラダイムであるAdjoined Networks(AN)を紹介する。 ベースネットワークとしてResNet-50を使用すると、画像Netデータセット上の1.8Mパラメータと1.6GFLOPで71.8%のトップ-1の精度が達成される。 我々は,ニューラルネットワーク探索を用いて,より小さなネットワークの各レイヤの幅と重みを共同で学習し,ANを増強する訓練パラダイムであるDaniable Adjoined Networks (DAN)を提案する。
  論文  参考訳（メタデータ） (2020-06-10T02:48:16Z)
• EdgeNets:Edge Varying Graph Neural Networks [179.99395949679547]
  本稿では、EdgeNetの概念を通じて、最先端グラフニューラルネットワーク(GNN)を統一する一般的なフレームワークを提案する。 EdgeNetはGNNアーキテクチャであり、異なるノードが異なるパラメータを使って異なる隣人の情報を測定することができる。 これは、ノードが実行でき、既存のグラフ畳み込みニューラルネットワーク(GCNN)とグラフアテンションネットワーク(GAT)の1つの定式化の下で包含できる一般的な線形で局所的な操作である。
  論文  参考訳（メタデータ） (2020-01-21T15:51:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。