論文の概要: Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks

• arxiv url: http://arxiv.org/abs/2010.01097v1
• Date: Fri, 2 Oct 2020 16:50:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 02:02:46.474088
• Title: Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks
• Title（参考訳）: Dynamic Graph: ニューラルネットワークのインスタンス対応接続性を学ぶ
• Authors: Kun Yuan, Quanquan Li, Dapeng Chen, Aojun Zhou and Junjie Yan
• Abstract要約: 動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
• 参考スコア（独自算出の注目度）: 78.65792427542672
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One practice of employing deep neural networks is to apply the same architecture to all the input instances. However, a fixed architecture may not be representative enough for data with high diversity. To promote the model capacity, existing approaches usually employ larger convolutional kernels or deeper network structure, which may increase the computational cost. In this paper, we address this issue by raising the Dynamic Graph Network (DG-Net). The network learns the instance-aware connectivity, which creates different forward paths for different instances. Specifically, the network is initialized as a complete directed acyclic graph, where the nodes represent convolutional blocks and the edges represent the connection paths. We generate edge weights by a learnable module \textit{router} and select the edges whose weights are larger than a threshold, to adjust the connectivity of the neural network structure. Instead of using the same path of the network, DG-Net aggregates features dynamically in each node, which allows the network to have more representation ability. To facilitate the training, we represent the network connectivity of each sample in an adjacency matrix. The matrix is updated to aggregate features in the forward pass, cached in the memory, and used for gradient computing in the backward pass. We verify the effectiveness of our method with several static architectures, including MobileNetV2, ResNet, ResNeXt, and RegNet. Extensive experiments are performed on ImageNet classification and COCO object detection, which shows the effectiveness and generalization ability of our approach.
• Abstract（参考訳）: ディープニューラルネットワークを採用するプラクティスのひとつは、すべての入力インスタンスに同じアーキテクチャを適用することだ。 しかし、固定アーキテクチャは、高い多様性を持つデータに対して十分に代表されないかもしれない。 モデル容量を促進するために、既存のアプローチは通常、より大きな畳み込みカーネルまたはより深いネットワーク構造を用いる。 本稿では,動的グラフネットワーク(DG-Net)の立ち上げによってこの問題に対処する。 ネットワークはインスタンス認識接続を学習し、異なるインスタンスに対して異なるフォワードパスを生成する。 具体的には、ネットワークは完全有向非巡回グラフとして初期化され、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 学習可能なモジュール \textit{router} によってエッジ重みを生成し、重みがしきい値より大きいエッジを選択し、ニューラルネットワーク構造の接続性を調整する。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。 学習を容易にするために,各サンプルのネットワーク接続を隣接行列で表現する。 マトリックスはフォワードパスの機能を集約するために更新され、メモリにキャッシュされ、後方パスでの勾配計算に使用される。 提案手法の有効性をMobileNetV2,ResNet,ResNeXt,RegNetなどいくつかの静的アーキテクチャで検証する。 画像ネットの分類とCOCOオブジェクト検出について大規模な実験を行い,本手法の有効性と一般化能力を示した。

関連論文リスト

• Learning Cooperative Beamforming with Edge-Update Empowered Graph Neural Networks [29.23937571816269]
  グラフエッジ上での協調ビームフォーミングを学習するためのエッジグラフニューラルネットワーク(Edge-GNN)を提案する。 提案したEdge-GNNは、最先端の手法よりも計算時間をはるかに短くして、より高い和率を達成する。
  論文  参考訳（メタデータ） (2022-11-23T02:05:06Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Graph-based Algorithm Unfolding for Energy-aware Power Allocation in Wireless Networks [27.600081147252155]
  我々は,無線通信網におけるエネルギー効率を最大化する新しいグラフ要約フレームワークを開発した。 無線ネットワークデータのモデルに望ましい特性である置換訓練について述べる。 結果は、異なるネットワークトポロジにまたがる一般化可能性を示している。
  論文  参考訳（メタデータ） (2022-01-27T20:23:24Z)
• Temporal Graph Network Embedding with Causal Anonymous Walks Representations [54.05212871508062]
  本稿では,時間グラフネットワークに基づく動的ネットワーク表現学習のための新しいアプローチを提案する。 評価のために、時間的ネットワーク埋め込みの評価のためのベンチマークパイプラインを提供する。 欧州の大手銀行が提供した実世界のダウンストリームグラフ機械学習タスクにおいて、我々のモデルの適用性と優れた性能を示す。
  論文  参考訳（メタデータ） (2021-08-19T15:39:52Z)
• RAN-GNNs: breaking the capacity limits of graph neural networks [43.66682619000099]
  グラフニューラルネットワークは、グラフ上で定義されたデータの学習と分析に対処する問題の中心となっている。 最近の研究では、複数の近隣サイズを同時に考慮し、適応的にそれらを調整する必要があるためです。 ランダムに配線されたアーキテクチャを用いることで、ネットワークの容量を増大させ、よりリッチな表現を得ることができることを示す。
  論文  参考訳（メタデータ） (2021-03-29T12:34:36Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Adjoined Networks: A Training Paradigm with Applications to Network Compression [3.995047443480282]
  本稿では、元のベースネットワークとより小さな圧縮ネットワークの両方を同時にトレーニングする学習パラダイムであるAdjoined Networks(AN)を紹介する。 ベースネットワークとしてResNet-50を使用すると、画像Netデータセット上の1.8Mパラメータと1.6GFLOPで71.8%のトップ-1の精度が達成される。 我々は,ニューラルネットワーク探索を用いて,より小さなネットワークの各レイヤの幅と重みを共同で学習し,ANを増強する訓練パラダイムであるDaniable Adjoined Networks (DAN)を提案する。
  論文  参考訳（メタデータ） (2020-06-10T02:48:16Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• EdgeNets:Edge Varying Graph Neural Networks [179.99395949679547]
  本稿では、EdgeNetの概念を通じて、最先端グラフニューラルネットワーク(GNN)を統一する一般的なフレームワークを提案する。 EdgeNetはGNNアーキテクチャであり、異なるノードが異なるパラメータを使って異なる隣人の情報を測定することができる。 これは、ノードが実行でき、既存のグラフ畳み込みニューラルネットワーク(GCNN)とグラフアテンションネットワーク(GAT)の1つの定式化の下で包含できる一般的な線形で局所的な操作である。
  論文  参考訳（メタデータ） (2020-01-21T15:51:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。