論文の概要: Miniaturized Graph Convolutional Networks with Topologically Consistent Pruning

• arxiv url: http://arxiv.org/abs/2306.17590v1
• Date: Fri, 30 Jun 2023 12:09:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-03 12:34:22.902043
• Title: Miniaturized Graph Convolutional Networks with Topologically Consistent Pruning
• Title（参考訳）: トポロジ的に整合性を有するグラフ畳み込みネットワーク
• Authors: Hichem Sahbi
• Abstract要約: 我々は,そのトポロジ的一貫性を保ちつつ,抽出作業を可能にする新しい等級刈り取り法を考案した。 後者は、アクセス可能かつ共アクセス可能な接続のみが、結果として生じる軽量ネットワークに保持されることを保証する。 我々のソリューションは、アクセシビリティ/コ・アクセシビリティを実装した、新しい再パラメータ化と2つの監督的双方向ネットワークに基づいている。
• 参考スコア（独自算出の注目度）: 12.18340575383456
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Magnitude pruning is one of the mainstream methods in lightweight architecture design whose goal is to extract subnetworks with the largest weight connections. This method is known to be successful, but under very high pruning regimes, it suffers from topological inconsistency which renders the extracted subnetworks disconnected, and this hinders their generalization ability. In this paper, we devise a novel magnitude pruning method that allows extracting subnetworks while guarantying their topological consistency. The latter ensures that only accessible and co-accessible -- impactful -- connections are kept in the resulting lightweight networks. Our solution is based on a novel reparametrization and two supervisory bi-directional networks which implement accessibility/co-accessibility and guarantee that only connected subnetworks will be selected during training. This solution allows enhancing generalization significantly, under very high pruning regimes, as corroborated through extensive experiments, involving graph convolutional networks, on the challenging task of skeleton-based action recognition.
• Abstract（参考訳）: マグニチュードプルーニングは軽量アーキテクチャ設計における主流の手法の1つであり、最大の重み付け接続を持つサブネットワークを抽出することを目的としている。 この方法が成功したことは知られているが、非常に高い刈り取り体制下では、抽出されたサブネットワークを切断するトポロジカルな不整合に苦しめられ、その一般化能力を妨げる。 本稿では,そのトポロジ的一貫性を保ちながらサブネットを抽出できる新しい等級プルーニング法を提案する。 後者は、アクセス可能で共アクセス可能な -- 影響のある - コネクションのみが、結果の軽量ネットワークに保持されることを保証する。 提案手法は,新たな再パラメータ化と,アクセシビリティ/コアクセス性を実装し,接続されたサブネットワークのみをトレーニング中に選択することを保証する2つの双方向ネットワークに基づく。 このソリューションは、グラフ畳み込みネットワークを含む広範な実験を通じて、スケルトンベースのアクション認識の難しいタスクで裏付けられるように、非常に高いプルーニングレジーム下での一般化を著しく促進することができる。

関連論文リスト

• A Multi-objective Complex Network Pruning Framework Based on Divide-and-conquer and Global Performance Impairment Ranking [40.59001171151929]
  本稿では,多目的複合ネットワークプルーニングフレームワークを提案する。 提案アルゴリズムは,最先端プルーニング手法と同等の性能を実現する。
  論文  参考訳（メタデータ） (2023-03-28T12:05:15Z)
• Lightweight Graph Convolutional Networks with Topologically Consistent Magnitude Pruning [12.18340575383456]
  グラフ畳み込みネットワーク(GCN)は現在、不規則データによる学習で主流である。 本稿では,軽量GCN設計のための新しい手法を提案する。 提案手法は, トポロジ的整合性を確保しつつ, 最大等級で解析し, 選定する。
  論文  参考訳（メタデータ） (2022-03-25T12:34:11Z)
• Cascaded Compressed Sensing Networks: A Reversible Architecture for Layerwise Learning [11.721183551822097]
  提案手法は, 補助ネットワークを必要とせずに, 圧縮センシングにより各層にネットワークをモデル化することにより, 対象の伝搬を実現することができることを示す。 実験により,提案手法は補助的なネットワークベース手法よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2021-10-20T05:21:13Z)
• Unsupervised Domain-adaptive Hash for Networks [81.49184987430333]
  ドメイン適応型ハッシュ学習はコンピュータビジョンコミュニティでかなりの成功を収めた。 UDAHと呼ばれるネットワークのための教師なしドメイン適応型ハッシュ学習手法を開発した。
  論文  参考訳（メタデータ） (2021-08-20T12:09:38Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• Deep hierarchical pooling design for cross-granularity action recognition [14.696233190562936]
  本稿では,行動認識における時間的粒度の異なる階層的アグリゲーション設計を提案する。 制約最小化問題の解法により,このネットワークにおける演算の組み合わせを学習する。 原則と基礎が整っただけでなく、提案された階層的なプーリングもビデオ長であり、動作のミスアライメントに耐性がある。
  論文  参考訳（メタデータ） (2020-06-08T11:03:54Z)
• Compact Neural Representation Using Attentive Network Pruning [1.0152838128195465]
  本稿では,Bottom-Upフィードフォワードネットワークに付加されたTop-Downアテンション機構について述べる。 提案手法は, 新たな階層選択機構をプルーニングの基礎として導入するだけでなく, 実験評価において, 従来のベースライン手法と競合するままである。
  論文  参考訳（メタデータ） (2020-05-10T03:20:01Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。