論文の概要: Ghost-Connect Net: A Generalization-Enhanced Guidance For Sparse Deep Networks Under Distribution Shifts

• arxiv url: http://arxiv.org/abs/2411.09199v1
• Date: Thu, 14 Nov 2024 05:43:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-15 15:24:07.437759
• Title: Ghost-Connect Net: A Generalization-Enhanced Guidance For Sparse Deep Networks Under Distribution Shifts
• Title（参考訳）: Ghost-Connect Net: 分散シフト下でのスパースディープネットワークのための一般化強化ガイダンス
• Authors: Mary Isabelle Wisell, Salimeh Yasaei Sekeh,
• Abstract要約: 本稿では,Ghost Connect-Net(GC-Net)を導入し,分散一般化によるネットワーク接続の監視を行う。 GC-Netをプルーニングした後、プルーニングされた場所はプルーニングされた接続として元のネットワークにマップされる。 本稿では,GC-Netの分散シフト下での一般化向上のための理論的基盤を提供する。
• 参考スコア（独自算出の注目度）: 5.524804393257921
• License:
• Abstract: Sparse deep neural networks (DNNs) excel in real-world applications like robotics and computer vision, by reducing computational demands that hinder usability. However, recent studies aim to boost DNN efficiency by trimming redundant neurons or filters based on task relevance, but neglect their adaptability to distribution shifts. We aim to enhance these existing techniques by introducing a companion network, Ghost Connect-Net (GC-Net), to monitor the connections in the original network with distribution generalization advantage. GC-Net's weights represent connectivity measurements between consecutive layers of the original network. After pruning GC-Net, the pruned locations are mapped back to the original network as pruned connections, allowing for the combination of magnitude and connectivity-based pruning methods. Experimental results using common DNN benchmarks, such as CIFAR-10, Fashion MNIST, and Tiny ImageNet show promising results for hybridizing the method, and using GC-Net guidance for later layers of a network and direct pruning on earlier layers. We provide theoretical foundations for GC-Net's approach to improving generalization under distribution shifts.
• Abstract（参考訳）: スパースディープニューラルネットワーク(DNN)は、ロボット工学やコンピュータビジョンといった現実世界の応用において、ユーザビリティを妨げる計算要求を減らすことで優れている。 しかし、近年の研究は、タスク関連性に基づいて冗長ニューロンやフィルタをトリミングすることでDNN効率を向上させることを目的としているが、分布シフトへの適応性は無視されている。 我々は,従来のネットワークであるGhost Connect-Net(GC-Net)を導入し,分散の一般化によるネットワーク接続の監視を行うことにより,これらの既存技術を強化することを目指している。 GC-Netの重みは、元のネットワークの連続した層間の接続性の測定を表す。 GC-Netをプルーニングした後、プルーニングされたロケーションはプルーニングされた接続として元のネットワークにマップされ、マグニチュードと接続ベースのプルーニングメソッドを組み合わせることができる。 CIFAR-10、Fashion MNIST、Tiny ImageNetなどの一般的なDNNベンチマークを用いた実験結果は、この手法をハイブリダイズするための有望な結果を示し、ネットワークの後層のGC-Netガイダンスを使用し、それ以前の層で直接プルーニングすることを示す。 本稿では,GC-Netの分散シフト下での一般化向上のための理論的基盤を提供する。

関連論文リスト

• Learning Load Balancing with GNN in MPTCP-Enabled Heterogeneous Networks [13.178956651532213]
  本稿では,MP TCP 対応 HetNet の LB 問題に対処するグラフニューラルネットワーク (GNN) モデルを提案する。 従来のディープニューラルネットワーク(DNN)と比較して、提案したGNNベースのモデルには2つの重要な長所がある。
  論文  参考訳（メタデータ） (2024-10-22T15:49:53Z)
• SGLP: A Similarity Guided Fast Layer Partition Pruning for Compressing Large Deep Models [19.479746878680707]
  レイヤプルーニングは、ネットワークサイズを削減し、計算効率を向上させるための強力なアプローチである。 大規模深層モデル圧縮のための類似性誘導高速層分割プルーニングを提案する。 本手法は精度と計算効率の両面で最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-10-14T04:01:08Z)
• Searching for Network Width with Bilaterally Coupled Network [75.43658047510334]
  この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。 BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。 本稿では,Channel-Bench-Macroというマクロ構造に対するオープンソースのワイド・ベンチマークを提案し,ワイド・サーチ・アルゴリズムの比較を行った。
  論文  参考訳（メタデータ） (2022-03-25T15:32:46Z)
• Edge Rewiring Goes Neural: Boosting Network Resilience via Policy Gradient [62.660451283548724]
  ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。 ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
  論文  参考訳（メタデータ） (2021-10-18T06:14:28Z)
• BCNet: Searching for Network Width with Bilaterally Coupled Network [56.14248440683152]
  この問題に対処するため、BCNet(Bilaterally Coupled Network)と呼ばれる新しいスーパーネットを導入する。 BCNetでは、各チャネルは高度に訓練され、同じ量のネットワーク幅を担っているため、ネットワーク幅をより正確に評価することができる。 提案手法は,他のベースライン手法と比較して,最先端あるいは競合的な性能を実現する。
  論文  参考訳（メタデータ） (2021-05-21T18:54:03Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Compact Neural Representation Using Attentive Network Pruning [1.0152838128195465]
  本稿では,Bottom-Upフィードフォワードネットワークに付加されたTop-Downアテンション機構について述べる。 提案手法は, 新たな階層選択機構をプルーニングの基礎として導入するだけでなく, 実験評価において, 従来のベースライン手法と競合するままである。
  論文  参考訳（メタデータ） (2020-05-10T03:20:01Z)
• DRU-net: An Efficient Deep Convolutional Neural Network for Medical Image Segmentation [2.3574651879602215]
  残留ネットワーク(ResNet)と密結合ネットワーク(DenseNet)は、ディープ畳み込みニューラルネットワーク(DCNN)のトレーニング効率と性能を大幅に改善した。 両ネットワークの利点を考慮した効率的なネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-04-28T12:16:24Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions [76.05981545084738]
  本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。 まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。 提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-07T02:12:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。