論文の概要: Enhanced Pruning Strategy for Multi-Component Neural Architectures Using Component-Aware Graph Analysis

• arxiv url: http://arxiv.org/abs/2504.13296v1
• Date: Thu, 17 Apr 2025 19:12:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-28 20:26:06.55581
• Title: Enhanced Pruning Strategy for Multi-Component Neural Architectures Using Component-Aware Graph Analysis
• Title（参考訳）: 成分認識型グラフ解析を用いた多成分ニューラルネットワークの強化プルーニング戦略
• Authors: Ganesh Sundaram, Jonas Ulmen, Daniel Görges,
• Abstract要約: ディープニューラルネットワーク(DNN)は優れたパフォーマンスを提供するが、その複雑さはリソース制約された設定でのデプロイメントをしばしば禁止する。 パラメータ依存解析に基づく包括的構造化プルーニングフレームワークは、計算性能に特有なモデルサイズを減少させる。 コンポーネントを意識したプルーニング戦略を導入し、依存グラフを拡張して個々のコンポーネントとコンポーネント間フローを分離する。
• 参考スコア（独自算出の注目度）: 1.8434042562191812
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep neural networks (DNNs) deliver outstanding performance, but their complexity often prohibits deployment in resource-constrained settings. Comprehensive structured pruning frameworks based on parameter dependency analysis reduce model size with specific regard to computational performance. When applying them to Multi-Component Neural Architectures (MCNAs), they risk network integrity by removing large parameter groups. We introduce a component-aware pruning strategy, extending dependency graphs to isolate individual components and inter-component flows. This creates smaller, targeted pruning groups that conserve functional integrity. Demonstrated effectively on a control task, our approach achieves greater sparsity and reduced performance degradation, opening a path for optimizing complex, multi-component DNNs efficiently.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は優れたパフォーマンスを提供するが、その複雑さはリソース制約された設定でのデプロイメントをしばしば禁止する。 パラメータ依存解析に基づく包括的構造化プルーニングフレームワークは、計算性能に特有なモデルサイズを減少させる。 MCNA(Multi-Component Neural Architectures)に適用する場合、大きなパラメータグループを取り除くことでネットワークの整合性を損なう。 コンポーネントを意識したプルーニング戦略を導入し、依存グラフを拡張して個々のコンポーネントとコンポーネント間フローを分離する。 これにより、機能的整合性を保つ小さな、対象とするプルーニング群が生成される。 提案手法は,制御タスクにおいて効果的に実証され,より広範囲性を実現し,性能劣化を低減し,複雑で多成分なDNNを効率的に最適化するための経路を開く。

関連論文リスト

• Lattice-Based Pruning in Recurrent Neural Networks via Poset Modeling [0.0]
  リカレントニューラルネットワーク(RNN)はシーケンスモデリングタスクの中心であるが、その高い計算複雑性はスケーラビリティとリアルタイムデプロイメントの課題を引き起こす。 本稿では,RNNを部分的に順序付けられた集合(命題)としてモデル化し,対応する依存格子を構成する新しいフレームワークを提案する。 既約ニューロンを同定することにより、格子ベースのプルーニングアルゴリズムは、冗長なニューロンを除去しながら、重要な接続を選択的に保持する。
  論文  参考訳（メタデータ） (2025-02-23T10:11:38Z)
• Enhancing Non-Intrusive Load Monitoring with Features Extracted by Independent Component Analysis [0.0]
  エネルギー分散アルゴリズムの課題に対処するために,新しいニューラルネットワークアーキテクチャを提案する。 以上の結果から, モデルが過度に適合しにくく, 複雑度が低く, 個々の成分で効果的に分解できることが示唆された。
  論文  参考訳（メタデータ） (2025-01-28T09:45:06Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Towards Efficient Deep Spiking Neural Networks Construction with Spiking Activity based Pruning [17.454100169491497]
  本稿では,Spking Channel Activity-based (SCA) network pruning frameworkという,畳み込みカーネルの動作レベルに基づく構造化プルーニング手法を提案する。 本手法は, 学習中の畳み込みカーネルの切断・再生によりネットワーク構造を動的に調整し, 現在の目標タスクへの適応性を高める。
  論文  参考訳（メタデータ） (2024-06-03T07:44:37Z)
• DepGraph: Towards Any Structural Pruning [68.40343338847664]
  我々は、CNN、RNN、GNN、Transformersのような任意のアーキテクチャの一般的な構造解析について研究する。 本稿では,階層間の依存関係を明示的にモデル化し,包括的にグループ化してプルーニングを行う汎用かつ完全自動な手法であるemphDependency Graph(DepGraph)を提案する。 本研究では,画像用ResNe(X)t,DenseNet,MobileNet,Vision Transformer,グラフ用GAT,3Dポイントクラウド用DGCNN,言語用LSTMなど,さまざまなアーキテクチャやタスクに関する手法を広範囲に評価し,言語用LSTMと並行して示す。
  論文  参考訳（メタデータ） (2023-01-30T14:02:33Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
  畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。 この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-08-06T04:38:38Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。