論文の概要: AgenticPruner: MAC-Constrained Neural Network Compression via LLM-Driven Strategy Search
- arxiv url: http://arxiv.org/abs/2601.12272v1
- Date: Sun, 18 Jan 2026 06:07:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-21 22:47:22.543031
- Title: AgenticPruner: MAC-Constrained Neural Network Compression via LLM-Driven Strategy Search
- Title(参考訳): AgenticPruner: LLM駆動戦略探索によるMAC制約ニューラルネットワーク圧縮
- Authors: Shahrzad Esmat, Mahdi Banisharif, Ali Jannesari,
- Abstract要約: 反復戦略学習により,MAC (Multiply-Accumulate) 運用予算を実現するためのフレームワークを提案する。
提案手法では,モデルアーキテクチャとMAC分布を解析するプロファイリングエージェント,分散監視によるワークフローのオーケストレーションを行うマスタエージェント,Claude 3.5 Sonnetを用いた分析エージェントの3つの特殊エージェントをコーディネートする。
我々は、ResNet、ConvNeXt、DeiTアーキテクチャにまたがるImageNet-1Kのフレームワークを検証する。
- 参考スコア(独自算出の注目度): 7.825137277264239
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural network pruning remains essential for deploying deep learning models on resource-constrained devices, yet existing approaches primarily target parameter reduction without directly controlling computational cost. This yields unpredictable inference latency in deployment scenarios where strict Multiply-Accumulate (MAC) operation budgets must be met. We propose AgenticPruner, a framework utilizing large language models to achieve MAC-constrained optimization through iterative strategy learning. Our approach coordinates three specialized agents: a Profiling Agent that analyzes model architecture and MAC distributions, a Master Agent that orchestrates the workflow with divergence monitoring, and an Analysis Agent powered by Claude 3.5 Sonnet that learns optimal strategies from historical attempts. Through in-context learning, the Analysis Agent improves convergence success rate from 48% to 71% compared to grid search. Building upon isomorphic pruning's graph-based structural grouping, our method adds context-aware adaptation by analyzing patterns across pruning iterations, enabling automatic convergence to target MAC budgets within user-defined tolerance bands. We validate our framework on ImageNet-1K across ResNet, ConvNeXt, and DeiT architectures. On CNNs, our approach achieves MAC targeting while maintaining or improving accuracy: ResNet-50 reaches 1.77G MACs with 77.04% accuracy (+0.91% vs baseline); ResNet-101 achieves 4.22G MACs with 78.94% accuracy (+1.56% vs baseline). For ConvNeXt-Small, pruning to 8.17G MACs yields 1.41x GPU and 1.07x CPU speedup with 45% parameter reduction. On Vision Transformers, we demonstrate MAC-budget compliance within user-defined tolerance bands (typically +1% to +5% overshoot, -5% to -15% undershoot), establishing feasibility for deployment scenarios requiring strict computational guarantees.
- Abstract(参考訳): ニューラルネットワークプルーニングは、リソース制約のあるデバイスにディープラーニングモデルをデプロイするためには依然として不可欠であるが、既存のアプローチでは、直接計算コストを制御せずにパラメータの削減を主なターゲットとしている。
これにより、厳格なMultiply-Accumulate(MAC)運用予算を満たさなければならないデプロイメントシナリオにおいて、予測不可能な推論遅延が発生する。
本稿では,MAC制約付き最適化を実現するために,大規模言語モデルを利用したAgenticPrunerを提案する。
提案手法では,モデルアーキテクチャとMAC分布を解析するプロファイリングエージェント,分散監視によるワークフローのオーケストレーションを行うマスタエージェント,そして歴史的試みから最適な戦略を学習するClaude 3.5 Sonnetを用いた分析エージェントの3つの特殊エージェントをコーディネートする。
In-context Learningを通じて、Analytics Agentは、グリッド検索と比較して収束の成功率を48%から71%に改善する。
本手法は,同型プルーニングのグラフに基づく構造グルーピングを基盤として,プルーニング繰り返しのパターンを解析し,ユーザ定義のトレランスバンド内におけるMAC予算の自動収束を可能にする。
我々は、ResNet、ConvNeXt、DeiTアーキテクチャにまたがるImageNet-1Kのフレームワークを検証する。
CNNでは、ResNet-50は77.04%の精度で1.77G MAC(+0.91%対ベースライン)に達し、ResNet-101は78.94%の精度で4.22G MAC(+1.56%対ベースライン)を達成した。
ConvNeXt-Smallでは8.17G MACにプルーニングすると1.41x GPUと1.07x CPUのスピードアップが45%減少する。
Vision Transformersでは、ユーザ定義のトレランスバンド(通常、+1%から+5%のオーバーシュート、-5%から-15%のアンダーシュート)におけるMAC-予算順守を実証し、厳密な計算保証を必要とするデプロイメントシナリオの実現可能性を確立した。
関連論文リスト
- Towards a Science of Scaling Agent Systems [79.64446272302287]
エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。
協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。
ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
論文 参考訳(メタデータ) (2025-12-09T06:52:21Z) - ProfilingAgent: Profiling-Guided Agentic Reasoning for Adaptive Model Optimization [7.64805011214817]
プロファイリングツールは、レイヤごとのレイテンシ、メモリ、計算コストを公開しますが、自動化パイプラインに統合されることはめったにありません。
提案するProfilingAgentは,大規模言語モデル(LLM)を用いて,構造化プルーニングと後学習動的量子化による圧縮を自動化するエージェント手法である。
論文 参考訳(メタデータ) (2025-09-06T04:02:04Z) - AegisLLM: Scaling Agentic Systems for Self-Reflective Defense in LLM Security [74.22452069013289]
AegisLLMは、敵の攻撃や情報漏洩に対する協調的なマルチエージェント防御である。
テスト時のエージェント推論システムのスケーリングは,モデルの有用性を損なうことなく,ロバスト性を大幅に向上させることを示す。
アンラーニングやジェイルブレイクを含む主要な脅威シナリオに対する総合的な評価は、AegisLLMの有効性を示している。
論文 参考訳(メタデータ) (2025-04-29T17:36:05Z) - Greedy Network Enlarging [53.319011626986004]
本稿では,計算のリアルタイム化に基づくグリーディ・ネットワーク拡大手法を提案する。
異なる段階の計算をステップバイステップで修正することで、拡張されたネットワークはMACの最適な割り当てと利用を提供する。
GhostNetへの我々の手法の適用により、最先端の80.9%と84.3%のImageNet Top-1アキュラシーを実現する。
論文 参考訳(メタデータ) (2021-07-31T08:36:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。