論文の概要: APQF: Agentic Profiling-Guided Structured Pruning and Mixed-Precision Quantization with Adaptive Fine-Tuning

• arxiv url: http://arxiv.org/abs/2608.05499v1
• Date: Thu, 06 Aug 2026 01:09:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 17:43:06.691474
• Title: APQF: Agentic Profiling-Guided Structured Pruning and Mixed-Precision Quantization with Adaptive Fine-Tuning
• Title（参考訳）: APQF: アダプティブファインチューニングによるエージェントプロファイリング誘導型構造化プルーニングと混合精度量子化
• Abstract要約: APQFは、ディープニューラルネットワークのためのプロファイリング誘導フレームワークである。 構造化プルーニング、混合精度量子化対応トレーニング、および1つの自動パイプラインでの精度回復を組み合わせる。 ImageNet-1kとCIFAR-10を用いてResNet,VGG7,ViT,DeiT,Swin上で評価を行った。
• 参考スコア（独自算出の注目度）: 12.834835889446177
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern deep neural networks achieve strong performance, but their scale makes them costly and slow, especially on resource-constrained edge devices. Pruning and quantization address this, but rely on manual, expert choices and on algorithms that are hard to apply across architectures. Uniform settings also ignore how differently individual layers respond to compression, which costs accuracy. We introduce APQF, an agentic profiling-guided framework that combines structured pruning, mixed-precision quantization-aware training, and accuracy recovery in one automated pipeline. A profiling agent measures how cost is distributed across the model and how sensitive each part is to pruning, and this evidence drives per-layer pruning ratios, per-layer bit-widths, and the recovery strategy, all proposed by LLM planners and validated before execution. To our knowledge, APQF is the first framework to combine LLM-guided, profiling-grounded decisions with a fully training-aware pruning and quantization pipeline for both CNNs and vision transformers. We evaluate APQF on ResNet, VGG7, ViT, DeiT, and Swin using ImageNet-1k and CIFAR-10. On ImageNet it cuts compute to 5.6-7.7 percent of the original bit-operations, a 13-18x reduction, while keeping accuracy close to the baseline, and under a 200K-image budget it stays roughly 17 points higher in Top-1 than existing joint pruning and quantization methods. On CIFAR-10 it compresses further than that method on four of five architectures. On VGG7 it reaches 93.15 percent using only 0.41 percent of baseline bit-operations, the only method at that compression level to improve on its full-precision baseline. Ablations show that uniform compression loses the most accuracy at matched compute, and that withholding profiling data from the planner hurts every model. Six LLM planners, including free open-weight ones, all reach 97.4-97.9 percent on Swin-Tiny.
• Abstract（参考訳）: 現代のディープニューラルネットワークは、強力なパフォーマンスを実現するが、そのスケールは、特にリソースに制約のあるエッジデバイスにおいて、コストと遅延を高くする。 プルーニングと量子化はこれに対処するが、手動、専門家の選択と、アーキテクチャ全体にわたって適用が難しいアルゴリズムに依存している。 統一された設定は、個々のレイヤが圧縮にどう反応するかを無視する。 本稿では,構造化プルーニング,混合精度量子化学習,1つの自動パイプラインにおける精度回復を組み合わせたエージェントプロファイリング誘導フレームワークであるAPQFを紹介する。 プロファイリングエージェントは、モデル全体でのコスト分布と各部分のプルーニングに対する感度を測定し、このエビデンスにより、層ごとのプルーニング比、層ごとのビット幅、および回復戦略が、全てLSMプランナーによって提案され、実行前に検証される。 我々の知る限り、APQFは、LLM誘導された、プロファイリングに基づく意思決定と、CNNとビジョントランスフォーマーの両方のための完全にトレーニング対応のプルーニングと量子化パイプラインを結合する最初のフレームワークです。 我々はImageNet-1kとCIFAR-10を用いてResNet,VGG7,ViT,DeiT,Swin上のAPQFを評価する。 ImageNetでは、元のビット操作の5.6-7.7%、13-18倍の削減、ベースラインに近い精度の維持、200Kイメージの予算の下では、既存のジョイントプルーニングや量子化手法よりもTop-1で約17ポイント高い。 CIFAR-10では、5つのアーキテクチャのうち4つを圧縮する。 VGG7では、ベースラインビット操作の0.41パーセントしか使用せず、93.15%に達する。 アブレーションは、一様圧縮が一致した計算において最も精度が低下し、プランナーからのプロファイリングデータを保持できないことが全てのモデルを傷つけることを示している。 フリーのオープンウェイトを含む6人のLSMプランナーが、スウィン・ティニーで97.4-97.9%に達した。

関連論文リスト

• RAMP: Reinforcement Adaptive Mixed Precision Quantization for Efficient On Device LLM Inference [1.1100764382749708]
  RAMP (Reinforcement Adaptive Mixed Precision) は、グローバルビット予算の下でパープレキシティを最小限に抑えるために、層幅の割り当て毎に学習する。 Llama 2 7Bでは、RAMPは3.68GB (3.65 ビット)で5.54パープレキシティを実現し、均一な4ビット AWQ (5.60 ビット、3.90 GB)と GPTQ を6%、品質は1%から3%向上した。
  論文  参考訳（メタデータ） (2026-03-18T16:16:28Z)
• ProfilingAgent: Profiling-Guided Agentic Reasoning for Adaptive Model Optimization [7.64805011214817]
  プロファイリングツールは、レイヤごとのレイテンシ、メモリ、計算コストを公開しますが、自動化パイプラインに統合されることはめったにありません。 提案するProfilingAgentは,大規模言語モデル(LLM)を用いて,構造化プルーニングと後学習動的量子化による圧縮を自動化するエージェント手法である。
  論文  参考訳（メタデータ） (2025-09-06T04:02:04Z)
• Joint Pruning and Channel-wise Mixed-Precision Quantization for Efficient Deep Neural Networks [10.229120811024162]
  ディープニューラルネットワーク(DNN)は、エッジデバイスへのデプロイメントに重大な課題をもたらす。 この問題に対処する一般的なアプローチは、プルーニングと混合精度量子化である。 そこで本研究では,軽量な勾配探索を用いて共同で適用するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T08:07:02Z)
• Filter Pruning For CNN With Enhanced Linear Representation Redundancy [3.853146967741941]
  本稿では,CCM-loss という同一層内の異なる特徴写像の相関行列から計算したデータ駆動損失関数の項を示す。 CCM-lossは、L*-ノルム正規化以外に、別の普遍的超越数学的ツールを提供する。 新しい戦略では、主にネットワーク内の情報フローの整合性と整合性に注目します。
  論文  参考訳（メタデータ） (2023-10-10T06:27:30Z)
• LAPP: Layer Adaptive Progressive Pruning for Compressing CNNs from Scratch [14.911305800463285]
  本稿では,Layer Adaptive Progressive Pruning (LAPP) という新しいフレームワークを提案する。 LAPPは、各レイヤの学習可能なしきい値と、ネットワークのFLOP制約を導入する、効率的かつ効率的なプルーニング戦略を設計する。 提案手法は,各種データセットやバックボーンアーキテクチャにおける従来の圧縮手法よりも優れた性能向上を示す。
  論文  参考訳（メタデータ） (2023-09-25T14:08:45Z)
• Efficient Joint Optimization of Layer-Adaptive Weight Pruning in Deep Neural Networks [48.089501687522954]
  ディープニューラルネットワーク(DNN)のための新しい層適応型重み決定手法を提案する。 我々のアプローチは、レイヤ適応型プルーニングスキームを設計するためのすべてのレイヤの集団的影響を考慮に入れている。 我々の実験は、ImageNetとCIFAR-10データセット上の既存の手法よりも、我々のアプローチの方が優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-21T03:22:47Z)
• Pruning by Active Attention Manipulation [49.61707925611295]
  CNNのフィルタプルーニングは典型的には、CNNのフィルタ重みやアクティベーションマップに離散マスクを適用することで達成される。 ここでは、アクティブアテンション操作(PAAM)によるプルーニング(pruning)という新しいフィルタ強調表示概念を提案する。 PAAMはフィルタ重みからアナログフィルタスコアを学習し、そのスコアの加算項によって正規化されたコスト関数を最適化する。
  論文  参考訳（メタデータ） (2022-10-20T09:17:02Z)
• End-to-End Sensitivity-Based Filter Pruning [49.61707925611295]
  本稿では,各層間のフィルタの重要度を学習するための感度に基づくフィルタプルーニングアルゴリズム(SbF-Pruner)を提案する。 提案手法はフィルタ重みからスコアを学習し,各層のフィルタ間の相関を考慮できる。
  論文  参考訳（メタデータ） (2022-04-15T10:21:05Z)
• Sharpness-aware Quantization for Deep Neural Networks [45.150346855368]
  シャープネス・アウェア量子化(SAQ)は,シャープネス・アウェア最小化(SAM)がモデル圧縮に与える影響を探索する新しい手法である。 本研究では,SAQにより量子化モデルの一般化性能が向上し,SOTAの結果が均一に量子化されることを示す。
  論文  参考訳（メタデータ） (2021-11-24T05:16:41Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)
• Training with Quantization Noise for Extreme Model Compression [57.51832088938618]
  与えられたモデルサイズに対する精度を最大化しながら、コンパクトなモデルを作成するという問題に取り組む。 標準的な解決策は、トレーニング中に重みが定量化され、勾配がストレート・スルー推定器に近似される量子化意識訓練(Quantization Aware Training)でネットワークをトレーニングすることである。 本稿では, この手法を, 極端な圧縮法を用いて, int8 の固定点量子化を超えて機能するように拡張する。
  論文  参考訳（メタデータ） (2020-04-15T20:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。