論文の概要: GranQ: Granular Zero-Shot Quantization with Unified Layer-Channel Awareness

• arxiv url: http://arxiv.org/abs/2503.18339v1
• Date: Mon, 24 Mar 2025 04:44:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:36:15.499408
• Title: GranQ: Granular Zero-Shot Quantization with Unified Layer-Channel Awareness
• Title（参考訳）: GranQ: 統一層チャネル認識によるグラニュラーゼロショット量子化
• Authors: Inpyo Hong, Youngwan Jo, Hyojeong Lee, Sunghyun Ahn, Sanghyun Park,
• Abstract要約: GranQは、層チャネル認識を利用して量子化エラーを最小限に抑える新しいZSQアプローチである。 GranQは、量子化学習を用いた最先端のZSQ手法と比較して、優れた性能を実現している。
• 参考スコア（独自算出の注目度）: 1.8067835669244101
• License:
• Abstract: Zero-shot quantization (ZSQ) enables neural network compression without training data, which is crucial in restricted data access environments. However, existing ZSQ methods suffer from significant activation loss in low-bit environments owing to their coarse-grained scaling strategy. To address this issue, we propose GranQ, a novel ZSQ approach that leverages layer-channel awareness to minimize the quantization error. Unlike conventional layer- or channel-wise quantization, GranQ dynamically adjusts quantization granularity by considering both layer- and channel-level activation distributions. This enables fine-grained quantization while minimizing activation distortion. Additionally, we introduce vectorized activation quantization, which enables efficient parallel computation and reduces computational overhead while preserving accuracy. GranQ achieves superior performance compared with those of state-of-the-art ZSQ methods that employ quantization-aware training. With these findings, we anticipate that GranQ will inspire novel research directions beyond conventional ZSQ approaches focused on data generation and model training.
• Abstract（参考訳）: Zero-shot Quantization (ZSQ)は、制限されたデータアクセス環境において重要なトレーニングデータなしで、ニューラルネットワークの圧縮を可能にする。 しかし、既存のZSQ法は、粗いスケーリング戦略のため、低ビット環境において大きな活性化損失を被る。 この問題に対処するため、我々は、層チャネル認識を利用して量子化誤差を最小限に抑える新しいZSQアプローチであるGranQを提案する。 従来の層ワイド量子化やチャネルワイド量子化とは異なり、GranQは層レベルとチャネルレベルのアクティベーション分布を考慮した量子化粒度を動的に調整する。 これにより、アクティベーション歪みを最小限に抑えながら、きめ細かい量子化が可能となる。 さらに,ベクトル化アクティベーション量子化を導入し,効率の良い並列計算を可能にし,精度を保ちながら計算オーバーヘッドを低減する。 GranQは、量子化学習を用いた最先端のZSQ手法と比較して、優れた性能を実現している。 これらの結果から,GranQはデータ生成とモデルトレーニングに焦点をあてた従来のZSQアプローチを超えて,新たな研究方向を導出することを期待している。

関連論文リスト

• Leveraging Pre-Trained Neural Networks to Enhance Machine Learning with Variational Quantum Circuits [48.33631905972908]
  我々は、事前学習されたニューラルネットワークを用いて変分量子回路(VQC)を強化する革新的なアプローチを導入する。 この手法は近似誤差をキュービット数から効果的に分離し、制約条件の必要性を除去する。 我々の結果はヒトゲノム解析などの応用にまで拡張され、我々のアプローチの幅広い適用性を示している。
  論文  参考訳（メタデータ） (2024-11-13T12:03:39Z)
• QT-DoG: Quantization-aware Training for Domain Generalization [58.439816306817306]
  領域一般化のための量子化アウェアトレーニング(QT-DoG)を提案する。 QT-DoGは、モデル重みのノイズを誘導することで暗黙の正則化器として量子化を利用する。 我々は、QT-DoGが様々なデータセット、アーキテクチャ、量子化アルゴリズムにまたがって一般化することを実証する。
  論文  参考訳（メタデータ） (2024-10-08T13:21:48Z)
• Constraint Guided Model Quantization of Neural Networks [0.0]
  Constraint Guided Model Quantization (CGMQ) は、計算資源の上限を使い、ニューラルネットワークのパラメータのビット幅を削減する量子化対応トレーニングアルゴリズムである。 MNISTでは、CGMQの性能が最先端の量子化対応トレーニングアルゴリズムと競合していることが示されている。
  論文  参考訳（メタデータ） (2024-09-30T09:41:16Z)
• Quantum-Train: Rethinking Hybrid Quantum-Classical Machine Learning in the Model Compression Perspective [7.7063925534143705]
  本稿では,量子コンピューティングと機械学習アルゴリズムを統合する新しいアプローチであるQuantum-Train(QT)フレームワークを紹介する。 QTは、古典的なマッピングモデルと並んで量子ニューラルネットワークを利用することで、顕著な結果を得る。
  論文  参考訳（メタデータ） (2024-05-18T14:35:57Z)
• Gradient-based Automatic Mixed Precision Quantization for Neural Networks On-Chip [0.9187138676564589]
  本稿では,革新的な量子化学習手法である高粒度量子化(HGQ)を提案する。 HGQは、勾配降下によって最適化できるようにすることで、重量当たりおよび活動当たりの精度を微調整する。 このアプローチは、演算演算が可能なハードウェア上で、超低レイテンシと低電力ニューラルネットワークを実現する。
  論文  参考訳（メタデータ） (2024-05-01T17:18:46Z)
• SQUAT: Stateful Quantization-Aware Training in Recurrent Spiking Neural Networks [1.0923877073891446]
  スパイキングニューラルネットワーク(SNN)は効率を向上させるという目標を共有しているが、ニューラルネットワーク推論の消費電力を減らすために、"イベント駆動"アプローチを採用する。 本稿では, ステートフルニューロンに対するQAT方式として, (i) 均一量子化戦略, (ii) 重み量子化の確立された方法, (ii) しきい値中心量子化の2つを紹介する。 以上の結果から,発火閾値付近の量子化レベルの密度の増加は,複数のベンチマークデータセットの精度を向上させることが示唆された。
  論文  参考訳（メタデータ） (2024-04-15T03:07:16Z)
• Calibrating the role of entanglement in variational quantum circuits [0.6435156676256051]
  エンタングルメント(Entanglement)は、量子コンピューティングの重要な性質であり、古典的なものとは分離している。 2つの変分量子アルゴリズムの動作における絡み合いの役割を系統的に検討する。 QAOAを用いて解いたMAX-CUT問題に対して,絡み合い関数としての忠実度は層数に大きく依存することがわかった。 QNNの場合、高いテスト精度のトレーニング回路は高い絡み合いによって支えられ、強制的な絡み合いの制限はテスト精度の急激な低下をもたらす。
  論文  参考訳（メタデータ） (2023-10-16T23:36:40Z)
• Scaling Limits of Quantum Repeater Networks [62.75241407271626]
  量子ネットワーク(QN)は、セキュアな通信、強化されたセンシング、効率的な分散量子コンピューティングのための有望なプラットフォームである。 量子状態の脆弱な性質のため、これらのネットワークはスケーラビリティの観点から大きな課題に直面している。 本稿では,量子リピータネットワーク(QRN)のスケーリング限界について解析する。
  論文  参考訳（メタデータ） (2023-05-15T14:57:01Z)
• Accelerating the training of single-layer binary neural networks using the HHL quantum algorithm [58.720142291102135]
  Harrow-Hassidim-Lloyd (HHL) の量子力学的実装から有用な情報が抽出可能であることを示す。 しかし,本論文では,HHLの量子力学的実装から有用な情報を抽出し,古典的側面における解を見つける際の複雑性を低減することを目的としている。
  論文  参考訳（メタデータ） (2022-10-23T11:58:05Z)
• Optimizing Tensor Network Contraction Using Reinforcement Learning [86.05566365115729]
  本稿では,グラフニューラルネットワーク(GNN)と組み合わせた強化学習(RL)手法を提案する。 この問題は、巨大な検索スペース、重い尾の報酬分布、そして困難なクレジット割り当てのために非常に難しい。 GNNを基本方針として利用するRLエージェントが,これらの課題にどのように対処できるかを示す。
  論文  参考訳（メタデータ） (2022-04-18T21:45:13Z)
• A Statistical Framework for Low-bitwidth Training of Deep Neural Networks [70.77754244060384]
  フル量子化トレーニング(FQT)は、ニューラルネットワークモデルのアクティベーション、重み、勾配を定量化することで、低ビット幅のハードウェアを使用する。 FQTの最大の課題は、特に勾配量子化が収束特性にどのように影響するかという理論的な理解の欠如である。
  論文  参考訳（メタデータ） (2020-10-27T13:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。