論文の概要: Evolutionary fine tuning of quantized convolution-based deep learning models

• arxiv url: http://arxiv.org/abs/2605.05228v1
• Date: Sun, 19 Apr 2026 20:15:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 06:56:26.617525
• Title: Evolutionary fine tuning of quantized convolution-based deep learning models
• Title（参考訳）: 量子化畳み込みに基づくディープラーニングモデルの進化的微調整
• Authors: Marcin Pietroń,
• Abstract要約: この研究は、事前訓練された量子化モデルにおける量子化効率の改善に焦点を当てている。 進化戦略は最適化アプローチとして使用される。 結果は、VGGやResnetのような画像分類と検出のための一般的なアーキテクチャに対して提示される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning models are the most efficient models in many machine learning tasks. The main disadvantage when using them in IoT, mobile devices, independent autonomous or real-time systems is their complexity and memory size. Therefore, much research has concentrated on compression techniques of deep learning architectures. One of the most popular technique is quantization. In most of the works, the quantization is done based on the nearest neighbour quantization technique. This work focuses on improving the quantization efficiency in pretrained and quantized models. This approach has the potential to improve the final accuracy of quantized models. The main postulate of the work is that final quantization states of the network based on nearest neighbour rounding does not guarantee optimal accuracy. In the presented work, the evolution strategy is used as an optimization approach. The evolution in each iteration changes the values of the small percentage of weights. It shifts theirs values to different quantization states. The work shows that proposed evolution with an appropriate set of operators and parameters can fast improve the accuracy of the quantized models. The results are presented for popular architectures such as VGG and Resnet for image classification and detection. Additionally, simulations were carried out for the autoencoder architecture.
• Abstract（参考訳）: ディープラーニングモデルは、多くの機械学習タスクにおいて最も効率的なモデルである。 IoT、モバイルデバイス、独立した自律システム、あるいはリアルタイムシステムでそれらを使用する際の最大の欠点は、その複雑さとメモリサイズである。 そのため、ディープラーニングアーキテクチャの圧縮技術に多くの研究が集中している。 最も一般的な技法の1つは量子化である。 ほとんどの研究において、量子化は最も近い近接量子化技術に基づいて行われる。 この研究は、事前訓練された量子化モデルにおける量子化効率の改善に焦点を当てている。 このアプローチは、量子化されたモデルの最終的な精度を改善する可能性がある。 この研究の主な仮定は、近接するラウンドリングに基づくネットワークの最終量子化状態が最適精度を保証していないことである。 本論文では, 進化戦略を最適化手法として用いた。 各イテレーションにおける進化は、小さな割合の重みの値を変える。 それらの値は異なる量子化状態にシフトする。 研究は、適切な演算子とパラメータのセットによる提案された進化が、量子化されたモデルの精度を迅速に向上できることを示した。 結果はVGGやResnetなどの一般的なアーキテクチャで画像の分類と検出が可能である。 さらにオートエンコーダアーキテクチャのシミュレーションも行った。

関連論文リスト

• A hardware efficient quantum residual neural network without post-selection [1.16678179296168]
  本稿では,アイデンティティと変分ユニタリの決定論的線形結合による残差接続を実現する,ハードウェア効率のよい量子残差ニューラルネットワークを提案する。 従来の残差接続の実装とは対照的に,アーキテクチャは残差学習を保ちながら選択後を避けている。 私たちのアーキテクチャは、正確で堅牢で、トレーニング可能で、ハードウェアで効率的な量子機械学習モデルを開発するための新しい経路を提供します。
  論文  参考訳（メタデータ） (2026-04-08T09:26:50Z)
• Starting Positions Matter: A Study on Better Weight Initialization for Neural Network Quantization [71.44469196328507]
  正規化、量子化対応トレーニング、量子化不正性ペナルティといった量子化固有のモデル開発技術は、現代のDNNの精度と堅牢性を大幅に向上させるのに役立っている。 本研究は, 各種CNNビルディングブロックの重み付け初期化が, 効率のよいCNNに共通する各種CNNビルディングブロックに与える影響について検討する。 次に、量子化されたDNNのパラメータを予測するために、グラフハイパーネットワークス(GHN)を用いた量子化ロバストなCNN初期化の新しい手法を検討する。
  論文  参考訳（メタデータ） (2025-06-12T08:11:34Z)
• Low-bit Model Quantization for Deep Neural Networks: A Survey [123.89598730307208]
  本稿では、ディープニューラルネットワーク(DNN)における低ビット量子化に向けた最近の5年間の進歩について調査する。 我々は最先端の量子化手法を議論し、それらのコア技術に基づいて8つの主要なカテゴリと24のサブカテゴリに分類する。 我々は、モデル量子化の分野における潜在的研究の機会に光を当てた。
  論文  参考訳（メタデータ） (2025-05-08T13:26:19Z)
• Quantize What Counts: More for Keys, Less for Values [63.51476878610841]
  大規模言語モデル(LLM)は、キーバリュー(KV)キャッシュに支配される推論時のメモリボトルネックに悩まされる。 本稿ではトランスフォーマーモデルの内在幾何学における混合精度KV量子化を固定する2つの定理を提案する。
  論文  参考訳（メタデータ） (2025-02-20T22:24:27Z)
• Post-Training Quantization for Re-parameterization via Coarse & Fine Weight Splitting [13.270381125055275]
  本稿では,重みの量子化誤差を低減するために,粗大かつ微細な重み分割法(CFWS)を提案する。 我々は、活性化のための最適な量子化尺度を決定するために改良されたKLメトリックを開発した。 例えば、量子化されたRepVGG-A1モデルは、わずか0.3%の精度損失を示す。
  論文  参考訳（メタデータ） (2023-12-17T02:31:20Z)
• Optimizing Dense Feed-Forward Neural Networks [0.0]
  本稿では,プルーニングと移動学習に基づくフィードフォワードニューラルネットワークの構築手法を提案する。 提案手法では,パラメータ数を70%以上圧縮できる。 また、ニューラルネットワークをスクラッチからトレーニングしたモデルと元のモデルを比較し、トランスファー学習レベルを評価した。
  論文  参考訳（メタデータ） (2023-12-16T23:23:16Z)
• Optimizing Quantum Variational Circuits with Deep Reinforcement Learning [0.0]
  量子変動回路における勾配に基づく最適化ルーチンを強化するため, 深部強化学習における現代的手法の可能性を評価する。 強化学習の強化は雑音環境における勾配降下より一貫して優れることがわかった。
  論文  参考訳（メタデータ） (2021-09-07T16:48:39Z)
• Flexible Model Aggregation for Quantile Regression [92.63075261170302]
  量子回帰は、予測の不確実性を定量化する必要性によって動機付けられた統計学習の基本的な問題である。 条件付き量子モデルの任意の数を集約する手法について検討する。 この論文で検討するモデルはすべて、現代のディープラーニングツールキットに適合します。
  論文  参考訳（メタデータ） (2021-02-26T23:21:16Z)
• Once Quantization-Aware Training: High Performance Extremely Low-bit Architecture Search [112.05977301976613]
  本稿では,ネットワークアーキテクチャ検索手法と量子化手法を組み合わせることで,両者のメリットを享受することを提案する。 まず、多数の量子化モデルを取得するために、共有ステップサイズでアーキテクチャと量子化の合同トレーニングを提案する。 次に、量子化されたモデルを低ビットに転送するためにビット継承方式を導入し、さらに時間コストを削減し、量子化精度を向上させる。
  論文  参考訳（メタデータ） (2020-10-09T03:52:16Z)
• APQ: Joint Search for Network Architecture, Pruning and Quantization Policy [49.3037538647714]
  本稿では,リソース制約のあるハードウェア上での効率的なディープラーニング推論のためのAPQを提案する。 ニューラルアーキテクチャ、プルーニングポリシー、量子化ポリシーを別々に検索する従来の方法とは異なり、我々はそれらを共同で最適化する。 同じ精度で、APQはMobileNetV2+HAQよりもレイテンシ/エネルギーを2倍/1.3倍削減する。
  論文  参考訳（メタデータ） (2020-06-15T16:09:17Z)
• Quantized Neural Networks: Characterization and Holistic Optimization [25.970152258542672]
  低消費電力、高スループット、組み込みアプリケーションには量子ディープニューラルネットワーク(QDNN)が必要である。 本研究はQDNNトレーニング手法と量子化フレンドリなアーキテクチャ設計を含むQDNNの最適化のための総合的なアプローチを提案する。 その結果、より深いモデルは活性化量子化の傾向が強く、より広いモデルは重量と活性化量子化の両面でレジリエンスを向上させることが示唆された。
  論文  参考訳（メタデータ） (2020-05-31T14:20:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。