論文の概要: RepQ: Generalizing Quantization-Aware Training for Re-Parametrized Architectures

• arxiv url: http://arxiv.org/abs/2311.05317v1
• Date: Thu, 9 Nov 2023 12:25:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-10 15:30:39.426230
• Title: RepQ: Generalizing Quantization-Aware Training for Re-Parametrized Architectures
• Title（参考訳）: repq:再パラメータアーキテクチャのための量子化アウェアトレーニングの一般化
• Authors: Anastasiia Prutianova, Alexey Zaytsev, Chung-Kuei Lee, Fengyu Sun, Ivan Koryakovskiy
• Abstract要約: 本稿では、再パラメータ化ネットワークに量子化を適用するRepQという新しい手法を提案する。 本手法は、任意の再パラメータ化層の試験段重みを、訓練可能なパラメータの微分可能な関数として表すことができるという知見に基づいている。 RepQは様々な再パラメータ化モデルによく対応し、全ての実験においてベースライン法LSQ量子化スキームより優れる。
• 参考スコア（独自算出の注目度）: 3.797846371838652
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing neural networks are memory-consuming and computationally intensive, making deploying them challenging in resource-constrained environments. However, there are various methods to improve their efficiency. Two such methods are quantization, a well-known approach for network compression, and re-parametrization, an emerging technique designed to improve model performance. Although both techniques have been studied individually, there has been limited research on their simultaneous application. To address this gap, we propose a novel approach called RepQ, which applies quantization to re-parametrized networks. Our method is based on the insight that the test stage weights of an arbitrary re-parametrized layer can be presented as a differentiable function of trainable parameters. We enable quantization-aware training by applying quantization on top of this function. RepQ generalizes well to various re-parametrized models and outperforms the baseline method LSQ quantization scheme in all experiments.
• Abstract（参考訳）: 既存のニューラルネットワークはメモリ消費と計算集約性が強く、リソース制約のある環境ではデプロイが難しい。 しかし、その効率を改善する方法は様々である。 そのような2つの方法は量子化であり、ネットワーク圧縮のためのよく知られたアプローチであり、モデル性能を改善するために設計された新しい手法である再パラメータ化である。 どちらの手法も個別に研究されているが、同時に適用する研究は限られている。 このギャップに対処するために,再パラメータ化ネットワークに量子化を適用するrepqと呼ばれる新しい手法を提案する。 本手法は,任意の再パラメータ化層のテストステージ重みを,学習可能なパラメータの微分可能関数として提示できるという知見に基づく。 この関数の上に量子化を適用することで、量子化認識トレーニングを可能にする。 RepQは様々な再パラメータ化モデルによく対応し、全ての実験においてベースライン法LSQ量子化スキームより優れる。

関連論文リスト

• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• Neural Networks Trained by Weight Permutation are Universal Approximators [4.642647756403863]
  本研究では,一次元連続関数の近似にReLUネットワークを誘導する置換に基づく学習手法を提案する。 重み調整中の顕著な観察は、置換訓練がネットワーク学習行動を記述する革新的なツールとなることを示唆している。
  論文  参考訳（メタデータ） (2024-07-01T07:33:00Z)
• RefQSR: Reference-based Quantization for Image Super-Resolution Networks [14.428652358882978]
  単一画像超解像はその低分解能観測から高分解能画像を再構成することを目的としている。 深層学習に基づくSISRモデルは計算コストの増大を犠牲にして高い性能を示す。 本稿では,複数の代表パッチに高ビット量子化を適用したRefQSRという新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-02T06:49:38Z)
• Quantification using Permutation-Invariant Networks based on Histograms [47.47360392729245]
  量子化とは、モデルが与えられたサンプルの袋の中で各クラスの有病率を予測するために訓練される教師付き学習タスクである。 本稿では、対称的教師あり手法の適用が可能なシナリオにおいて、量子化タスクへのディープニューラルネットワークの適用について検討する。 ヒストグラムに基づく置換不変表現に依存する新しいニューラルアーキテクチャHistNetQを提案する。
  論文  参考訳（メタデータ） (2024-03-22T11:25:38Z)
• Alternate Training of Shared and Task-Specific Parameters for Multi-Task Neural Networks [49.1574468325115]
  本稿では,ハードパラメータ共有マルチタスクニューラルネットワーク(MTNN)のための新しい代替トレーニング手法を提案する。 提案した代替トレーニング手法は、モデルのマルチヘッドアーキテクチャを利用して、共有およびタスク固有の重みを交互に更新する。 実証実験では、遅延オーバーフィッティング、予測の改善、計算要求の削減が示されている。
  論文  参考訳（メタデータ） (2023-12-26T21:33:03Z)
• Weight Re-Mapping for Variational Quantum Algorithms [54.854986762287126]
  変動量子回路(VQC)における重み付けの考え方を紹介する。 我々は,8つの分類データセットに対する影響を評価するために,7つの異なる重み再マッピング関数を用いる。 以上の結果から,重量再マッピングによりVQCの収束速度が向上することが示唆された。
  論文  参考訳（メタデータ） (2023-06-09T09:42:21Z)
• Reparameterization through Spatial Gradient Scaling [69.27487006953852]
  リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。 本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-05T17:57:33Z)
• A simple approach for quantizing neural networks [7.056222499095849]
  完全トレーニングニューラルネットワークの重みを定量化する新しい手法を提案する。 単純な決定論的事前処理のステップにより、メモリレススカラー量子化によってネットワーク層を定量化できます。 提案手法は, ディープ・ネットワークを単一層に連続的に適用することで, 容易に定量化することができる。
  論文  参考訳（メタデータ） (2022-09-07T22:36:56Z)
• Learning Representations for CSI Adaptive Quantization and Feedback [51.14360605938647]
  本稿では,周波数分割二重化システムにおける適応量子化とフィードバックの効率的な手法を提案する。 既存の研究は主に、CSI圧縮のためのオートエンコーダ(AE)ニューラルネットワークの実装に焦点を当てている。 1つはポストトレーニング量子化に基づくもので、もう1つはAEのトレーニング中にコードブックが見つかる方法である。
  論文  参考訳（メタデータ） (2022-07-13T08:52:13Z)
• Robust Quantization: One Model to Rule Them All [13.87610199914036]
  本稿では,広範囲な量子化プロセスに対して,モデルに固有のロバスト性を提供する手法を提案する。 提案手法は理論的議論に動機付けられ,様々なビット幅と量子化ポリシで動作可能な単一汎用モデルを格納することができる。
  論文  参考訳（メタデータ） (2020-02-18T16:14:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。