論文の概要: Robust Quantization: One Model to Rule Them All

• arxiv url: http://arxiv.org/abs/2002.07686v3
• Date: Thu, 22 Oct 2020 08:46:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-12-30 19:07:29.866231
• Title: Robust Quantization: One Model to Rule Them All
• Title（参考訳）: ロバスト量子化:すべてをルールする1つのモデル
• Authors: Moran Shkolnik, Brian Chmiel, Ron Banner, Gil Shomron, Yury Nahshan, Alex Bronstein, Uri Weiser
• Abstract要約: 本稿では,広範囲な量子化プロセスに対して,モデルに固有のロバスト性を提供する手法を提案する。 提案手法は理論的議論に動機付けられ,様々なビット幅と量子化ポリシで動作可能な単一汎用モデルを格納することができる。
• 参考スコア（独自算出の注目度）: 13.87610199914036
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural network quantization methods often involve simulating the quantization process during training, making the trained model highly dependent on the target bit-width and precise way quantization is performed. Robust quantization offers an alternative approach with improved tolerance to different classes of data-types and quantization policies. It opens up new exciting applications where the quantization process is not static and can vary to meet different circumstances and implementations. To address this issue, we propose a method that provides intrinsic robustness to the model against a broad range of quantization processes. Our method is motivated by theoretical arguments and enables us to store a single generic model capable of operating at various bit-widths and quantization policies. We validate our method's effectiveness on different ImageNet models.
• Abstract（参考訳）: ニューラルネットワーク量子化法は、トレーニング中に量子化過程をシミュレートすることが多く、トレーニングされたモデルはターゲットのビット幅と正確な量子化の方法に依存する。 ロバスト量子化は、データ型と量子化ポリシーの異なるクラスに対する耐性を改善した代替アプローチを提供する。 量子化プロセスが静的ではなく、異なる状況や実装に対応するように変更できる新しいエキサイティングなアプリケーションを開く。 この問題に対処するため,幅広い量子化プロセスに対して,モデルに固有のロバスト性を提供する手法を提案する。 提案手法は理論的議論に動機付けられ,様々なビット幅と量子化ポリシで動作可能な単一汎用モデルを格納することができる。 異なるイメージネットモデルにおいて,提案手法の有効性を検証する。

関連論文リスト

• Merge-Friendly Post-Training Quantization for Multi-Target Domain Adaptation [7.193483612237862]
  本研究では,誤差障壁のレンズを通したモデルマージにおける量子化の影響を解析する。 マルチターゲット領域適応のためのモデルマージを考慮に入れた,新しい学習後量子化 HDRQ - Hessian および遠方正則化量子化を提案する。 提案手法は, 損失面を平坦化し, モデルマージの円滑化を図っている。
  論文  参考訳（メタデータ） (2025-05-29T17:00:56Z)
• A probabilistic framework for dynamic quantization [2.635385344076311]
  我々のフレームワークは、軽量サロゲートを介してネットワークの事前活性化に確率モデルを適用します。 我々は,一般的なコンピュータビジョンタスクとモデルに対するアプローチを検証し,性能の無視できる損失のみを観察する。
  論文  参考訳（メタデータ） (2025-05-15T20:26:46Z)
• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• QuEST: Low-bit Diffusion Model Quantization via Efficient Selective Finetuning [52.157939524815866]
  本稿では,不均衡な活性化分布を量子化困難の原因として同定する。 我々は,これらの分布を,より量子化しやすいように微調整することで調整することを提案する。 本手法は3つの高解像度画像生成タスクに対して有効性を示す。
  論文  参考訳（メタデータ） (2024-02-06T03:39:44Z)
• RepQ: Generalizing Quantization-Aware Training for Re-Parametrized Architectures [3.797846371838652]
  本稿では、再パラメータ化ネットワークに量子化を適用するRepQという新しい手法を提案する。 本手法は、任意の再パラメータ化層の試験段重みを、訓練可能なパラメータの微分可能な関数として表すことができるという知見に基づいている。 RepQは様々な再パラメータ化モデルによく対応し、全ての実験においてベースライン法LSQ量子化スキームより優れる。
  論文  参考訳（メタデータ） (2023-11-09T12:25:39Z)
• PreQuant: A Task-agnostic Quantization Approach for Pre-trained Language Models [52.09865918265002]
  ファインチューニングのフレームワークPreQuantに先立って,新しい量子化を提案する。 PreQuantは様々な量子化戦略と互換性があり、インダクションされた量子化誤差を修正するために、アウタリア対応の微調整が組み込まれている。 BERT,RoBERTa,T5を用いたGLUEベンチマークにおけるPreQuantの有効性を示す。
  論文  参考訳（メタデータ） (2023-05-30T08:41:33Z)
• Vertical Layering of Quantized Neural Networks for Heterogeneous Inference [57.42762335081385]
  量子化モデル全体を1つのモデルにカプセル化するための,ニューラルネットワーク重みの新しい垂直層表現について検討する。 理論的には、1つのモデルのトレーニングとメンテナンスのみを必要としながら、オンデマンドサービスの正確なネットワークを達成できます。
  論文  参考訳（メタデータ） (2022-12-10T15:57:38Z)
• Attention Round for Post-Training Quantization [0.9558392439655015]
  本稿では,アテンションラウンドと呼ばれる新しい定量化手法を提案する。 異なる量子化値にマッピングされる確率は、量子化値とwの間の距離と負に相関し、ガウス函数と崩壊する。 ResNet18 と MobileNetV2 では,本論文で提案するポストトレーニング量子化は 1,024 のトレーニングデータと 10 分しか必要としない。
  論文  参考訳（メタデータ） (2022-07-07T05:04:21Z)
• Generalization Metrics for Practical Quantum Advantage in Generative Models [68.8204255655161]
  生成モデリングは量子コンピュータにとって広く受け入れられている自然のユースケースである。 我々は,アルゴリズムの一般化性能を計測して,生成モデリングのための実用的な量子優位性を探索する,単純で曖昧な手法を構築した。 シミュレーションの結果、我々の量子にインスパイアされたモデルは、目に見えない、有効なサンプルを生成するのに、最大で68倍の費用がかかります。
  論文  参考訳（メタデータ） (2022-01-21T16:35:35Z)
• In-Hindsight Quantization Range Estimation for Quantized Training [5.65658124285176]
  従来の反復で推定した量子化範囲を用いて,現在を数値化する動的量子化手法であるin-hindsight range推定法を提案する。 今回のアプローチでは,ニューラルネットワークアクセラレータによる最小限のハードウェアサポートのみを必要としながら,勾配とアクティベーションの高速静的量子化を可能にする。 量子化範囲の推定のためのドロップイン代替として意図されており、他の量子化トレーニングの進歩と併用することができる。
  論文  参考訳（メタデータ） (2021-05-10T10:25:28Z)
• One Model for All Quantization: A Quantized Network Supporting Hot-Swap Bit-Width Adjustment [36.75157407486302]
  多様なビット幅をサポートする全量子化のためのモデルを訓練する手法を提案する。 重みの多様性を高めるためにウェーブレット分解と再構成を用いる。 同じ精度で訓練された専用モデルに匹敵する精度が得られる。
  論文  参考訳（メタデータ） (2021-05-04T08:10:50Z)
• Zero-shot Adversarial Quantization [11.722728148523366]
  ゼロショット逆量子化(ZAQ: Zero-shot adversarial quantization)フレームワークを提案し,効果的な不一致推定と知識伝達を容易にする。 これは、情報的で多様なデータ例を合成するためにジェネレータを駆動する、新しい2レベル不一致モデリングによって達成される。 強力なゼロショットベースラインに対してZAQの優位性を示す3つの基本的なビジョンタスクについて広範な実験を行います。
  論文  参考訳（メタデータ） (2021-03-29T01:33:34Z)
• Adaptive Quantization of Model Updates for Communication-Efficient Federated Learning [75.45968495410047]
  クライアントノードと中央集約サーバ間のモデル更新の通信は、連合学習において大きなボトルネックとなる。 グラディエント量子化(Gradient Quantization)は、各モデル更新間の通信に必要なビット数を削減する効果的な方法である。 通信効率と低エラーフロアを実現することを目的としたAdaFLと呼ばれる適応量子化戦略を提案する。
  論文  参考訳（メタデータ） (2021-02-08T19:14:21Z)
• Gradient $\ell_1$ Regularization for Quantization Robustness [70.39776106458858]
  トレーニング後の量子化に対するロバスト性を改善するための単純な正規化スキームを導出する。 量子化対応ネットワークをトレーニングすることにより、異なるビット幅にオンデマンドで量子化できる1組の重みを格納できる。
  論文  参考訳（メタデータ） (2020-02-18T12:31:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。