論文の概要: Quantization of Generative Adversarial Networks for Efficient Inference: a Methodological Study

• arxiv url: http://arxiv.org/abs/2108.13996v1
• Date: Tue, 31 Aug 2021 17:42:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-01 14:35:35.278900
• Title: Quantization of Generative Adversarial Networks for Efficient Inference: a Methodological Study
• Title（参考訳）: 効率的な推論のための生成的逆ネットワークの定量化:方法論的研究
• Authors: Pavel Andreev (1, 2, 3), Alexander Fritzler (1, 2, 4), Dmitry Vetrov (1, 3, 5) ((1) Higher School of Economics, (2) Skolkovo Institute of Science and Technology, (3) Samsung AI Center Moscow, (4) Yandex, (5) Samsung-HSE Laboratory)
• Abstract要約: GAN(Generative Adversarial Network)は、フォトリアリスティックなデジタルアバター、セマンティックなコンテンツ編集、音声や画像の品質向上など、デジタルコンテンツ作成に大きな影響を与える可能性がある。 現代のGANの性能は、推論中に大量の計算と高エネルギー消費によってもたらされる。 本稿では,3種類のGANアーキテクチャ,すなわちStyleGAN,Self-Attention GAN,CycleGANについて,最先端の量子化手法について検討する。
• 参考スコア（独自算出の注目度）: 41.74498230885008
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Generative adversarial networks (GANs) have an enormous potential impact on digital content creation, e.g., photo-realistic digital avatars, semantic content editing, and quality enhancement of speech and images. However, the performance of modern GANs comes together with massive amounts of computations performed during the inference and high energy consumption. That complicates, or even makes impossible, their deployment on edge devices. The problem can be reduced with quantization -- a neural network compression technique that facilitates hardware-friendly inference by replacing floating-point computations with low-bit integer ones. While quantization is well established for discriminative models, the performance of modern quantization techniques in application to GANs remains unclear. GANs generate content of a more complex structure than discriminative models, and thus quantization of GANs is significantly more challenging. To tackle this problem, we perform an extensive experimental study of state-of-art quantization techniques on three diverse GAN architectures, namely StyleGAN, Self-Attention GAN, and CycleGAN. As a result, we discovered practical recipes that allowed us to successfully quantize these models for inference with 4/8-bit weights and 8-bit activations while preserving the quality of the original full-precision models.
• Abstract（参考訳）: gans(generative adversarial network)は、フォトリアリスティックなデジタルアバター、セマンティックコンテンツ編集、音声や画像の品質向上など、デジタルコンテンツ作成に大きな影響を与える可能性がある。 しかし、現代のGANの性能は、推論中に大量の計算と高エネルギー消費によってもたらされる。 それは、エッジデバイスへのデプロイを複雑に、あるいは不可能にする。 量子化 -- 低ビット整数で浮動小数点計算を置き換えることで、ハードウェアフレンドリな推論を容易にするニューラルネットワーク圧縮技術だ。 量子化は識別モデルによく確立されているが、GANへの応用における現代の量子化技術の性能は未だ不明である。 GANは識別モデルよりも複雑な構造のコンテンツを生成するため、GANの量子化は極めて困難である。 この問題に対処するため、我々はStyleGAN、Self-Attention GAN、CycleGANという3つの異なるGANアーキテクチャ上で、最先端の量子化技術に関する広範な実験を行った。 その結果、4/8ビットの重みと8ビットのアクティベーションを推論し、元の完全精度モデルの品質を保ちながら、これらのモデルの定量化に成功した。

関連論文リスト

• Post-Training Non-Uniform Quantization for Convolutional Neural Networks [0.0]
  量子化は、大規模なストレージ要件を緩和し、推論プロセスを高速化する技術である。 本稿では,モデル重みに対する学習後の量子化手法を提案する。 提案手法は,量子化ノイズを最小限に抑える数学的保証とともに,最適クリッピングしきい値とスケーリング係数を求める。
  論文  参考訳（メタデータ） (2024-12-10T10:33:58Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• U-KAN Makes Strong Backbone for Medical Image Segmentation and Generation [48.40120035775506]
  Kolmogorov-Arnold Networks (KAN)は、非線形学習可能なアクティベーション関数のスタックを通じてニューラルネットワーク学習を再構築する。 トークン化中間表現であるU-KAN上に専用kan層を統合することにより,確立したU-Netパイプラインを検証,修正,再設計する。 さらに、拡散モデルにおける代替U-Netノイズ予測器としてのU-KANの可能性を探り、タスク指向モデルアーキテクチャの生成にその適用性を実証した。
  論文  参考訳（メタデータ） (2024-06-05T04:13:03Z)
• Variational Quantum Circuits Enhanced Generative Adversarial Network [5.209320054725053]
  我々は、GAN(QC-GAN)を改善するためのハイブリッド量子古典アーキテクチャを提案する。 QC-GANは1層ニューラルネットワークと共に量子変動回路で構成され、識別器は従来のニューラルネットワークで構成されている。 また、QC-GANが16ドル以上の画像を生成することのできない代替量子GAN、すなわちpathGANよりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-02-02T03:59:35Z)
• PUGAN: Physical Model-Guided Underwater Image Enhancement Using GAN with Dual-Discriminators [120.06891448820447]
  鮮明で視覚的に快適な画像を得る方法は、人々の共通の関心事となっている。 水中画像強調(UIE)の課題も、時間とともに現れた。 本稿では,UIE のための物理モデル誘導型 GAN モデルを提案する。 我々のPUGANは質的および定量的な測定値において最先端の手法より優れています。
  論文  参考訳（メタデータ） (2023-06-15T07:41:12Z)
• Resource Saving via Ensemble Techniques for Quantum Neural Networks [1.4606049539095878]
  本稿では,複数の量子ニューラルネットワークのインスタンスに基づいて,単一の機械学習モデルを構築することを含むアンサンブル手法を提案する。 特に,データロード構成の異なるバッグングとAdaBoostの手法を実装し,その性能を実世界の分類と回帰の両方で評価する。 これらの手法により,比較的小さな量子デバイス上でも,大規模で強力なモデルの構築が可能であることが示唆された。
  論文  参考訳（メタデータ） (2023-03-20T17:19:45Z)
• Low-bit Shift Network for End-to-End Spoken Language Understanding [7.851607739211987]
  本稿では,連続パラメータを低ビットの2値に量子化する2乗量子化法を提案する。 これにより、高価な乗算演算を除去し、低ビット重みを使用すれば計算の複雑さを低減できる。
  論文  参考訳（メタデータ） (2022-07-15T14:34:22Z)
• ECQ$^{\text{x}}$: Explainability-Driven Quantization for Low-Bit and Sparse DNNs [13.446502051609036]
  我々はディープニューラルネットワーク(DNN)のための新しい量子化パラダイムを開発し、記述する。 本手法は,説明可能なAI(XAI)の概念と情報理論の概念を活用する。 最終的な目標は、最高の情報内容の量子化クラスタにおいて、最も関連性の高い重みを維持することである。
  論文  参考訳（メタデータ） (2021-09-09T12:57:06Z)
• Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
  本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。 実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。 ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
  論文  参考訳（メタデータ） (2021-03-15T12:54:26Z)
• Once Quantization-Aware Training: High Performance Extremely Low-bit Architecture Search [112.05977301976613]
  本稿では,ネットワークアーキテクチャ検索手法と量子化手法を組み合わせることで,両者のメリットを享受することを提案する。 まず、多数の量子化モデルを取得するために、共有ステップサイズでアーキテクチャと量子化の合同トレーニングを提案する。 次に、量子化されたモデルを低ビットに転送するためにビット継承方式を導入し、さらに時間コストを削減し、量子化精度を向上させる。
  論文  参考訳（メタデータ） (2020-10-09T03:52:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。