Fugu-MT 論文翻訳(概要): ZOQO: Zero-Order Quantized Optimization

論文の概要: ZOQO: Zero-Order Quantized Optimization

arxiv url: http://arxiv.org/abs/2501.06736v1
Date: Sun, 12 Jan 2025 07:15:55 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-14 19:20:13.04914
Title: ZOQO: Zero-Order Quantized Optimization
Title（参考訳）: ZOQO:ゼロ次量子化最適化
Authors: Noga Bar, Raja Giryes,
Abstract要約: 本稿では,ゼロ次量子化最適化法 (ZOQO) を提案する。本手法では, 勾配符号のゼロ次近似を活用し, パラメータの量子化を完全精度勾配計算を必要とせずに, 学習プロセスに適応させる。
参考スコア（独自算出の注目度）: 31.43307762723943
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: The increasing computational and memory demands in deep learning present significant challenges, especially in resource-constrained environments. We introduce a zero-order quantized optimization (ZOQO) method designed for training models with quantized parameters and operations. Our approach leverages zero-order approximations of the gradient sign and adapts the learning process to maintain the parameters' quantization without the need for full-precision gradient calculations. We demonstrate the effectiveness of ZOQO through experiments in fine-tuning of large language models and black-box adversarial attacks. Despite the limitations of zero-order and quantized operations training, our method achieves competitive performance compared to full-precision methods, highlighting its potential for low-resource environments.
Abstract（参考訳）: ディープラーニングにおける計算とメモリの需要の増加は、特に資源制約のある環境において、大きな課題を呈している。本稿では,ゼロ次量子化最適化法 (ZOQO) を提案する。本手法では, 勾配符号のゼロ次近似を活用し, パラメータの量子化を完全精度勾配計算を必要とせずに, 学習プロセスに適応させる。大規模言語モデルやブラックボックス攻撃の微調整実験によるZOQOの有効性を実証する。ゼロオーダーおよび量子化操作訓練の限界にもかかわらず,本手法は完全精度の手法と比較して競争性能が向上し,低リソース環境の可能性を強調した。

関連論文リスト

Enhancing Ultra-Low-Bit Quantization of Large Language Models Through Saliency-Aware Partial Retraining [0.0]
トレーニング後の量子化は、精度の低下を犠牲にして、モデルサイズを効率的に削減する。量子化学習(quantization-aware training)は、精度を向上するが、リソース集約である。本稿では,ApiQ上に構築した超低ビット量子化手法を提案する。
論文参考訳（メタデータ） (2025-04-14T19:31:21Z)
A quantum gradient descent algorithm for optimizing Gaussian Process models [28.16587217223671]
ガウス過程モデルを最適化するための量子勾配降下アルゴリズムを提案する。本アルゴリズムは,ログ限界確率の勾配の計算において指数的高速化を実現する。
論文参考訳（メタデータ） (2025-03-22T14:14:31Z)
Optimizing ML Training with Metagradient Descent [69.89631748402377]
モデルトレーニングによる勾配というメタグラディエントを,大規模に効率的に計算するアルゴリズムを導入する。次に、メタグラディエントを用いた効果的な最適化を可能にする「滑らかなモデルトレーニング」フレームワークを導入する。
論文参考訳（メタデータ） (2025-03-17T22:18:24Z)
Improving Quantization-aware Training of Low-Precision Network via Block Replacement on Full-Precision Counterpart [1.5508907979229383]
量子化対応トレーニング(QAT)は、ネットワーク量子化の一般的なパラダイムである。低精度モデルは限られた表現能力を示し、完全精度の計算を直接複製することはできない。本稿では,低精度ネットワークのフォワード・バック・プロセスが,完全精度パートナーによってガイドされるようにすることで,懸念を緩和するための一般的なQATフレームワークを提案する。
論文参考訳（メタデータ） (2024-12-20T12:38:18Z)
Quantized and Interpretable Learning Scheme for Deep Neural Networks in Classification Task [0.0]
本稿では,サリエンシ誘導学習と量子化技術を組み合わせて,解釈可能かつ資源効率のよいモデルを構築するアプローチを提案する。以上の結果から,Saliency-Guided Training と PACT-based Quantization の併用は,分類性能を維持するだけでなく,より効率的かつ解釈可能なモデルを生成することが示唆された。
論文参考訳（メタデータ） (2024-12-05T06:34:06Z)
LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
論文参考訳（メタデータ） (2024-05-09T11:49:05Z)
End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文参考訳（メタデータ） (2024-02-12T16:33:35Z)
Zero-Shot Sharpness-Aware Quantization for Pre-trained Language Models [88.80146574509195]
量子化は、メモリオーバーヘッドを減らし、推論を加速するための有望なアプローチである。種々のPLMのゼロショット量子化のための新しい量子化(ZSAQ)フレームワークを提案する。
論文参考訳（メタデータ） (2023-10-20T07:09:56Z)
DeepZero: Scaling up Zeroth-Order Optimization for Deep Model Training [33.11416096294998]
ゼロオーダー(ZO)最適化は、機械学習(ML)問題を解決する一般的なテクニックとなっている。ディープニューラルネットワーク(DNN)のトレーニングにおけるZO最適化の有効性を、パフォーマンスを著しく低下させることなく実証した以前の研究はない。我々は,ZO最適化をDNNトレーニングにスクラッチから拡張可能なZOディープラーニング(DL)フレームワークであるDeepZeroを開発した。
論文参考訳（メタデータ） (2023-10-03T13:05:36Z)
QuantEase: Optimization-based Quantization for Language Models [17.333778751252392]
本研究は,近年のLarge Language Models (LLMs) の進歩から,様々な量子化層の量子化(PTQ)を導入する。当社のCDベースのアプローチは、ベクター操作にのみ依存して、簡単にアップデートできる。我々はまた、完全な精度で重要な重量(外積)を維持することができるような、外れ値のアプローチも検討している。
論文参考訳（メタデータ） (2023-09-05T01:39:09Z)
PreQuant: A Task-agnostic Quantization Approach for Pre-trained Language Models [52.09865918265002]
ファインチューニングのフレームワークPreQuantに先立って,新しい量子化を提案する。 PreQuantは様々な量子化戦略と互換性があり、インダクションされた量子化誤差を修正するために、アウタリア対応の微調整が組み込まれている。 BERT,RoBERTa,T5を用いたGLUEベンチマークにおけるPreQuantの有効性を示す。
論文参考訳（メタデータ） (2023-05-30T08:41:33Z)
Towards Compute-Optimal Transfer Learning [82.88829463290041]
我々は、事前訓練されたモデルのゼロショット構造化プルーニングにより、性能を最小限に抑えて計算効率を向上させることができると主張している。その結果,事前訓練されたモデルの畳み込み畳み込みフィルタは,低計算条件下で20%以上の性能向上をもたらす可能性が示唆された。
論文参考訳（メタデータ） (2023-04-25T21:49:09Z)
Neural Networks with Quantization Constraints [111.42313650830248]
量子化学習における制約付き学習手法を提案する。結果の問題は強い双対であり、勾配推定は不要であることを示す。提案手法は画像分類タスクにおける競合性能を示す。
論文参考訳（メタデータ） (2022-10-27T17:12:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。