Fugu-MT 論文翻訳(概要): ZOQO: Zero-Order Quantized Optimization

論文の概要: ZOQO: Zero-Order Quantized Optimization

arxiv url: http://arxiv.org/abs/2501.06736v1
Date: Sun, 12 Jan 2025 07:15:55 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-14 14:28:29.321072
Title: ZOQO: Zero-Order Quantized Optimization
Title（参考訳）: ZOQO:ゼロ次量子化最適化
Authors: Noga Bar, Raja Giryes,
Abstract要約: 本稿では,ゼロ次量子化最適化法 (ZOQO) を提案する。本手法では, 勾配符号のゼロ次近似を活用し, パラメータの量子化を完全精度勾配計算を必要とせずに, 学習プロセスに適応させる。
参考スコア（独自算出の注目度）: 31.43307762723943
License:
Abstract: The increasing computational and memory demands in deep learning present significant challenges, especially in resource-constrained environments. We introduce a zero-order quantized optimization (ZOQO) method designed for training models with quantized parameters and operations. Our approach leverages zero-order approximations of the gradient sign and adapts the learning process to maintain the parameters' quantization without the need for full-precision gradient calculations. We demonstrate the effectiveness of ZOQO through experiments in fine-tuning of large language models and black-box adversarial attacks. Despite the limitations of zero-order and quantized operations training, our method achieves competitive performance compared to full-precision methods, highlighting its potential for low-resource environments.
Abstract（参考訳）: ディープラーニングにおける計算とメモリの需要の増加は、特に資源制約のある環境において、大きな課題を呈している。本稿では,ゼロ次量子化最適化法 (ZOQO) を提案する。本手法では, 勾配符号のゼロ次近似を活用し, パラメータの量子化を完全精度勾配計算を必要とせずに, 学習プロセスに適応させる。大規模言語モデルやブラックボックス攻撃の微調整実験によるZOQOの有効性を実証する。ゼロオーダーおよび量子化操作訓練の限界にもかかわらず,本手法は完全精度の手法と比較して競争性能が向上し,低リソース環境の可能性を強調した。

関連論文リスト

Improving Quantization-aware Training of Low-Precision Network via Block Replacement on Full-Precision Counterpart [1.5508907979229383]
量子化対応トレーニング(QAT)は、ネットワーク量子化の一般的なパラダイムである。低精度モデルは限られた表現能力を示し、完全精度の計算を直接複製することはできない。本稿では,低精度ネットワークのフォワード・バック・プロセスが,完全精度パートナーによってガイドされるようにすることで,懸念を緩和するための一般的なQATフレームワークを提案する。
論文参考訳（メタデータ） (2024-12-20T12:38:18Z)
Quantized and Interpretable Learning Scheme for Deep Neural Networks in Classification Task [0.0]
本稿では,サリエンシ誘導学習と量子化技術を組み合わせて,解釈可能かつ資源効率のよいモデルを構築するアプローチを提案する。以上の結果から,Saliency-Guided Training と PACT-based Quantization の併用は,分類性能を維持するだけでなく,より効率的かつ解釈可能なモデルを生成することが示唆された。
論文参考訳（メタデータ） (2024-12-05T06:34:06Z)
Learning Parameterized Quantum Circuits with Quantum Gradient [8.64967968665265]
我々は、量子勾配を利用して勾配型コスト関数のPQC学習を強化するネスト最適化モデルを導入する。我々の手法は量子アルゴリズムを用いて、PQC学習における永続的な課題である勾配の消失のタイプを特定し、克服する。
論文参考訳（メタデータ） (2024-09-30T07:50:47Z)
End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文参考訳（メタデータ） (2024-02-12T16:33:35Z)
Multi-fidelity Constrained Optimization for Stochastic Black Box Simulators [1.6385815610837167]
上記の問題に対処するために、Scout-Nd (Stochastic Constrained Optimization for N dimensions) アルゴリズムを導入する。 Scout-Ndは効率よく勾配を推定し、推定器勾配のノイズを低減し、計算労力をさらに削減するために多重忠実性スキームを適用する。提案手法を標準ベンチマークで検証し,既存の手法よりも優れた性能を示すパラメータの最適化の有効性を示す。
論文参考訳（メタデータ） (2023-11-25T23:36:38Z)
Zero-Shot Sharpness-Aware Quantization for Pre-trained Language Models [88.80146574509195]
量子化は、メモリオーバーヘッドを減らし、推論を加速するための有望なアプローチである。種々のPLMのゼロショット量子化のための新しい量子化(ZSAQ)フレームワークを提案する。
論文参考訳（メタデータ） (2023-10-20T07:09:56Z)
PreQuant: A Task-agnostic Quantization Approach for Pre-trained Language Models [52.09865918265002]
ファインチューニングのフレームワークPreQuantに先立って,新しい量子化を提案する。 PreQuantは様々な量子化戦略と互換性があり、インダクションされた量子化誤差を修正するために、アウタリア対応の微調整が組み込まれている。 BERT,RoBERTa,T5を用いたGLUEベンチマークにおけるPreQuantの有効性を示す。
論文参考訳（メタデータ） (2023-05-30T08:41:33Z)
Towards Compute-Optimal Transfer Learning [82.88829463290041]
我々は、事前訓練されたモデルのゼロショット構造化プルーニングにより、性能を最小限に抑えて計算効率を向上させることができると主張している。その結果,事前訓練されたモデルの畳み込み畳み込みフィルタは,低計算条件下で20%以上の性能向上をもたらす可能性が示唆された。
論文参考訳（メタデータ） (2023-04-25T21:49:09Z)
Neural Networks with Quantization Constraints [111.42313650830248]
量子化学習における制約付き学習手法を提案する。結果の問題は強い双対であり、勾配推定は不要であることを示す。提案手法は画像分類タスクにおける競合性能を示す。
論文参考訳（メタデータ） (2022-10-27T17:12:48Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。