Fugu-MT 論文翻訳(概要): Investigating the Impact of Quantization Methods on the Safety and Reliability of Large Language Models

論文の概要: Investigating the Impact of Quantization Methods on the Safety and Reliability of Large Language Models

arxiv url: http://arxiv.org/abs/2502.15799v2
Date: Sun, 29 Jun 2025 19:20:45 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-01 15:08:38.973583
Title: Investigating the Impact of Quantization Methods on the Safety and Reliability of Large Language Models
Title（参考訳）: 大規模言語モデルの安全性と信頼性に及ぼす量子化法の影響の検討
Authors: Artyom Kharinaev, Viktor Moskvoretskii, Egor Shvetsov, Kseniia Studenikina, Bykov Mikhail, Evgeny Burnaev,
Abstract要約: モデル動作を厳格に評価するために、1.067の課題を伴う人為的な安全データセットをリリースする。 4つの学習後量子化(PTQ)法と2つの量子化対応訓練(QAT)法を用いて、4つの大言語モデルの66の量子化変種を評価する。以上の結果から,PTQとQATは安全アライメントの低下を招き,QLORAやSTEなどのQAT技術は安全性の低下を図っている。
参考スコア（独自算出の注目度）: 16.30545036335344
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLMs) are powerful tools for modern applications, but their computational demands limit accessibility. Quantization offers efficiency gains, yet its impact on safety and trustworthiness remains poorly understood. To address this, we introduce OpenMiniSafety, a human-curated safety dataset with 1.067 challenging questions to rigorously evaluate model behavior. We publicly release human safety evaluations for four LLMs (both quantized and full-precision), totaling 4.268 annotated question-answer pairs. By assessing 66 quantized variants of these models using four post-training quantization (PTQ) and two quantization-aware training (QAT) methods across four safety benchmarks including human-centric evaluations we uncover critical safety performance trade-offs. Our results show both PTQ and QAT can degrade safety alignment, with QAT techniques like QLORA or STE performing less safely. No single method consistently outperforms others across benchmarks, precision settings, or models, highlighting the need for safety-aware compression strategies. Furthermore, precision-specialized methods (e.g., QUIK and AWQ for 4-bit, AQLM and Q-PET for 2-bit) excel at their target precision, meaning that these methods are not better at compressing but rather different approaches.
Abstract（参考訳）: 大規模言語モデル(LLM)は、現代のアプリケーションにとって強力なツールであるが、その計算要求はアクセシビリティを制限する。量子化は効率の向上をもたらすが、その安全性と信頼性への影響はよく分かっていない。この問題に対処するため、モデル動作を厳格に評価するために、1.067の課題を伴う人為的な安全データセットであるOpenMiniSafetyを紹介した。我々は4つのLCM(量子化と完全精度)の安全性評価を公開し、合計4.268の質問応答対を公表した。 4つのポストトレーニング量子化(PTQ)と2つの量子化対応トレーニング(QAT)手法を用いて66種類の量子化モデルを評価することにより、人間中心の評価を含む4つの安全ベンチマークで重要な安全性性能トレードオフを明らかにする。以上の結果から,PTQとQATは安全アライメントの低下を招き,QLORAやSTEなどのQAT技術は安全性の低下を図っている。ベンチマークや精度設定,モデルなどを通じて,安全を意識した圧縮戦略の必要性を強調して,他の方法よりも一貫して優れるメソッドは存在しない。さらに, 4-bit, AQLM, Q-PETでは, 4-bit, QUIK, AWQの精度が向上し, 圧縮精度が向上した。

関連論文リスト

Advancing Embodied Agent Security: From Safety Benchmarks to Input Moderation [52.83870601473094]
エンボディード・エージェントは、複数のドメインにまたがって大きな潜在能力を示す。既存の研究は主に、一般的な大言語モデルのセキュリティに重点を置いている。本稿では, エンボディエージェントの保護を目的とした新しい入力モデレーションフレームワークを提案する。
論文参考訳（メタデータ） (2025-04-22T08:34:35Z)
On the Adversarial Robustness of Instruction-Tuned Large Language Models for Code [4.286327408435937]
厳密なメトリクスと確立されたベンチマークを用いて、多様な入力課題が生成されたコードの機能と正確性に与える影響を評価する。オープンソースモデルは入力摂動に対する感受性が増大し、機能的正しさは12%から34%にまで低下した。対照的に、商用モデルは比較的高いレジリエンスを示し、性能劣化は3%から24%である。
論文参考訳（メタデータ） (2024-11-29T07:00:47Z)
Automatic Evaluation for Text-to-image Generation: Task-decomposed Framework, Distilled Training, and Meta-evaluation Benchmark [62.58869921806019]
GPT-4oに基づくタスク分解評価フレームワークを提案し、新しいトレーニングデータセットを自動構築する。我々は、GPT-4oの評価能力を7BオープンソースMLLM、MiniCPM-V-2.6に効果的に蒸留するための革新的なトレーニング戦略を設計する。実験結果から,我々の蒸留したオープンソースMLLMは,現在のGPT-4oベースラインよりも有意に優れていた。
論文参考訳（メタデータ） (2024-11-23T08:06:06Z)
LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
論文参考訳（メタデータ） (2024-05-09T11:49:05Z)
Towards Precise Observations of Neural Model Robustness in Classification [2.127049691404299]
ディープラーニングアプリケーションでは、ロバストネスは入力データのわずかな変化を処理するニューラルネットワークの能力を測定する。私たちのアプローチは、安全クリティカルなアプリケーションにおけるモデルロバストネスのより深い理解に寄与します。
論文参考訳（メタデータ） (2024-04-25T09:37:44Z)
When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文参考訳（メタデータ） (2023-12-16T17:13:08Z)
QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文参考訳（メタデータ） (2023-11-06T00:21:44Z)
Reliability in Semantic Segmentation: Are We on the Right Track? [15.0189654919665]
我々は、古いResNetベースのアーキテクチャから新しいトランスフォーマーまで、さまざまなモデルを分析します。近年のモデルでは, 信頼性は著しく高いが, 不確実性評価の点では, 全体として信頼性は高くない。これは、ロバストネスと不確実性推定の両方に焦点を当てた現代のセグメンテーションモデルに関する最初の研究である。
論文参考訳（メタデータ） (2023-03-20T17:38:24Z)
Leveraging Industry 4.0 -- Deep Learning, Surrogate Model and Transfer Learning with Uncertainty Quantification Incorporated into Digital Twin for Nuclear System [2.530807828621263]
IoT(Internet of Things)と機械学習(ML)の出現により、サロゲートモデリングの概念はさらに有効になった。この章は、代理モデリング、トランスファーラーニング、IoT、デジタルツインという概念の概要から始まる。その後、デジタルツインに関連付けられた代理モデルに対する不確実性、不確実性定量化フレームワーク、および不確実性定量化手法の詳細について概説する。
論文参考訳（メタデータ） (2022-09-30T20:19:04Z)
Evaluating the Safety of Deep Reinforcement Learning Models using Semi-Formal Verification [81.32981236437395]
本稿では,区間分析に基づく半形式的意思決定手法を提案する。本手法は, 標準ベンチマークに比較して, 形式検証に対して比較結果を得る。提案手法は, 意思決定モデルにおける安全性特性を効果的に評価することを可能にする。
論文参考訳（メタデータ） (2020-10-19T11:18:06Z)
SAMBA: Safe Model-Based & Active Reinforcement Learning [59.01424351231993]
SAMBAは、確率論的モデリング、情報理論、統計学といった側面を組み合わせた安全な強化学習のためのフレームワークである。我々は,低次元および高次元の状態表現を含む安全な力学系ベンチマークを用いて,アルゴリズムの評価を行った。アクティブなメトリクスと安全性の制約を詳細に分析することで,フレームワークの有効性を直感的に評価する。
論文参考訳（メタデータ） (2020-06-12T10:40:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。