論文の概要: Investigating the Impact of Quantization Methods on the Safety and Reliability of Large Language Models

• arxiv url: http://arxiv.org/abs/2502.15799v2
• Date: Sun, 29 Jun 2025 19:20:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 15:08:38.973583
• Title: Investigating the Impact of Quantization Methods on the Safety and Reliability of Large Language Models
• Title（参考訳）: 大規模言語モデルの安全性と信頼性に及ぼす量子化法の影響の検討
• Authors: Artyom Kharinaev, Viktor Moskvoretskii, Egor Shvetsov, Kseniia Studenikina, Bykov Mikhail, Evgeny Burnaev,
• Abstract要約: モデル動作を厳格に評価するために、1.067の課題を伴う人為的な安全データセットをリリースする。 4つの学習後量子化(PTQ)法と2つの量子化対応訓練(QAT)法を用いて、4つの大言語モデルの66の量子化変種を評価する。 以上の結果から,PTQとQATは安全アライメントの低下を招き,QLORAやSTEなどのQAT技術は安全性の低下を図っている。
• 参考スコア（独自算出の注目度）: 16.30545036335344
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are powerful tools for modern applications, but their computational demands limit accessibility. Quantization offers efficiency gains, yet its impact on safety and trustworthiness remains poorly understood. To address this, we introduce OpenMiniSafety, a human-curated safety dataset with 1.067 challenging questions to rigorously evaluate model behavior. We publicly release human safety evaluations for four LLMs (both quantized and full-precision), totaling 4.268 annotated question-answer pairs. By assessing 66 quantized variants of these models using four post-training quantization (PTQ) and two quantization-aware training (QAT) methods across four safety benchmarks including human-centric evaluations we uncover critical safety performance trade-offs. Our results show both PTQ and QAT can degrade safety alignment, with QAT techniques like QLORA or STE performing less safely. No single method consistently outperforms others across benchmarks, precision settings, or models, highlighting the need for safety-aware compression strategies. Furthermore, precision-specialized methods (e.g., QUIK and AWQ for 4-bit, AQLM and Q-PET for 2-bit) excel at their target precision, meaning that these methods are not better at compressing but rather different approaches.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、現代のアプリケーションにとって強力なツールであるが、その計算要求はアクセシビリティを制限する。 量子化は効率の向上をもたらすが、その安全性と信頼性への影響はよく分かっていない。 この問題に対処するため、モデル動作を厳格に評価するために、1.067の課題を伴う人為的な安全データセットであるOpenMiniSafetyを紹介した。 我々は4つのLCM(量子化と完全精度)の安全性評価を公開し、合計4.268の質問応答対を公表した。 4つのポストトレーニング量子化(PTQ)と2つの量子化対応トレーニング(QAT)手法を用いて66種類の量子化モデルを評価することにより、人間中心の評価を含む4つの安全ベンチマークで重要な安全性性能トレードオフを明らかにする。 以上の結果から,PTQとQATは安全アライメントの低下を招き,QLORAやSTEなどのQAT技術は安全性の低下を図っている。 ベンチマークや精度設定,モデルなどを通じて,安全を意識した圧縮戦略の必要性を強調して,他の方法よりも一貫して優れるメソッドは存在しない。 さらに, 4-bit, AQLM, Q-PETでは, 4-bit, QUIK, AWQの精度が向上し, 圧縮精度が向上した。

関連論文リスト

• Q-resafe: Assessing Safety Risks and Quantization-aware Safety Patching for Quantized Large Language Models [37.68831497886983]
  LLM(Quantized Large Language Model)は、リソース制約のある環境へのデプロイを可能にする上で、注目と重要性を高めている。 本稿では,様々な主要な量子化手法と多様なキャリブレーションデータセットにまたがる包括的安全性評価について述べる。 本稿では,量子化LLMの安全性を効率的に回復する,量子化対応型安全性パッチフレームワークQ-resafeを提案する。
  論文  参考訳（メタデータ） (2025-06-25T08:52:22Z)
• Verifiable Safety Q-Filters via Hamilton-Jacobi Reachability and Multiplicative Q-Networks [8.042618833885168]
  ハミルトン・ヤコビ到達可能性解析に基づく検証可能なモデルフリー安全フィルタを提案する。 提案手法は,4つの標準安全制御ベンチマークで検証されたモデルフリー安全証明書をうまく合成する。
  論文  参考訳（メタデータ） (2025-05-27T18:12:50Z)
• Advancing Embodied Agent Security: From Safety Benchmarks to Input Moderation [52.83870601473094]
  エンボディード・エージェントは、複数のドメインにまたがって大きな潜在能力を示す。 既存の研究は主に、一般的な大言語モデルのセキュリティに重点を置いている。 本稿では, エンボディエージェントの保護を目的とした新しい入力モデレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-22T08:34:35Z)
• aiXamine: Simplified LLM Safety and Security [7.933485586826888]
  安全とセキュリティのための総合的なブラックボックス評価プラットフォームであるaiXamineについて紹介する。 AiXamineは40以上のテスト(ベンチマーク)を、特定の安全性とセキュリティをターゲットとした8つの重要なサービスに統合する。 プラットフォームは、評価結果をモデル毎の1つの詳細なレポートに集約し、モデルパフォーマンス、テスト例、リッチな視覚化を提供する。
  論文  参考訳（メタデータ） (2025-04-21T09:26:05Z)
• Safe Vision-Language Models via Unsafe Weights Manipulation [75.04426753720551]
  我々は、異なるレベルの粒度で安全性を評価する新しい指標セットであるSafe-Groundを導入し、安全性の評価を見直した。 我々は異なる方向を採り、トレーニングなしでモデルをより安全にできるかどうかを探り、Unsafe Weights Manipulation (UWM)を導入します。 UWMは、セーフとアンセーフのインスタンスのキャリブレーションセットを使用して、セーフとアンセーフのコンテンツのアクティベーションを比較し、後者を処理する上で最も重要なパラメータを特定する。
  論文  参考訳（メタデータ） (2025-03-14T17:00:22Z)
• Uncertainty Quantification for LLMs through Minimum Bayes Risk: Bridging Confidence and Consistency [66.96286531087549]
  大規模言語モデル(LLM)のための不確実性定量化(UQ)手法は、様々なアプローチを含んでいる。 本稿では,モデル信頼度と出力整合性を統合する新しい手法を提案する。 我々は,質問応答,抽象要約,機械翻訳など,様々なタスクに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2025-02-07T14:30:12Z)
• Rethinking Bottlenecks in Safety Fine-Tuning of Vision Language Models [25.606641582511106]
  モデル性能を向上させるために,マルチイメージ入力と安全チェーン・オブ・ソート(CoT)ラベルを微粒な推論ロジックとして統合する新しいデータセットを提案する。 実験の結果,MISを用いた微調整InternVL2.5-8Bは,マルチイメージタスクに挑戦する上で,強力なオープンソースモデルとAPIベースモデルの両方を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-01-30T17:59:45Z)
• On the Adversarial Robustness of Instruction-Tuned Large Language Models for Code [4.286327408435937]
  厳密なメトリクスと確立されたベンチマークを用いて、多様な入力課題が生成されたコードの機能と正確性に与える影響を評価する。 オープンソースモデルは入力摂動に対する感受性が増大し、機能的正しさは12%から34%にまで低下した。 対照的に、商用モデルは比較的高いレジリエンスを示し、性能劣化は3%から24%である。
  論文  参考訳（メタデータ） (2024-11-29T07:00:47Z)
• Automatic Evaluation for Text-to-image Generation: Task-decomposed Framework, Distilled Training, and Meta-evaluation Benchmark [62.58869921806019]
  GPT-4oに基づくタスク分解評価フレームワークを提案し、新しいトレーニングデータセットを自動構築する。 我々は、GPT-4oの評価能力を7BオープンソースMLLM、MiniCPM-V-2.6に効果的に蒸留するための革新的なトレーニング戦略を設計する。 実験結果から,我々の蒸留したオープンソースMLLMは,現在のGPT-4oベースラインよりも有意に優れていた。
  論文  参考訳（メタデータ） (2024-11-23T08:06:06Z)
• LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
  鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。 本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。 この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
  論文  参考訳（メタデータ） (2024-05-09T11:49:05Z)
• Towards Precise Observations of Neural Model Robustness in Classification [2.127049691404299]
  ディープラーニングアプリケーションでは、ロバストネスは入力データのわずかな変化を処理するニューラルネットワークの能力を測定する。 私たちのアプローチは、安全クリティカルなアプリケーションにおけるモデルロバストネスのより深い理解に寄与します。
  論文  参考訳（メタデータ） (2024-04-25T09:37:44Z)
• Decoding Compressed Trust: Scrutinizing the Trustworthiness of Efficient LLMs Under Compression [109.23761449840222]
  本研究は,Large Language Models (LLM) の最初の完全評価を行う。 量子化は現在、効率性と信頼性を同時に達成する上で、プルーニングよりも効果的なアプローチであることが分かっています。
  論文  参考訳（メタデータ） (2024-03-18T01:38:19Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• ASSERT: Automated Safety Scenario Red Teaming for Evaluating the Robustness of Large Language Models [65.79770974145983]
  ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。 このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。 統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
  論文  参考訳（メタデータ） (2023-10-14T17:10:28Z)
• Reliability in Semantic Segmentation: Are We on the Right Track? [15.0189654919665]
  我々は、古いResNetベースのアーキテクチャから新しいトランスフォーマーまで、さまざまなモデルを分析します。 近年のモデルでは, 信頼性は著しく高いが, 不確実性評価の点では, 全体として信頼性は高くない。 これは、ロバストネスと不確実性推定の両方に焦点を当てた現代のセグメンテーションモデルに関する最初の研究である。
  論文  参考訳（メタデータ） (2023-03-20T17:38:24Z)
• Evaluating Model-free Reinforcement Learning toward Safety-critical Tasks [70.76757529955577]
  本稿では、国家安全RLの観点から、この領域における先行研究を再考する。 安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。 この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
  論文  参考訳（メタデータ） (2022-12-12T06:30:17Z)
• Leveraging Industry 4.0 -- Deep Learning, Surrogate Model and Transfer Learning with Uncertainty Quantification Incorporated into Digital Twin for Nuclear System [2.530807828621263]
  IoT(Internet of Things)と機械学習(ML)の出現により、サロゲートモデリングの概念はさらに有効になった。 この章は、代理モデリング、トランスファーラーニング、IoT、デジタルツインという概念の概要から始まる。 その後、デジタルツインに関連付けられた代理モデルに対する不確実性、不確実性定量化フレームワーク、および不確実性定量化手法の詳細について概説する。
  論文  参考訳（メタデータ） (2022-09-30T20:19:04Z)
• Fast Uncertainty Quantification for Deep Object Pose Estimation [91.09217713805337]
  深層学習に基づくオブジェクトポーズ推定は、しばしば信頼できない、自信過剰である。 本研究では,6-DoFオブジェクトのポーズ推定のための,シンプルで効率的かつプラグアンドプレイなUQ手法を提案する。
  論文  参考訳（メタデータ） (2020-11-16T06:51:55Z)
• Evaluating the Safety of Deep Reinforcement Learning Models using Semi-Formal Verification [81.32981236437395]
  本稿では,区間分析に基づく半形式的意思決定手法を提案する。 本手法は, 標準ベンチマークに比較して, 形式検証に対して比較結果を得る。 提案手法は, 意思決定モデルにおける安全性特性を効果的に評価することを可能にする。
  論文  参考訳（メタデータ） (2020-10-19T11:18:06Z)
• SAMBA: Safe Model-Based & Active Reinforcement Learning [59.01424351231993]
  SAMBAは、確率論的モデリング、情報理論、統計学といった側面を組み合わせた安全な強化学習のためのフレームワークである。 我々は,低次元および高次元の状態表現を含む安全な力学系ベンチマークを用いて,アルゴリズムの評価を行った。 アクティブなメトリクスと安全性の制約を詳細に分析することで,フレームワークの有効性を直感的に評価する。
  論文  参考訳（メタデータ） (2020-06-12T10:40:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。