論文の概要: AQUA-LLM: Evaluating Accuracy, Quantization, and Adversarial Robustness Trade-offs in LLMs for Cybersecurity Question Answering

• arxiv url: http://arxiv.org/abs/2509.13514v1
• Date: Tue, 16 Sep 2025 20:19:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-18 18:41:50.640151
• Title: AQUA-LLM: Evaluating Accuracy, Quantization, and Adversarial Robustness Trade-offs in LLMs for Cybersecurity Question Answering
• Title（参考訳）: AQUA-LLM:LLMにおけるセキュリティ問題回答のための精度・量子化・対人ロバスト性トレードオフの評価
• Authors: Onat Gungor, Roshan Sood, Harold Wang, Tajana Rosing,
• Abstract要約: 大規模言語モデル(LLM)は近年,サイバーセキュリティ質問応答(QA)の強力な可能性を示している。 それらの膨大な計算要求は、リソース制約のあるエッジデバイスへの展開に重大な課題をもたらす。 AQUA-LLMは、4つの異なる構成で複数の最先端の小型LCMをベンチマークするために設計された評価フレームワークである。
• 参考スコア（独自算出の注目度）: 8.946002046630845
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have recently demonstrated strong potential for cybersecurity question answering (QA), supporting decision-making in real-time threat detection and response workflows. However, their substantial computational demands pose significant challenges for deployment on resource-constrained edge devices. Quantization, a widely adopted model compression technique, can alleviate these constraints. Nevertheless, quantization may degrade model accuracy and increase susceptibility to adversarial attacks. Fine-tuning offers a potential means to mitigate these limitations, but its effectiveness when combined with quantization remains insufficiently explored. Hence, it is essential to understand the trade-offs among accuracy, efficiency, and robustness. We propose AQUA-LLM, an evaluation framework designed to benchmark several state-of-the-art small LLMs under four distinct configurations: base, quantized-only, fine-tuned, and fine-tuned combined with quantization, specifically for cybersecurity QA. Our results demonstrate that quantization alone yields the lowest accuracy and robustness despite improving efficiency. In contrast, combining quantization with fine-tuning enhances both LLM robustness and predictive performance, achieving an optimal balance of accuracy, robustness, and efficiency. These findings highlight the critical need for quantization-aware, robustness-preserving fine-tuning methodologies to enable the robust and efficient deployment of LLMs for cybersecurity QA.
• Abstract（参考訳）: 大規模言語モデル(LLM)は最近、サイバーセキュリティ質問応答(QA)の強力な可能性を示し、リアルタイムの脅威検出と応答ワークフローにおける意思決定を支援する。 しかし、その相当な計算要求は、リソース制約のあるエッジデバイスへの展開に重大な課題をもたらす。 広く採用されているモデル圧縮技術である量子化は、これらの制約を緩和することができる。 それでも、量子化はモデルの精度を低下させ、敵攻撃に対する感受性を高める可能性がある。 微調整はこれらの制限を緩和する潜在的な手段を提供するが、量子化と組み合わせた場合の有効性はいまだ不十分である。 したがって、正確性、効率、堅牢性の間のトレードオフを理解することが不可欠である。 AQUA-LLMは、4つの異なる構成(ベース、量子化のみ、微調整、微調整、および量子化と組み合わせた微調整)で最先端の小型LCMをベンチマークするために設計された評価フレームワークである。 その結果、量子化だけで効率が向上したにもかかわらず、最低精度とロバスト性が得られることが示された。 対照的に、量子化と微調整を組み合わせることで、LLMの堅牢性と予測性能が向上し、精度、堅牢性、効率の最適バランスが達成される。 これらの知見は、サイバーセキュリティQAのためのLLMの堅牢で効率的な展開を可能にするために、量子化を意識し、頑健さを保った微調整手法を重要視している。

関連論文リスト

• Progressive Element-wise Gradient Estimation for Neural Network Quantization [2.1413624861650358]
  量子化アウェアトレーニング(QAT)法は、離散化関数の非微分可能性に対処するためにSTE(Straight-Through Estimator)に依存する。 本稿では,連続値と量子化値の離散化誤差に対処するため,PEGE(Progressive Element-wise Gradient Estimation)を提案する。 PEGEは、既存のバックプロパゲーション手法を一貫して上回り、低精度のモデルが彼らの完全精度の精度にマッチしたり、さらに上回ったりすることを可能にしている。
  論文  参考訳（メタデータ） (2025-08-27T15:59:36Z)
• ZeroQAT: Your Quantization-aware Training but Efficient [53.25965863436039]
  量子化は、大規模言語モデル(LLM)のデプロイメントコストを削減する効果的な手法である。 既存の低ビットPTQ法は, 局所再構成目標と下流性能の相違による累積誤差の伝搬と誤調整が生じるため, 精度劣化に悩まされる。 我々は,ゼロオーダー最適化に基づくQATフレームワークZeroQATを提案する。
  論文  参考訳（メタデータ） (2025-08-21T01:18:27Z)
• Q-resafe: Assessing Safety Risks and Quantization-aware Safety Patching for Quantized Large Language Models [37.68831497886983]
  LLM(Quantized Large Language Model)は、リソース制約のある環境へのデプロイを可能にする上で、注目と重要性を高めている。 本稿では,様々な主要な量子化手法と多様なキャリブレーションデータセットにまたがる包括的安全性評価について述べる。 本稿では,量子化LLMの安全性を効率的に回復する,量子化対応型安全性パッチフレームワークQ-resafeを提案する。
  論文  参考訳（メタデータ） (2025-06-25T08:52:22Z)
• Enhancing LLM Reliability via Explicit Knowledge Boundary Modeling [48.15636223774418]
  大規模言語モデル(LLM)は、不一致の自己認識に起因する幻覚の傾向にある。 本稿では,高速かつ低速な推論システムを統合し,信頼性とユーザビリティを調和させる明示的知識境界モデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-04T03:16:02Z)
• LEP-QNN: Loan Eligibility Prediction using Quantum Neural Networks [4.2435928520499635]
  我々は、量子ニューラルネットワーク(LEP-QNN)を用いたローン適性予測に量子機械学習(QML)を用いる新しいアプローチを提案する。 私たちの革新的なアプローチは、単一の包括的なデータセットからローンの適格性を98%の精度で予測します。 本研究は、金融予測におけるQMLの可能性を示し、QML技術の進歩のための基礎的なガイドを確立する。
  論文  参考訳（メタデータ） (2024-12-04T09:35:03Z)
• On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks [52.97107229149988]
  エッジデバイス上でハードウェア対応の混合精度量子化を行うOn-Chipハードウェア・アウェア量子化フレームワークを提案する。 このパイプラインは、量子化プロセスが量子化演算子の実際のハードウェア効率を知覚することを可能にする。 精度測定のために,マルチチップシナリオにおける演算子の精度への影響を効果的に推定するMask-Guided Quantization Estimation技術を提案する。
  論文  参考訳（メタデータ） (2023-09-05T04:39:34Z)
• Potential and limitations of quantum extreme learning machines [55.41644538483948]
  本稿では,QRCとQELMをモデル化するフレームワークを提案する。 我々の分析は、QELMとQRCの両方の機能と限界をより深く理解するための道を開いた。
  論文  参考訳（メタデータ） (2022-10-03T09:32:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。