論文の概要: Accuracy and Efficiency Trade-Offs in LLM-Based Malware Detection and Explanation: A Comparative Study of Parameter Tuning vs. Full Fine-Tuning
- arxiv url: http://arxiv.org/abs/2511.19654v1
- Date: Mon, 24 Nov 2025 19:37:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-26 17:37:04.135396
- Title: Accuracy and Efficiency Trade-Offs in LLM-Based Malware Detection and Explanation: A Comparative Study of Parameter Tuning vs. Full Fine-Tuning
- Title(参考訳): LLMによるマルウェア検出・説明における精度と効率のトレードオフ:パラメータ調整とフルファインチューニングの比較検討
- Authors: Stephen C. Gravereaux, Sheikh Rabiul Islam,
- Abstract要約: Low-Rank Adaptation (LoRA) fine-tuned Large Language Models (LLMs) は、人間の解釈可能な決定とマルウェア分類の説明を生成する際に、完全に微調整されたモデルの性能を近似することができる。
LoRAは、解釈可能性とリソース効率の現実的なバランスを提供し、説明品質を犠牲にすることなく、リソースに制約のある環境へのデプロイを可能にする。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This study examines whether Low-Rank Adaptation (LoRA) fine-tuned Large Language Models (LLMs) can approximate the performance of fully fine-tuned models in generating human-interpretable decisions and explanations for malware classification. Achieving trustworthy malware detection, particularly when LLMs are involved, remains a significant challenge. We developed an evaluation framework using Bilingual Evaluation Understudy (BLEU), Recall-Oriented Understudy for Gisting Evaluation (ROUGE), and Semantic Similarity Metrics to benchmark explanation quality across five LoRA configurations and a fully fine-tuned baseline. Results indicate that full fine-tuning achieves the highest overall scores, with BLEU and ROUGE improvements of up to 10% over LoRA variants. However, mid-range LoRA models deliver competitive performance exceeding full fine-tuning on two metrics while reducing model size by approximately 81% and training time by over 80% on a LoRA model with 15.5% trainable parameters. These findings demonstrate that LoRA offers a practical balance of interpretability and resource efficiency, enabling deployment in resource-constrained environments without sacrificing explanation quality. By providing feature-driven natural language explanations for malware classifications, this approach enhances transparency, analyst confidence, and operational scalability in malware detection systems.
- Abstract(参考訳): 本研究では,Low-Rank Adaptation (LoRA) fine-tuned Large Language Models (LLMs) が,人為的な決定やマルウェア分類の説明を生成する上で,完全微調整モデルの性能を近似できるかどうかを検討する。
LLMが関与している場合、信頼性の高いマルウェア検出を実現することは、依然として大きな課題である。
両言語評価基盤(BLEU, Recall-Oriented Understudy for Gisting Evaluation,ROUGE, Semantic similarity Metrics)を用いて,5つのLORA構成と完全に微調整されたベースライン間の説明品質をベンチマークする評価フレームワークを開発した。
その結果,全微調整は総得点が最高であり,BLEUとROUGEは最大10%向上した。
しかし、ミッドレンジのLoRAモデルは、2つの指標で完全な微調整をし、モデルサイズを約81%削減し、トレーニング可能なパラメータが15.5%のLoRAモデルで80%以上のトレーニング時間を短縮する。
これらの結果から,LoRAは解釈可能性と資源効率の両立を実現し,説明品質を犠牲にすることなく,資源制約された環境への展開を可能にした。
マルウェア分類のための機能駆動型自然言語説明を提供することにより、マルウェア検出システムにおける透明性、アナリストの信頼度、運用スケーラビリティを高めることができる。
関連論文リスト
- EFlat-LoRA: Efficiently Seeking Flat Minima for Better Generalization in Fine-Tuning Large Language Models and Beyond [21.19636109010622]
低ランク適応のための平らなミニマを求めるために、Flat-LoRAとその効率的なバージョンであるEFlat-LoRAを提案する。
EFlat-LoRAはLoRAに匹敵する効率を同時に達成し,性能も向上することを示す。
論文 参考訳(メタデータ) (2025-08-01T10:59:49Z) - BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。
本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
論文 参考訳(メタデータ) (2025-02-19T10:33:22Z) - Hallucinations and Truth: A Comprehensive Accuracy Evaluation of RAG, LoRA and DoRA [0.0]
生成AIの最近の進歩により、自然言語処理(NLP)システムの効率性と適応性が大幅に向上した。
本稿では,RAG,LoRA,DoRAを大規模に評価し,2万のFAQクエリに基づいてモデル微調整と生成性能を評価する。
DoRAは高い精度(90.1%)、関連スコア(0.88)、最低レイテンシ(クエリ毎110ms)を達成し、現実のドメイン固有の生成AIアプリケーションにおいてLoRAとRAGの両方を上回っている。
論文 参考訳(メタデータ) (2025-02-14T17:38:25Z) - SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。
既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。
クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
論文 参考訳(メタデータ) (2025-01-22T20:00:41Z) - Exploring Gradient Subspaces: Addressing and Overcoming LoRA's Limitations in Federated Fine-Tuning of Large Language Models [19.533062623518674]
本稿ではLow-Rank Adaptation (LoRA)を用いたFLフレームワークの収束と性能保証を批判的に分析する。
直接重み付けはLoRAベースの戦略よりも優れており、微調整モデルでは優れた性能が得られることを示す。
以上の結果から,直接重み付けと併用したGaLoreの方が,FlexLoRAやFFA-LoRAといったフェデレートされたLoRA法よりも,テキストや画像のモダリティが優れていることが示唆された。
論文 参考訳(メタデータ) (2024-10-30T15:23:44Z) - LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。
本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
論文 参考訳(メタデータ) (2024-10-27T22:57:12Z) - Investigating Training Strategies and Model Robustness of Low-Rank
Adaptation for Language Modeling in Speech Recognition [27.515920408920216]
フリーズドプレトレーニング言語モデル(PLM)を用いたローランク適応(LoRA)は、メモリ制約ハードウェアのための資源効率の高いモデリング手法である。
本研究では,様々なLoRAトレーニング戦略を導入することにより,モデル性能を向上させる方法について検討する。
LoRAに基づく第2パス音声認識モデルの安定性をさらに評価するため,入力摂動に対する検討を行った。
論文 参考訳(メタデータ) (2024-01-19T01:30:16Z) - Low-Rank Adaptation for Multilingual Summarization: An Empirical Study [60.541168233698194]
私たちはその可能性を調査する。
多言語要約領域におけるローランド適応(LoRA)に着目した効率的なファインチューニング
ハイデータやローデータの設定、言語間転送など、さまざまなデータ可用性シナリオに関する広範な調査を行います。
以上の結果から,LoRAは大量のデータでトレーニングされた場合の完全な微調整と競合し,低データシナリオや言語間転送に優れることがわかった。
論文 参考訳(メタデータ) (2023-11-14T22:32:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。