論文の概要: Agentic Knowledge Distillation: Autonomous Training of Small Language Models for SMS Threat Detection

• arxiv url: http://arxiv.org/abs/2602.10869v1
• Date: Wed, 11 Feb 2026 13:57:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-12 21:44:01.957276
• Title: Agentic Knowledge Distillation: Autonomous Training of Small Language Models for SMS Threat Detection
• Title（参考訳）: エージェント知識蒸留:SMS脅威検出のための小言語モデルの自律的訓練
• Authors: Adel ElZemity, Joshua Sylvester, Budi Arief, Rogério De Lemos,
• Abstract要約: エージェント知識蒸留は、人間の介入なしにセキュリティタスクにデプロイ可能な、より小さな学生SLMを微調整する強力なLLMで構成されている。 SMSスパム・スマイッシング検出における教師の役割における4つのLLMと2人の学生のSLMを比較した。 以上の結果から,教師のLLMによって性能が大きく異なり,94.31%の精度と96.25%のリコールが達成された。
• 参考スコア（独自算出の注目度）: 0.4899818550820574
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: SMS-based phishing (smishing) attacks have surged, yet training effective on-device detectors requires labelled threat data that quickly becomes outdated. To deal with this issue, we present Agentic Knowledge Distillation, which consists of a powerful LLM acts as an autonomous teacher that fine-tunes a smaller student SLM, deployable for security tasks without human intervention. The teacher LLM autonomously generates synthetic data and iteratively refines a smaller on-device student model until performance plateaus. We compare four LLMs in this teacher role (Claude Opus 4.5, GPT 5.2 Codex, Gemini 3 Pro, and DeepSeek V3.2) on SMS spam/smishing detection with two student SLMs (Qwen2.5-0.5B and SmolLM2-135M). Our results show that performance varies substantially depending on the teacher LLM, with the best configuration achieving 94.31% accuracy and 96.25% recall. We also compare against a Direct Preference Optimisation (DPO) baseline that uses the same synthetic knowledge and LoRA setup but without iterative feedback or targeted refinement; agentic knowledge distillation substantially outperforms it (e.g. 86-94% vs 50-80% accuracy), showing that closed-loop feedback and targeted refinement are critical. These findings demonstrate that agentic knowledge distillation can rapidly yield effective security classifiers for edge deployment, but outcomes depend strongly on which teacher LLM is used.
• Abstract（参考訳）: SMSベースのフィッシング(スマイシング)攻撃が急増しているが、デバイス上での効果的な検出にはラベル付き脅威データが必要である。 この問題に対処するため,人間を介さずにセキュリティタスクに展開可能な,小規模のSLMを微調整する自律教師としての強力なLLM機能を備えたエージェント知識蒸留法を提案する。 教師LLMは、自動で合成データを生成し、演奏台地までデバイス上のより小さな生徒モデルを反復的に洗練する。 この教師の役割における4つのLCM(Claude Opus 4.5, GPT 5.2 Codex, Gemini 3 Pro, DeepSeek V3.2)と2人の学生SLM(Qwen2.5-0.5B, SmolLM2-135M)を比較した。 以上の結果から,教師のLLMによって性能が大きく異なり,94.31%の精度と96.25%のリコールが達成された。 また, 直接選好最適化 (DPO) ベースラインと比較し, 同じ合成知識と LoRA セットアップを用いるが, 反復的なフィードバックや目標改質を伴わず, エージェント知識の蒸留により大幅に性能が向上し(例: 86-94% 対 50-80% の精度) , 閉ループフィードバックと目標改質が重要であることを示した。 これらの結果から, エージェント的知識蒸留は, エッジ展開に有効なセキュリティ分類器を迅速に得ることが示唆された。

関連論文リスト

• Phishing Detection in the Gen-AI Era: Quantized LLMs vs Classical Models [1.4999444543328293]
  フィッシング攻撃はますます洗練され、高精度と計算効率のバランスをとる検知システムの必要性が強調されている。 本稿では、フィッシング検出のための従来の機械学習(ML)、ディープラーニング(DL)、および量子化された小パラメータ大規模言語モデル(LLM)の比較評価を行う。 現在,LLMはML法やDL法に比べて精度が低いが,文脈に基づく微妙なフィッシング手法を識別する可能性が強い。
  論文  参考訳（メタデータ） (2025-07-10T04:01:52Z)
• AegisLLM: Scaling Agentic Systems for Self-Reflective Defense in LLM Security [74.22452069013289]
  AegisLLMは、敵の攻撃や情報漏洩に対する協調的なマルチエージェント防御である。 テスト時のエージェント推論システムのスケーリングは,モデルの有用性を損なうことなく,ロバスト性を大幅に向上させることを示す。 アンラーニングやジェイルブレイクを含む主要な脅威シナリオに対する総合的な評価は、AegisLLMの有効性を示している。
  論文  参考訳（メタデータ） (2025-04-29T17:36:05Z)
• LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
  大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。 本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。 LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
  論文  参考訳（メタデータ） (2024-12-29T06:32:36Z)
• LLM Robustness Against Misinformation in Biomedical Question Answering [50.98256373698759]
  探索拡張生成(RAG)アプローチは,質問応答のための大規模言語モデル(LLM)の折り畳みを低減するために用いられる。 バイオメディカル質問に対する誤報に対する4つのLDMの有効性とロバスト性を評価した。
  論文  参考訳（メタデータ） (2024-10-27T16:23:26Z)
• Identifying Factual Inconsistencies in Summaries: Grounding LLM Inference via Task Taxonomy [48.29181662640212]
  事実的矛盾は、生成モデルによる忠実な要約にとって重要なハードルとなる。 我々は,要約中の不整合事実のキーエラータイプを集約し,ゼロショットと教師付きパラダイムの両方を容易にするためにそれらを組み込んだ。
  論文  参考訳（メタデータ） (2024-02-20T08:41:23Z)
• Enabling Weak LLMs to Judge Response Reliability via Meta Ranking [38.63721941742435]
  我々は、$textitMeta Ranking$ (MR) と呼ばれるクロスクエリベースの新しい手法を提案する。 MRは、ターゲットクエリ-レスポンスペアを複数の参照クエリ-レスポンスペアにペアでランク付けすることで、信頼性を評価する。 MRはモデルカスケーディングとインストラクションチューニングの2つの実用的応用において、強力なLLMの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-02-19T13:57:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。