論文の概要: Agentic Knowledge Distillation: Autonomous Training of Small Language Models for SMS Threat Detection

• arxiv url: http://arxiv.org/abs/2602.10869v1
• Date: Wed, 11 Feb 2026 13:57:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-12 21:44:01.957276
• Title: Agentic Knowledge Distillation: Autonomous Training of Small Language Models for SMS Threat Detection
• Title（参考訳）: エージェント知識蒸留:SMS脅威検出のための小言語モデルの自律的訓練
• Authors: Adel ElZemity, Joshua Sylvester, Budi Arief, Rogério De Lemos,
• Abstract要約: エージェント知識蒸留は、人間の介入なしにセキュリティタスクにデプロイ可能な、より小さな学生SLMを微調整する強力なLLMで構成されている。 SMSスパム・スマイッシング検出における教師の役割における4つのLLMと2人の学生のSLMを比較した。 以上の結果から,教師のLLMによって性能が大きく異なり,94.31%の精度と96.25%のリコールが達成された。
• 参考スコア（独自算出の注目度）: 0.4899818550820574
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: SMS-based phishing (smishing) attacks have surged, yet training effective on-device detectors requires labelled threat data that quickly becomes outdated. To deal with this issue, we present Agentic Knowledge Distillation, which consists of a powerful LLM acts as an autonomous teacher that fine-tunes a smaller student SLM, deployable for security tasks without human intervention. The teacher LLM autonomously generates synthetic data and iteratively refines a smaller on-device student model until performance plateaus. We compare four LLMs in this teacher role (Claude Opus 4.5, GPT 5.2 Codex, Gemini 3 Pro, and DeepSeek V3.2) on SMS spam/smishing detection with two student SLMs (Qwen2.5-0.5B and SmolLM2-135M). Our results show that performance varies substantially depending on the teacher LLM, with the best configuration achieving 94.31% accuracy and 96.25% recall. We also compare against a Direct Preference Optimisation (DPO) baseline that uses the same synthetic knowledge and LoRA setup but without iterative feedback or targeted refinement; agentic knowledge distillation substantially outperforms it (e.g. 86-94% vs 50-80% accuracy), showing that closed-loop feedback and targeted refinement are critical. These findings demonstrate that agentic knowledge distillation can rapidly yield effective security classifiers for edge deployment, but outcomes depend strongly on which teacher LLM is used.
• Abstract（参考訳）: SMSベースのフィッシング(スマイシング)攻撃が急増しているが、デバイス上での効果的な検出にはラベル付き脅威データが必要である。 この問題に対処するため,人間を介さずにセキュリティタスクに展開可能な,小規模のSLMを微調整する自律教師としての強力なLLM機能を備えたエージェント知識蒸留法を提案する。 教師LLMは、自動で合成データを生成し、演奏台地までデバイス上のより小さな生徒モデルを反復的に洗練する。 この教師の役割における4つのLCM(Claude Opus 4.5, GPT 5.2 Codex, Gemini 3 Pro, DeepSeek V3.2)と2人の学生SLM(Qwen2.5-0.5B, SmolLM2-135M)を比較した。 以上の結果から,教師のLLMによって性能が大きく異なり,94.31%の精度と96.25%のリコールが達成された。 また, 直接選好最適化 (DPO) ベースラインと比較し, 同じ合成知識と LoRA セットアップを用いるが, 反復的なフィードバックや目標改質を伴わず, エージェント知識の蒸留により大幅に性能が向上し(例: 86-94% 対 50-80% の精度) , 閉ループフィードバックと目標改質が重要であることを示した。 これらの結果から, エージェント的知識蒸留は, エッジ展開に有効なセキュリティ分類器を迅速に得ることが示唆された。

関連論文リスト

• References Improve LLM Alignment in Non-Verifiable Domains [118.26447686644808]
  基準誘導型LCM評価器がソフトな「検証器」として機能することでギャップを埋められるか検討する。 基準誘導手法は,フロンティアモデルからの参照を用いて,低能力のLCMジャッジの精度を大幅に向上することを示す。 基準誘導自己改善は、基準出力に対する直接SFTと基準自由判断による自己改善の両方に対して明らかな利得が得られることを示す。
  論文  参考訳（メタデータ） (2026-02-18T19:03:34Z)
• Phishing Detection in the Gen-AI Era: Quantized LLMs vs Classical Models [1.4999444543328293]
  フィッシング攻撃はますます洗練され、高精度と計算効率のバランスをとる検知システムの必要性が強調されている。 本稿では、フィッシング検出のための従来の機械学習(ML)、ディープラーニング(DL)、および量子化された小パラメータ大規模言語モデル(LLM)の比較評価を行う。 現在,LLMはML法やDL法に比べて精度が低いが,文脈に基づく微妙なフィッシング手法を識別する可能性が強い。
  論文  参考訳（メタデータ） (2025-07-10T04:01:52Z)
• Training LLM-Based Agents with Synthetic Self-Reflected Trajectories and Partial Masking [61.61356842567952]
  LLMに基づくエージェントトレーニングを改善するための新しい手法STePを提案する。 誤差ステップの反射や補正を含む自己反射軌道を合成する。 実験により,提案手法は3つの代表的なタスクにおいてエージェント性能を向上させることが示された。
  論文  参考訳（メタデータ） (2025-05-26T14:11:12Z)
• AegisLLM: Scaling Agentic Systems for Self-Reflective Defense in LLM Security [74.22452069013289]
  AegisLLMは、敵の攻撃や情報漏洩に対する協調的なマルチエージェント防御である。 テスト時のエージェント推論システムのスケーリングは,モデルの有用性を損なうことなく,ロバスト性を大幅に向上させることを示す。 アンラーニングやジェイルブレイクを含む主要な脅威シナリオに対する総合的な評価は、AegisLLMの有効性を示している。
  論文  参考訳（メタデータ） (2025-04-29T17:36:05Z)
• Can Small Language Models Reliably Resist Jailbreak Attacks? A Comprehensive Evaluation [10.987263424166477]
  大型言語モデル(LLM)の代替として、小型言語モデル(SLM)が登場した。 本稿では,SLMの脆弱性をジェイルブレイク攻撃に対して大規模な実証的研究を行った。 モデルのサイズ、モデルアーキテクチャ、トレーニングデータセット、トレーニングテクニックの4つの重要な要素を特定します。
  論文  参考訳（メタデータ） (2025-03-09T08:47:16Z)
• S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
  S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。 以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
  論文  参考訳（メタデータ） (2025-02-18T13:40:22Z)
• LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
  大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。 本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。 LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
  論文  参考訳（メタデータ） (2024-12-29T06:32:36Z)
• LLM Robustness Against Misinformation in Biomedical Question Answering [50.98256373698759]
  探索拡張生成(RAG)アプローチは,質問応答のための大規模言語モデル(LLM)の折り畳みを低減するために用いられる。 バイオメディカル質問に対する誤報に対する4つのLDMの有効性とロバスト性を評価した。
  論文  参考訳（メタデータ） (2024-10-27T16:23:26Z)
• Identifying Factual Inconsistencies in Summaries: Grounding LLM Inference via Task Taxonomy [48.29181662640212]
  事実的矛盾は、生成モデルによる忠実な要約にとって重要なハードルとなる。 我々は,要約中の不整合事実のキーエラータイプを集約し,ゼロショットと教師付きパラダイムの両方を容易にするためにそれらを組み込んだ。
  論文  参考訳（メタデータ） (2024-02-20T08:41:23Z)
• Enabling Weak LLMs to Judge Response Reliability via Meta Ranking [38.63721941742435]
  我々は、$textitMeta Ranking$ (MR) と呼ばれるクロスクエリベースの新しい手法を提案する。 MRは、ターゲットクエリ-レスポンスペアを複数の参照クエリ-レスポンスペアにペアでランク付けすることで、信頼性を評価する。 MRはモデルカスケーディングとインストラクションチューニングの2つの実用的応用において、強力なLLMの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-02-19T13:57:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。