論文の概要: AutoDP-LLM: Automating Data Pre-processing for Intrusion Detection Systems using Large Language Models

• arxiv url: http://arxiv.org/abs/2610.05369v1
• Date: Sun, 04 Oct 2026 16:50:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 14:18:41.748848
• Title: AutoDP-LLM: Automating Data Pre-processing for Intrusion Detection Systems using Large Language Models
• Title（参考訳）: AutoDP-LLM:大規模言語モデルを用いた侵入検知システムのためのデータ前処理の自動化
• Abstract要約: AutoDP-LLMは、手動パイプライン開発と計算オーバーヘッドを低減するために設計された、自動前処理フレームワークである。 本稿では,AutoDP-LLMが,コンパクトかつ実行可能な前処理パイプラインの生成を自動化しながら,競合検出性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 4.645732477506578
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The increasing complexity and scale of modern cyber-attacks demand intelligent and computationally efficient Intrusion Detection Systems (IDS). However, designing effective data pre-processing pipelines traditionally involves substantial trial-and-error effort and repeated evaluation of alternative configurations. For large, high-dimensional network traffic data, this process can create a significant computational burden. In this work, we propose AutoDP-LLM, an automated pre-processing framework designed to reduce manual pipeline development and computational overhead. Specifically, AutoDP-LLM leverages Large Language Models (LLMs) to autonomously generate and validate executable data pre-processing pipelines. The framework combines deterministic host-side planning with LLM-based specialist agents to formulate data-processing strategies, synthesize executable code, and adaptively determine retained feature sets using semantic reasoning and training-derived statistical evidence, without requiring a predefined feature budget. Focusing on multiclass intrusion detection, we evaluate AutoDP-LLM on the UNSW-NB15 and NSL-KDD benchmark datasets using multiple downstream classifiers. Comparative experiments against conventional feature-selection methods show that AutoDP-LLM achieves competitive detection performance while automating the generation of compact and executable pre-processing pipelines. Component-level ablation experiments further demonstrate the complementary contributions of the semantic and statistical feature-reduction components. The repeated generation, validation, execution, and assessment of candidate pipelines are amenable to parallel execution, highlighting the potential of scalable computing environments, including high-performance computing (HPC) systems, to support automated IDS pipeline development.
• Abstract（参考訳）: 現代のサイバー攻撃の複雑さと規模が増大すると、インテリジェントで計算効率のよい侵入検知システム(IDS)が要求される。 しかし、従来の効率的なデータ前処理パイプラインの設計には、試行錯誤と代替構成の繰り返し評価が含まれる。 大規模で高次元のネットワークトラフィックデータにとって、このプロセスは大きな計算負担を生み出す可能性がある。 本研究では,手動パイプライン開発と計算オーバーヘッドの低減を目的とした,自動前処理フレームワークAutoDP-LLMを提案する。 具体的には、AutoDP-LLMはLarge Language Models (LLM)を活用して、実行可能なデータ前処理パイプラインを自律的に生成し、検証する。 このフレームワークは、決定論的ホストサイドプランニングとLLMベースのスペシャリストエージェントを組み合わせることで、データ処理戦略を定式化し、実行可能なコードを合成し、予め定義された特徴予算を必要とせず、セマンティック推論とトレーニング由来の統計的証拠を用いて保持された特徴セットを適応的に決定する。 マルチクラス侵入検出に着目し,UNSW-NB15およびNSL-KDDベンチマークデータセット上で,複数の下流分類器を用いてAutoDP-LLMを評価する。 従来の特徴選択法との比較実験により,AutoDP-LLMは,コンパクトかつ実行可能な前処理パイプラインの生成を自動化しながら,競合検出性能を実現することが示された。 コンポーネントレベルのアブレーション実験は、意味的および統計的特徴還元成分の相補的な寄与をさらに示している。 自動IDSパイプライン開発をサポートするハイパフォーマンスコンピューティング(HPC)システムを含むスケーラブルなコンピューティング環境の可能性を強調し、繰り返し発生するパイプラインの生成、検証、実行、および評価が並列実行に有効である。

関連論文リスト

• Characterizing Parallelism Strategies in LLM Inference: Fundamental Compute-Communication Trade-offs [1.4159869037535113]
  大規模言語モデル(LLM)推論は、現代のAIシステムにおいて支配的なワークロードとなっている。 本稿では,分散LLM推論をTP,PP,HBでモデル化するための統一解析フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-10-04T15:28:50Z)
• DataEvolver: Automatic Data Preparation for Large Language Models through Multi-Level Self-Evolving [55.85201665674226]
  大規模言語モデル(LLM)には高品質なトレーニングデータが不可欠である 既存の自動データ準備手法は、事前に定義されたパイプラインやカスタマイズされた人間の指示に依存している。 我々は、パイプラインを自動的に構築して、生データを高品質なデータに変換する、最初の自己進化型データ準備システムであるDataEvolverを紹介する。
  論文  参考訳（メタデータ） (2026-06-05T07:44:34Z)
• UniDial-EvalKit: A Unified Toolkit for Evaluating Multi-Faceted Conversational Abilities [70.79422099851506]
  対話型AIシステム評価のための統合評価ツールキットUniDial-EvalKit(UDE)を提案する。 UDEは異種データフォーマットを普遍的なスキーマに標準化し、モジュールアーキテクチャを通じて複雑な評価パイプラインを合理化し、一貫したスコアリングインターフェースの下でメートル法計算を調整する。
  論文  参考訳（メタデータ） (2026-03-24T13:01:31Z)
• kRAIG: A Natural Language-Driven Agent for Automated DataOps Pipeline Generation [0.5833117322405447]
  我々は、自然言語仕様をプロダクション対応KubeReason Pipelines(KFP)に変換するAIエージェントであるkRAIGを紹介する。 ユーザ意図の曖昧さを解決するために,パイプライン合成に先立って意図を明確に示すインタラクションフレームワークReQuesActを提案する。 本フレームワークは,最先端のエージェントベースラインと比較して,抽出とロードの精度が3倍向上し,変換精度が25%向上する。
  論文  参考訳（メタデータ） (2026-03-19T17:53:00Z)
• Autonomous Data Processing using Meta-Agents [2.3732259124656907]
  我々はメタエージェント(ADP-MA)を用いたtextbf Autonomous Data Processingを提案し,データ処理パイプラインを動的に構築し,実行し,反復的に洗練するフレームワークを提案する。 ADP-MAは、コンテキスト対応の最適化、適応的なワークロード分割、拡張性のためのプログレッシブサンプリングを強調している。 ADP-MAはパイプライン構築、実行監視、代表データ処理タスク間の適応的な改善を示すインタラクティブなデモを通じてデモを行う。
  論文  参考訳（メタデータ） (2026-01-30T20:58:17Z)
• LLM-AutoDP: Automatic Data Processing via LLM Agents for Model Fine-tuning [12.792070502265616]
  大規模言語モデル(LLM)は、専門分野の性能を高めるために、ドメイン固有のデータに基づいて微調整することができる。 このようなデータには、多くの低品質なサンプルが含まれており、効果的なデータ処理(DP)を必要としている。
  論文  参考訳（メタデータ） (2026-01-28T08:37:34Z)
• Scaling LLM Speculative Decoding: Non-Autoregressive Forecasting in Large-Batch Scenarios [76.85739138203014]
  本稿では,一方向および注目メカニズムを加速する新しいアーキテクチャであるSpecFormerを紹介する。 また,SpecFormerはトレーニング要求の低減と計算コストの削減を実現している。
  論文  参考訳（メタデータ） (2025-11-25T14:20:08Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• Synthetic Datasets for Neural Program Synthesis [66.20924952964117]
  本稿では,プログラムと仕様の両方で合成データ分布のバイアスを制御し,評価するための新しい手法を提案する。 そこで我々は,Karel DSLと小さなCalculator DSLを用いて,これらの分布上でのディープネットワークのトレーニングにより,分散一般化性能が向上することが実証された。
  論文  参考訳（メタデータ） (2019-12-27T21:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。