論文の概要: Towards Efficient Threat Intelligence Instruction Tuning via Quality-Aware and Optimal Transport-Guided Data Selection
- arxiv url: http://arxiv.org/abs/2610.20284v1
- Date: Wed, 14 Oct 2026 14:40:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:16.20785
- Title: Towards Efficient Threat Intelligence Instruction Tuning via Quality-Aware and Optimal Transport-Guided Data Selection
- Title(参考訳): 品質意識と最適輸送誘導データ選択による効果的な脅威情報教育に向けて
- Abstract要約: サイバー脅威インテリジェンス分析における命令チューニングのためのターゲットデータ選択手法であるCTI-TDSを提案する。
まず、命令スタイルの整合性とセキュリティ知識の検証を統合することで、高品質なCTI命令をフィルタリングする。
我々は、CTIBenchを複数の大規模言語モデルにまたがる広範な実験を行う。
- 参考スコア(独自算出の注目度): 6.9620338499095595
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: High-quality data is essential for improving instruction tuning in threat intelligence analysis. However, existing methods for generating cybersecurity instruction data lack reliable quality assessment mechanisms, and gradient influence-based data selection methods primarily focus on single-sample matching, failing to cover diverse and complex security capabilities. To address these issues, we propose CTI-TDS, a Targeted Data Selection method for instruction tuning in Cyber Threat Intelligence analysis. Specifically, we first filter high-quality CTI instructions by integrating instruction style consistency and security knowledge verification. Furthermore, we formulate gradient influence as a distribution alignment problem, learning a gradient subspace of target tasks and applying entropic regularized optimal transport to optimize distribution matching between training samples and target tasks, enabling diversity-aware data selection. We conduct extensive experiments on CTIBench across multiple large language models. Experimental results demonstrate that when fine-tuning with only a small set of high-value instruction data, CTI-TDS outperforms existing data selection methods and achieves competitive performance on threat intelligence analysis tasks.
- Abstract(参考訳): 脅威インテリジェンス分析における命令チューニングを改善するためには,高品質なデータが必要である。
しかし、サイバーセキュリティ命令データを生成する既存の方法は信頼性の高い品質評価機構が欠如しており、勾配の影響に基づくデータ選択方法は、主に単一サンプルマッチングに焦点を当てており、多様な複雑なセキュリティ機能をカバーしていない。
これらの問題に対処するために,サイバー脅威情報分析における命令チューニングのためのターゲットデータ選択法であるCTI-TDSを提案する。
具体的には、まず、命令スタイルの一貫性とセキュリティ知識の検証を統合することで、高品質なCTI命令をフィルタリングする。
さらに、分布アライメント問題として勾配の影響を定式化し、目標タスクの勾配部分空間を学習し、エントロピー正則化された最適輸送を適用し、トレーニングサンプルと目標タスクの分布マッチングを最適化し、多様性に配慮したデータ選択を可能にする。
我々は、CTIBenchを複数の大規模言語モデルにまたがる広範な実験を行う。
実験結果から,少量の高価値命令データのみを用いて微調整を行う場合,CTI-TDSは既存のデータ選択法より優れ,脅威情報分析タスクにおける競合性能が向上することが示された。
関連論文リスト
- Data Agent: Learning to Select Data via End-to-End Dynamic Optimization [37.1771265765151]
データエージェントは、トレーニング対応のシーケンシャルな意思決定問題としてデータ選択を定式化する。
データエージェントは、パフォーマンスを保留または改善しながら、トレーニングを継続的に加速する。
データセットに依存しない定式化とモジュラー報酬により、タスクやシナリオをプラグイン&プレイできる。
論文 参考訳(メタデータ) (2026-03-08T03:10:39Z) - Smart Cuts: Enhance Active Learning for Vulnerability Detection by Pruning Hard-to-Learn Data [15.490968013867562]
脆弱性検出は、ソフトウェアシステムのセキュリティの弱点を特定するために不可欠である。
本稿では,データセットマップを用いて,アクティブな学習プロセスを大幅に向上させる新しい手法を提案する。
提案手法は,モデルにとって難解なサンプルを体系的に同定し,この情報を統合し,より洗練されたサンプル選択戦略を作成する。
論文 参考訳(メタデータ) (2025-06-25T13:50:21Z) - ROSE: A Reward-Oriented Data Selection Framework for LLM Task-Specific Instruction Tuning [26.069986067128912]
本稿では、タスク固有の命令チューニングのためのデータ選択を最適化するReward-Oriented InStruction Data sElection法であるROSEを紹介する。
ROSEは、最もタスク関連のトレーニングデータポイントを選択するために、数ショットの選好検証セットに対するトレーニングデータポイントの影響を近似するために影響定式化を適用する。
論文 参考訳(メタデータ) (2024-12-01T01:01:09Z) - LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。
LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。
我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
論文 参考訳(メタデータ) (2024-02-06T19:18:04Z) - One-Shot Learning as Instruction Data Prospector for Large Language Models [108.81681547472138]
textscNuggetsはワンショット学習を使用して、広範なデータセットから高品質な命令データを選択する。
我々は,textscNuggets がキュレートした例の上位1%による命令チューニングが,データセット全体を用いた従来の手法よりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2023-12-16T03:33:12Z) - Data Diversity Matters for Robust Instruction Tuning [129.83575908023312]
近年の研究では、高品質で多様な命令チューニングデータセットをキュレートすることにより、命令追従能力を大幅に改善できることが示されている。
データセットの多様性と品質を制御できる新しいアルゴリズムQDIT(Quality-Diversity Instruction Tuning)を提案する。
いくつかの大規模命令チューニングデータセット上でのQDITの性能を検証した結果、最悪のケースと平均ケースのパフォーマンスを大幅に改善できることがわかった。
論文 参考訳(メタデータ) (2023-11-21T19:12:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。