論文の概要: Parallel Instance Filtering for Malware Detection
- arxiv url: http://arxiv.org/abs/2206.13889v1
- Date: Tue, 28 Jun 2022 11:14:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-02 11:43:00.851284
- Title: Parallel Instance Filtering for Malware Detection
- Title(参考訳): マルウェア検出のための並列インスタンスフィルタリング
- Authors: Martin Jure\v{c}ek and Olha Jure\v{c}kov\'a
- Abstract要約: この研究は、Parallel Instance Filtering (PIF)と呼ばれる新しい並列インスタンス選択アルゴリズムを提案する。
このアルゴリズムの主な考え方は、データセット全体をカバーしているインスタンスの重複しないサブセットにデータセットを分割し、各サブセットにフィルタリングプロセスを適用することである。
我々はPIFアルゴリズムと、50,000の悪意あるサンプルからなる大規模なデータセット上で、最先端のインスタンス選択アルゴリズムを比較した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning algorithms are widely used in the area of malware detection.
With the growth of sample amounts, training of classification algorithms
becomes more and more expensive. In addition, training data sets may contain
redundant or noisy instances. The problem to be solved is how to select
representative instances from large training data sets without reducing the
accuracy. This work presents a new parallel instance selection algorithm called
Parallel Instance Filtering (PIF). The main idea of the algorithm is to split
the data set into non-overlapping subsets of instances covering the whole data
set and apply a filtering process for each subset. Each subset consists of
instances that have the same nearest enemy. As a result, the PIF algorithm is
fast since subsets are processed independently of each other using parallel
computation. We compare the PIF algorithm with several state-of-the-art
instance selection algorithms on a large data set of 500,000 malicious and
benign samples. The feature set was extracted using static analysis, and it
includes metadata from the portable executable file format. Our experimental
results demonstrate that the proposed instance selection algorithm reduces the
size of a training data set significantly with the only slightly decreased
accuracy. The PIF algorithm outperforms existing instance selection methods
used in the experiments in terms of the ratio between average classification
accuracy and storage percentage.
- Abstract(参考訳): 機械学習アルゴリズムはマルウェア検出の分野で広く使われている。
サンプル量の増加に伴い、分類アルゴリズムの訓練はますます高価になる。
さらに、トレーニングデータセットは冗長またはノイズの多いインスタンスを含むことができる。
解決すべき問題は、精度を低下させることなく、大規模なトレーニングデータセットから代表インスタンスを選択する方法である。
本稿では並列インスタンス選択アルゴリズムであるParallel Instance Filtering(PIF)を提案する。
アルゴリズムの主な考え方は、データセット全体をカバーしているインスタンスの重複しないサブセットにデータセットを分割し、各サブセットにフィルタリングプロセスを適用することである。
各サブセットは、同じ最も近い敵を持つインスタンスで構成される。
その結果、PIFアルゴリズムは並列計算を用いてサブセットを独立に処理するため、高速である。
500,000の悪意のあるサンプルと良質なサンプルからなる大規模なデータセット上で、pifアルゴリズムと最先端のインスタンス選択アルゴリズムを比較した。
機能セットは静的解析を用いて抽出され、ポータブルな実行ファイルフォーマットからのメタデータを含んでいる。
実験の結果,提案するインスタンス選択アルゴリズムは,精度をわずかに低下させるだけで,トレーニングデータセットのサイズを大幅に削減できることがわかった。
PIFアルゴリズムは、平均分類精度と記憶率との比で実験で使用される既存のインスタンス選択法より優れている。
関連論文リスト
- A Mirror Descent-Based Algorithm for Corruption-Tolerant Distributed Gradient Descent [57.64826450787237]
本研究では, 分散勾配降下アルゴリズムの挙動を, 敵対的腐敗の有無で解析する方法を示す。
汚職耐性の分散最適化アルゴリズムを設計するために、(怠慢な)ミラー降下からアイデアをどう使うかを示す。
MNISTデータセットの線形回帰、サポートベクトル分類、ソフトマックス分類に基づく実験は、我々の理論的知見を裏付けるものである。
論文 参考訳(メタデータ) (2024-07-19T08:29:12Z) - Data Classification With Multiprocessing [6.513930657238705]
Pythonのマルチプロセッシングは、異なる分類アルゴリズムでこの仮説をテストするために使われる。
我々は、アンサンブルは精度を向上し、マルチプロセッシングは選択したアルゴリズムの実行時間を短縮する、と結論付けた。
論文 参考訳(メタデータ) (2023-12-23T03:42:13Z) - FairWASP: Fast and Optimal Fair Wasserstein Pre-processing [9.627848184502783]
本報告では,FairWASPについて述べる。FairWASPは,従来のデータを変更することなく,分類データセットの格差を低減するための,新しい前処理手法である。
我々は,整数重みが最適であることを理論的に示す。つまり,本手法はサンプルの重複や除去と等価に理解することができる。
本研究は, 大規模混合整数プログラム (MIP) として前処理タスクを再構成し, 切削平面法に基づく高効率なアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-10-31T19:36:00Z) - Efficient Approximate Kernel Based Spike Sequence Classification [56.2938724367661]
SVMのような機械学習モデルは、シーケンスのペア間の距離/相似性の定義を必要とする。
厳密な手法により分類性能は向上するが、計算コストが高い。
本稿では,その予測性能を向上させるために,近似カーネルの性能を改善する一連の方法を提案する。
論文 参考訳(メタデータ) (2022-09-11T22:44:19Z) - Towards Automated Imbalanced Learning with Deep Hierarchical
Reinforcement Learning [57.163525407022966]
不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。
オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。
我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
論文 参考訳(メタデータ) (2022-08-26T04:28:01Z) - Machine Learning for Online Algorithm Selection under Censored Feedback [71.6879432974126]
オンラインアルゴリズム選択(OAS)では、アルゴリズム問題クラスのインスタンスがエージェントに次々に提示され、エージェントは、固定された候補アルゴリズムセットから、おそらく最高のアルゴリズムを迅速に選択する必要がある。
SAT(Satisfiability)のような決定問題に対して、品質は一般的にアルゴリズムのランタイムを指す。
本研究では,OASのマルチアームバンディットアルゴリズムを再検討し,この問題に対処する能力について議論する。
ランタイム指向の損失に適応し、時間的地平線に依存しない空間的・時間的複雑さを維持しながら、部分的に検閲されたデータを可能にする。
論文 参考訳(メタデータ) (2021-09-13T18:10:52Z) - Optimal Sampling Gaps for Adaptive Submodular Maximization [28.24164217929491]
アダプティブサブモジュラの文脈における確率サンプリングによる性能損失について検討する。
ポリシワイズ・サブモジュラの性質は、現実世界の幅広いアプリケーションで見つけることができることを示しています。
論文 参考訳(メタデータ) (2021-04-05T03:21:32Z) - The Integrity of Machine Learning Algorithms against Software Defect
Prediction [0.0]
本報告では,Liangらが開発したオンラインシーケンス・エクストリーム・ラーニング・マシン(OS-ELM)の性能を解析する。
OS-ELMは従来のディープニューラルネットワークよりも高速にトレーニングし、常にグローバルな最適解に収束する。
この分析は、NASAグループが実施する3つのプロジェクトKC1、PC4、PC3で実施される。
論文 参考訳(メタデータ) (2020-09-05T17:26:56Z) - Non-Adaptive Adaptive Sampling on Turnstile Streams [57.619901304728366]
カラムサブセット選択、部分空間近似、射影クラスタリング、および空間サブリニアを$n$で使用するターンタイルストリームのボリュームに対する最初の相対エラーアルゴリズムを提供する。
我々の適応的なサンプリング手法は、様々なデータ要約問題に多くの応用をもたらしており、これは最先端を改善するか、より緩和された行列列モデルで以前に研究されただけである。
論文 参考訳(メタデータ) (2020-04-23T05:00:21Z) - LSF-Join: Locality Sensitive Filtering for Distributed All-Pairs Set
Similarity Under Skew [58.21885402826496]
全ペアセットの類似性は、大規模で高次元のデータセットであっても広く使われているデータマイニングタスクである。
我々は,全対集合の類似性を近似するために,新しい分散アルゴリズム LSF-Join を提案する。
LSF-Joinは、小さな類似度閾値やスキュー入力セットであっても、最も近いペアを効率的に見つける。
論文 参考訳(メタデータ) (2020-03-06T00:06:20Z) - Fase-AL -- Adaptation of Fast Adaptive Stacking of Ensembles for
Supporting Active Learning [0.0]
本研究は,Active Learning を用いて非ラベルのインスタンスで分類モデルを誘導する FASE-AL アルゴリズムを提案する。
このアルゴリズムは、正しく分類されたインスタンスの割合で有望な結果を得る。
論文 参考訳(メタデータ) (2020-01-30T17:25:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。