論文の概要: On the impact of dataset size and class imbalance in evaluating
machine-learning-based windows malware detection techniques
- arxiv url: http://arxiv.org/abs/2206.06256v1
- Date: Mon, 13 Jun 2022 15:37:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-14 17:52:10.507846
- Title: On the impact of dataset size and class imbalance in evaluating
machine-learning-based windows malware detection techniques
- Title（参考訳）: 機械学習に基づくウィンドウマルウェア検出手法の評価におけるデータセットサイズとクラス不均衡の影響について
- Authors: David Illes
- Abstract要約: 一部の研究者は、より小さなデータセットを使用し、データセットのサイズがパフォーマンスに重大な影響を与えている場合、公表された結果の比較が困難になる。
このプロジェクトは、データセットのサイズが測定された検出器の性能と関係しているかどうかを理解するために、2つの重要な目標を特定した。
結果は、高い精度のスコアが必ずしも高い実世界のパフォーマンスに必ずしも変換されないことを示唆した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The purpose of this project was to collect and analyse data about the
comparability and real-life applicability of published results focusing on
Microsoft Windows malware, more specifically the impact of dataset size and
testing dataset imbalance on measured detector performance. Some researchers
use smaller datasets, and if dataset size has a significant impact on
performance, that makes comparison of the published results difficult.
Researchers also tend to use balanced datasets and accuracy as a metric for
testing. The former is not a true representation of reality, where benign
samples significantly outnumber malware, and the latter is approach is known to
be problematic for imbalanced problems. The project identified two key
objectives, to understand if dataset size correlates to measured detector
performance to an extent that prevents meaningful comparison of published
results, and to understand if good performance reported in published research
can be expected to perform well in a real-world deployment scenario. The
research's results suggested that dataset size does correlate with measured
detector performance to an extent that prevents meaningful comparison of
published results, and without understanding the nature of the training set
size-accuracy curve for published results conclusions between approaches on
which approach is "better" shouldn't be made solely based on accuracy scores.
Results also suggested that high accuracy scores don't necessarily translate to
high real-world performance.
- Abstract（参考訳）: このプロジェクトの目的は、Microsoft Windowsのマルウェアに焦点を当てた結果の互換性と実際の適用性に関するデータを収集し分析することであり、具体的には、データセットのサイズとデータセットの不均衡が測定された検出性能に与える影響である。
一部の研究者は、より小さなデータセットを使用しており、データセットのサイズがパフォーマンスに大きな影響を与える場合、公開結果の比較が困難になる。
研究者はまた、バランスの取れたデータセットと精度をテストの指標として使う傾向がある。
前者は現実の真の表現ではなく、良性サンプルはマルウェアの数を大幅に上回っており、後者は不均衡な問題に対する問題であることが知られている。
このプロジェクトは、データセットのサイズが測定された検出器のパフォーマンスと相関しているかどうかを、公開結果の有意義な比較を妨げる範囲まで理解し、公開研究で報告された優れたパフォーマンスが実際のデプロイシナリオでうまく機能することを期待できるかどうかを理解するという、2つの重要な目標を特定した。
本研究の結果は, データセットサイズが測定値と相関し, 結果の有意な比較を防止し, かつ, 結果の結論に対するトレーニングセットサイズ精度曲線の性質を理解せずに, 精度スコアにのみ基づくアプローチを行なわなければならないことを示唆した。
結果は、高い精度スコアは必ずしも現実世界のパフォーマンスに変換されないことを示唆した。
関連論文リスト
- The Impact of Train-Test Leakage on Machine Learning-based Android Malware Detection [6.9053043489744015]
同一またはほぼ同一のアプリ表現を持つ異なるAndroidアプリを特定します。
これは、機械学習モデルのパフォーマンスを膨らませるデータリークの問題につながる。
機械学習ベースのAndroidマルウェア検知器を構築するためのリーク認識方式を提案する。
論文 参考訳（メタデータ） (2024-10-25T08:04:01Z) - A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。
データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。
より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-15T03:00:58Z) - Performance of Human Annotators in Object Detection and Segmentation of Remotely Sensed Data [0.0]
本研究では,アノテータの性能に及ぼすアノテーション戦略,不均衡データのレベル,事前経験の影響を評価することを目的とする。
この実験は、0.15textbf$m$のピクセルサイズを持つ画像を用いて行われ、専門家と非専門家の両方が関与する。
論文 参考訳（メタデータ） (2024-09-16T13:34:26Z) - Benchmark Transparency: Measuring the Impact of Data on Evaluation [6.307485015636125]
6つの異なる次元にまたがるデータポイント分布を自動計測するフレームワークを提案する。
データ分布が絶対値(Acc/F1)と相対値(Rank)モデルの性能にどの程度影響するかを測定するために,不均質な階層化サンプリングを用いる。
その結果,データの影響は統計的に有意であり,測定値の変更の影響よりも大きいことが判明した。
論文 参考訳（メタデータ） (2024-03-31T17:33:43Z) - Benchmarks for Detecting Measurement Tampering [2.9138729302304855]
そこで本研究では,大規模言語モデルを用いたテクスチャ検出手法を評価するために,4つの新しいテキストベースデータセットを構築した。
目的は、すべての測定結果が実際に結果が発生したかどうかを示す例や、測定の改ざんによって引き起こされたかを決定することである。
ほとんどのデータセットで単純なベースラインを上回りますが、最大パフォーマンスは達成できません。
論文 参考訳（メタデータ） (2023-08-29T19:54:37Z) - Exploring the Effectiveness of Dataset Synthesis: An application of
Apple Detection in Orchards [68.95806641664713]
本研究では,リンゴ樹の合成データセットを生成するための安定拡散2.1-baseの有用性について検討する。
我々は、現実世界のリンゴ検出データセットでリンゴを予測するために、YOLOv5mオブジェクト検出モデルを訓練する。
その結果、実世界の画像でトレーニングされたベースラインモデルと比較して、生成データでトレーニングされたモデルはわずかに性能が劣っていることがわかった。
論文 参考訳（メタデータ） (2023-06-20T09:46:01Z) - Striving for data-model efficiency: Identifying data externalities on
group performance [75.17591306911015]
信頼できる、効果的で責任ある機械学習システムの構築は、トレーニングデータとモデリング決定の違いが、予測パフォーマンスにどのように影響するかを理解することに集中する。
我々は、特定のタイプのデータモデル非効率性に注目し、一部のソースからトレーニングデータを追加することで、集団の重要なサブグループで評価されるパフォーマンスを実際に低下させることができる。
以上の結果から,データ効率が正確かつ信頼性の高い機械学習の鍵となることが示唆された。
論文 参考訳（メタデータ） (2022-11-11T16:48:27Z) - Data-Centric Machine Learning in the Legal Domain [0.2624902795082451]
本稿では,データセットの変化がモデルの性能に与える影響について考察する。
法律ドメインから公開されている3つのデータセットを用いて,そのサイズ,列車/テストの分割,および人間のラベル付け精度がパフォーマンスに与える影響について検討する。
観察された効果は、特にクラスごとのパフォーマンスを考慮した場合、驚くほど顕著である。
論文 参考訳（メタデータ） (2022-01-17T23:05:14Z) - DAPPER: Label-Free Performance Estimation after Personalization for
Heterogeneous Mobile Sensing [95.18236298557721]
DAPPER(Domain AdaPtation Performance EstimatoR)を提案する。
実世界の6つのベースラインと比較した4つのセンシングデータセットによる評価の結果,DAPPERの精度は39.8%向上した。
論文 参考訳（メタデータ） (2021-11-22T08:49:33Z) - Doing Great at Estimating CATE? On the Neglected Assumptions in
Benchmark Comparisons of Treatment Effect Estimators [91.3755431537592]
もっとも単純な設定であっても、無知性仮定に基づく推定は誤解を招く可能性があることを示す。
異種処理効果評価のための機械学習ベンチマークデータセットを2つ検討した。
ベンチマークデータセットの固有の特性が、他のものよりもいくつかのアルゴリズムを好んでいる点を強調します。
論文 参考訳（メタデータ） (2021-07-28T13:21:27Z) - Evaluating representations by the complexity of learning low-loss
predictors [55.94170724668857]
下流タスクの解決に使用されるデータの表現を評価することの問題点を考察する。
本稿では,関心のあるタスクにおける低損失を実現する表現の上に,予測器を学習する複雑性によって表現の質を測定することを提案する。
論文 参考訳（メタデータ） (2020-09-15T22:06:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。