論文の概要: Man versus Machine: AutoML and Human Experts' Role in Phishing Detection
- arxiv url: http://arxiv.org/abs/2108.12193v1
- Date: Fri, 27 Aug 2021 09:26:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-30 14:03:55.186142
- Title: Man versus Machine: AutoML and Human Experts' Role in Phishing Detection
- Title(参考訳): 人間対機械:オートMLと人間専門家のフィッシング検出における役割
- Authors: Rizka Purwanto, Arindam Pal, Alan Blair, Sanjay Jha
- Abstract要約: 本稿では,10種類のフィッシングデータセット上での6つの最先端AutoMLフレームワークのパフォーマンスを比較した。
以上の結果から,AutoMLベースのモデルでは,複雑な分類タスクにおいて,手作業で開発した機械学習モデルよりも優れていることが示唆された。
- 参考スコア(独自算出の注目度): 4.124446337711138
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning (ML) has developed rapidly in the past few years and has
successfully been utilized for a broad range of tasks, including phishing
detection. However, building an effective ML-based detection system is not a
trivial task, and requires data scientists with knowledge of the relevant
domain. Automated Machine Learning (AutoML) frameworks have received a lot of
attention in recent years, enabling non-ML experts in building a machine
learning model. This brings to an intriguing question of whether AutoML can
outperform the results achieved by human data scientists. Our paper compares
the performances of six well-known, state-of-the-art AutoML frameworks on ten
different phishing datasets to see whether AutoML-based models can outperform
manually crafted machine learning models. Our results indicate that
AutoML-based models are able to outperform manually developed machine learning
models in complex classification tasks, specifically in datasets where the
features are not quite discriminative, and datasets with overlapping classes or
relatively high degrees of non-linearity. Challenges also remain in building a
real-world phishing detection system using AutoML frameworks due to the current
support only on supervised classification problems, leading to the need for
labeled data, and the inability to update the AutoML-based models
incrementally. This indicates that experts with knowledge in the domain of
phishing and cybersecurity are still essential in the loop of the phishing
detection pipeline.
- Abstract(参考訳): 機械学習(ML)はここ数年で急速に発展し、フィッシング検出など幅広いタスクに利用されてきた。
しかし、効果的なMLベースの検出システムを構築することは簡単な作業ではなく、関連するドメインに関する知識を持つデータサイエンティストを必要とする。
近年、Automated Machine Learning (AutoML)フレームワークは注目を集めており、機械学習モデルを構築する上で、非MLの専門家が利用できるようになっている。
これは、automlが人間のデータサイエンティストが達成した結果を上回ることができるかどうかという興味深い疑問をもたらす。
本稿では,10種類のフィッシングデータセットにおける6つの最先端オートmlフレームワークのパフォーマンスを比較し,自動mlベースのモデルが手作業による機械学習モデルを上回るかどうかを検証した。
以上の結果から,automlベースのモデルは,複雑な分類タスクにおいて,特に特徴が判別的でないデータセットや重複したクラスや相対的に高次な非線形性を持つデータセットにおいて,手作業で開発した機械学習モデルよりも優れることが示された。
また、教師付き分類問題のみをサポートしているため、ラベル付きデータの必要性、AutoMLベースのモデルを漸進的に更新できないため、AutoMLフレームワークを使用した実際のフィッシング検出システムの構築にも課題が残っている。
これは、フィッシング検出パイプラインのループにおいて、フィッシングとサイバーセキュリティに関する知識を持つ専門家が依然として不可欠であることを示している。
関連論文リスト
- The Devil is in the Errors: Leveraging Large Language Models for
Fine-grained Machine Translation Evaluation [93.01964988474755]
AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。
テキスト内学習と微調整によるラベル付きデータの影響について検討する。
次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
論文 参考訳(メタデータ) (2023-08-14T17:17:21Z) - Assessing the Use of AutoML for Data-Driven Software Engineering [10.40771687966477]
AutoMLは、エンドツーエンドのAI/MLパイプラインの構築を自動化することを約束する。
関心の高まりと高い期待にもかかわらず、AutoMLが現在採用されている範囲に関する情報が不足している。
論文 参考訳(メタデータ) (2023-07-20T11:14:24Z) - Benchmarking Automated Machine Learning Methods for Price Forecasting
Applications [58.720142291102135]
自動機械学習(AutoML)ソリューションで手作業で作成したMLパイプラインを置換する可能性を示す。
CRISP-DMプロセスに基づいて,手動MLパイプラインを機械学習と非機械学習に分割した。
本稿では、価格予測の産業利用事例として、ドメイン知識とAutoMLを組み合わせることで、ML専門家への依存が弱まることを示す。
論文 参考訳(メタデータ) (2023-04-28T10:27:38Z) - OmniForce: On Human-Centered, Large Model Empowered and Cloud-Edge
Collaborative AutoML System [85.8338446357469]
我々は人間中心のAutoMLシステムであるOmniForceを紹介した。
我々は、OmniForceがAutoMLシステムを実践し、オープン環境シナリオにおける適応型AIを構築する方法について説明する。
論文 参考訳(メタデータ) (2023-03-01T13:35:22Z) - Automatic Componentwise Boosting: An Interpretable AutoML System [1.1709030738577393]
本稿では,高度にスケーラブルなコンポーネントワイドブースティングアルゴリズムを用いて適用可能な,解釈可能な付加モデルを構築するAutoMLシステムを提案する。
我々のシステムは、部分的な効果やペアの相互作用を可視化するなど、簡単なモデル解釈のためのツールを提供する。
解釈可能なモデル空間に制限があるにもかかわらず、我々のシステムは、ほとんどのデータセットにおける予測性能の点で競争力がある。
論文 参考訳(メタデータ) (2021-09-12T18:34:33Z) - Detecting Faults during Automatic Screwdriving: A Dataset and Use Case
of Anomaly Detection for Automatic Screwdriving [80.6725125503521]
障害検出に機械学習(ML)を使用したデータ駆動型アプローチが最近注目されている。
本稿では,自動スクリュー運転時の故障検出にMLモデルを用いた場合について述べる。
論文 参考訳(メタデータ) (2021-07-05T11:46:00Z) - Automated Machine Learning Techniques for Data Streams [91.3755431537592]
本稿では、最先端のオープンソースAutoMLツールを調査し、ストリームから収集したデータに適用し、時間とともにパフォーマンスがどのように変化するかを測定する。
この結果から,既製のAutoMLツールで十分な結果が得られることが示されたが,概念ドリフトや検出,適応といった手法が適用されれば,予測精度を時間とともに維持することが可能になる。
論文 参考訳(メタデータ) (2021-06-14T11:42:46Z) - Interpret-able feedback for AutoML systems [5.5524559605452595]
自動機械学習(AutoML)システムは、非ML専門家のための機械学習(ML)モデルのトレーニングを可能にすることを目的としている。
これらのシステムの欠点は、高い精度でモデルの生成に失敗した場合、モデルを改善するためのパスがないことである。
AutoML用の解釈可能なデータフィードバックソリューションを紹介します。
論文 参考訳(メタデータ) (2021-02-22T18:54:26Z) - AutoML to Date and Beyond: Challenges and Opportunities [30.60364966752454]
AutoMLツールは、機械学習を非機械学習の専門家が利用できるようにすることを目的としている。
本稿では,AutoMLシステムのための新しい分類システムを提案する。
エンド・ツー・エンドの機械学習パイプラインのさらなる自動化に必要な研究を指摘して、将来のロードマップを策定しました。
論文 参考訳(メタデータ) (2020-10-21T06:08:21Z) - Transfer Learning without Knowing: Reprogramming Black-box Machine
Learning Models with Scarce Data and Limited Resources [78.72922528736011]
そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。
ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。
BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
論文 参考訳(メタデータ) (2020-07-17T01:52:34Z) - Evolution of Scikit-Learn Pipelines with Dynamic Structured Grammatical
Evolution [1.5224436211478214]
本稿では、動的構造文法進化(DSGE)をScikit-Learn分類パイプラインの進化に適応させる新しい文法ベースのフレームワークについて述べる。
実験結果は、AutoML-DSGEを他の文法ベースのAutoMLフレームワークであるResilient ClassificationPipeline Evolution (RECIPE)と比較することを含む。
論文 参考訳(メタデータ) (2020-04-01T09:31:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。