論文の概要: Man versus Machine: AutoML and Human Experts' Role in Phishing Detection
- arxiv url: http://arxiv.org/abs/2108.12193v1
- Date: Fri, 27 Aug 2021 09:26:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-30 14:03:55.186142
- Title: Man versus Machine: AutoML and Human Experts' Role in Phishing Detection
- Title（参考訳）: 人間対機械:オートMLと人間専門家のフィッシング検出における役割
- Authors: Rizka Purwanto, Arindam Pal, Alan Blair, Sanjay Jha
- Abstract要約: 本稿では,10種類のフィッシングデータセット上での6つの最先端AutoMLフレームワークのパフォーマンスを比較した。
以上の結果から,AutoMLベースのモデルでは,複雑な分類タスクにおいて,手作業で開発した機械学習モデルよりも優れていることが示唆された。
- 参考スコア（独自算出の注目度）: 4.124446337711138
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning (ML) has developed rapidly in the past few years and has
successfully been utilized for a broad range of tasks, including phishing
detection. However, building an effective ML-based detection system is not a
trivial task, and requires data scientists with knowledge of the relevant
domain. Automated Machine Learning (AutoML) frameworks have received a lot of
attention in recent years, enabling non-ML experts in building a machine
learning model. This brings to an intriguing question of whether AutoML can
outperform the results achieved by human data scientists. Our paper compares
the performances of six well-known, state-of-the-art AutoML frameworks on ten
different phishing datasets to see whether AutoML-based models can outperform
manually crafted machine learning models. Our results indicate that
AutoML-based models are able to outperform manually developed machine learning
models in complex classification tasks, specifically in datasets where the
features are not quite discriminative, and datasets with overlapping classes or
relatively high degrees of non-linearity. Challenges also remain in building a
real-world phishing detection system using AutoML frameworks due to the current
support only on supervised classification problems, leading to the need for
labeled data, and the inability to update the AutoML-based models
incrementally. This indicates that experts with knowledge in the domain of
phishing and cybersecurity are still essential in the loop of the phishing
detection pipeline.
- Abstract（参考訳）: 機械学習(ML)はここ数年で急速に発展し、フィッシング検出など幅広いタスクに利用されてきた。
しかし、効果的なMLベースの検出システムを構築することは簡単な作業ではなく、関連するドメインに関する知識を持つデータサイエンティストを必要とする。
近年、Automated Machine Learning (AutoML)フレームワークは注目を集めており、機械学習モデルを構築する上で、非MLの専門家が利用できるようになっている。
これは、automlが人間のデータサイエンティストが達成した結果を上回ることができるかどうかという興味深い疑問をもたらす。
本稿では,10種類のフィッシングデータセットにおける6つの最先端オートmlフレームワークのパフォーマンスを比較し,自動mlベースのモデルが手作業による機械学習モデルを上回るかどうかを検証した。
以上の結果から,automlベースのモデルは,複雑な分類タスクにおいて,特に特徴が判別的でないデータセットや重複したクラスや相対的に高次な非線形性を持つデータセットにおいて,手作業で開発した機械学習モデルよりも優れることが示された。
また、教師付き分類問題のみをサポートしているため、ラベル付きデータの必要性、AutoMLベースのモデルを漸進的に更新できないため、AutoMLフレームワークを使用した実際のフィッシング検出システムの構築にも課題が残っている。
これは、フィッシング検出パイプラインのループにおいて、フィッシングとサイバーセキュリティに関する知識を持つ専門家が依然として不可欠であることを示している。
関連論文リスト
- AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。
近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。
本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
論文 参考訳（メタデータ） (2024-10-03T20:01:09Z) - Position: A Call to Action for a Human-Centered AutoML Paradigm [83.78883610871867]
自動機械学習(AutoML)は、機械学習(ML)を自動かつ効率的に構成する基本的目的を中心に形成された。
AutoMLの完全な可能性を解き放つ鍵は、現在探索されていないAutoMLシステムとのユーザインタラクションの側面に対処することにある、と私たちは主張する。
論文 参考訳（メタデータ） (2024-06-05T15:05:24Z) - The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
大規模言語モデル(LLM)はAIの進歩の基礎となっている。
LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。
機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
論文 参考訳（メタデータ） (2024-03-23T09:26:15Z) - The Devil is in the Errors: Leveraging Large Language Models for
Fine-grained Machine Translation Evaluation [93.01964988474755]
AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。
テキスト内学習と微調整によるラベル付きデータの影響について検討する。
次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
論文 参考訳（メタデータ） (2023-08-14T17:17:21Z) - Assessing the Use of AutoML for Data-Driven Software Engineering [10.40771687966477]
AutoMLは、エンドツーエンドのAI/MLパイプラインの構築を自動化することを約束する。
関心の高まりと高い期待にもかかわらず、AutoMLが現在採用されている範囲に関する情報が不足している。
論文 参考訳（メタデータ） (2023-07-20T11:14:24Z) - Benchmarking Automated Machine Learning Methods for Price Forecasting
Applications [58.720142291102135]
自動機械学習(AutoML)ソリューションで手作業で作成したMLパイプラインを置換する可能性を示す。
CRISP-DMプロセスに基づいて,手動MLパイプラインを機械学習と非機械学習に分割した。
本稿では、価格予測の産業利用事例として、ドメイン知識とAutoMLを組み合わせることで、ML専門家への依存が弱まることを示す。
論文 参考訳（メタデータ） (2023-04-28T10:27:38Z) - Automatic Componentwise Boosting: An Interpretable AutoML System [1.1709030738577393]
本稿では,高度にスケーラブルなコンポーネントワイドブースティングアルゴリズムを用いて適用可能な,解釈可能な付加モデルを構築するAutoMLシステムを提案する。
我々のシステムは、部分的な効果やペアの相互作用を可視化するなど、簡単なモデル解釈のためのツールを提供する。
解釈可能なモデル空間に制限があるにもかかわらず、我々のシステムは、ほとんどのデータセットにおける予測性能の点で競争力がある。
論文 参考訳（メタデータ） (2021-09-12T18:34:33Z) - Automated Machine Learning Techniques for Data Streams [91.3755431537592]
本稿では、最先端のオープンソースAutoMLツールを調査し、ストリームから収集したデータに適用し、時間とともにパフォーマンスがどのように変化するかを測定する。
この結果から,既製のAutoMLツールで十分な結果が得られることが示されたが,概念ドリフトや検出,適応といった手法が適用されれば,予測精度を時間とともに維持することが可能になる。
論文 参考訳（メタデータ） (2021-06-14T11:42:46Z) - Interpret-able feedback for AutoML systems [5.5524559605452595]
自動機械学習(AutoML)システムは、非ML専門家のための機械学習(ML)モデルのトレーニングを可能にすることを目的としている。
これらのシステムの欠点は、高い精度でモデルの生成に失敗した場合、モデルを改善するためのパスがないことである。
AutoML用の解釈可能なデータフィードバックソリューションを紹介します。
論文 参考訳（メタデータ） (2021-02-22T18:54:26Z) - AutoML to Date and Beyond: Challenges and Opportunities [30.60364966752454]
AutoMLツールは、機械学習を非機械学習の専門家が利用できるようにすることを目的としている。
本稿では,AutoMLシステムのための新しい分類システムを提案する。
エンド・ツー・エンドの機械学習パイプラインのさらなる自動化に必要な研究を指摘して、将来のロードマップを策定しました。
論文 参考訳（メタデータ） (2020-10-21T06:08:21Z) - Evolution of Scikit-Learn Pipelines with Dynamic Structured Grammatical
Evolution [1.5224436211478214]
本稿では、動的構造文法進化(DSGE)をScikit-Learn分類パイプラインの進化に適応させる新しい文法ベースのフレームワークについて述べる。
実験結果は、AutoML-DSGEを他の文法ベースのAutoMLフレームワークであるResilient ClassificationPipeline Evolution (RECIPE)と比較することを含む。
論文 参考訳（メタデータ） (2020-04-01T09:31:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。