論文の概要: To Ensemble or Not: Assessing Majority Voting Strategies for Phishing Detection with Large Language Models

• arxiv url: http://arxiv.org/abs/2412.00166v1
• Date: Fri, 29 Nov 2024 14:42:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:50:46.500066
• Title: To Ensemble or Not: Assessing Majority Voting Strategies for Phishing Detection with Large Language Models
• Title（参考訳）: 集合するか否か:大規模言語モデルを用いたフィッシング検出のための主要投票戦略の評価
• Authors: Fouad Trad, Ali Chehab,
• Abstract要約: 本研究は、フィッシングURLの検出に焦点をあてて、テキスト分類における3つの多数決戦略について検討する。 戦略はプロンプトベースのアンサンブル、モデルベースのアンサンブル、ハイブリッドアンサンブルである。 分析の結果,個々のコンポーネントが同等の性能を示す場合に,アンサンブル戦略が最も適していることがわかった。
• 参考スコア（独自算出の注目度）: 2.8161155726745237
• License:
• Abstract: The effectiveness of Large Language Models (LLMs) significantly relies on the quality of the prompts they receive. However, even when processing identical prompts, LLMs can yield varying outcomes due to differences in their training processes. To leverage the collective intelligence of multiple LLMs and enhance their performance, this study investigates three majority voting strategies for text classification, focusing on phishing URL detection. The strategies are: (1) a prompt-based ensemble, which utilizes majority voting across the responses generated by a single LLM to various prompts; (2) a model-based ensemble, which entails aggregating responses from multiple LLMs to a single prompt; and (3) a hybrid ensemble, which combines the two methods by sending different prompts to multiple LLMs and then aggregating their responses. Our analysis shows that ensemble strategies are most suited in cases where individual components exhibit equivalent performance levels. However, when there is a significant discrepancy in individual performance, the effectiveness of the ensemble method may not exceed that of the highest-performing single LLM or prompt. In such instances, opting for ensemble techniques is not recommended.
• Abstract（参考訳）: LLM(Large Language Models)の有効性は、受信したプロンプトの品質に大きく依存する。 しかし、同一のプロンプトを処理しても、LLMはトレーニングプロセスの違いによって異なる結果が得られる。 本研究は,複数のLLMの集合的知性を活用し,その性能を向上させるために,フィッシングURL検出に着目し,テキスト分類のための3つの多数投票戦略について検討する。 戦略は,(1)1つのLDMが生成した反応に対する多数投票を利用するプロンプトベースのアンサンブル,(2)複数のLSMから1つのプロンプトへの応答を集約するモデルベースのアンサンブル,(3)異なるプロンプトを複数のLSMに送信し,それらの応答を集約するハイブリッドアンサンブルである。 分析の結果,個々のコンポーネントが同等の性能を示す場合に,アンサンブル戦略が最も適していることがわかった。 しかし、個々の性能に大きな差がある場合、アンサンブル法の有効性は最高性能の単一LDMやプロンプトを超えない可能性がある。 このような場合、アンサンブルテクニックのオプトアウトは推奨されない。

関連論文リスト

• Don't Just Demo, Teach Me the Principles: A Principle-Based Multi-Agent Prompting Strategy for Text Classification [4.811763060654019]
  本稿では,テキスト分類のための簡易かつ効果的なマルチエージェントプロンプトであるPRINCIPLE-BASED PROMPINGを提案する。 提案手法はマクロF1スコアでのゼロショットプロンプトよりも大きなパフォーマンス向上(1.55%から19.37%)を達成する。 我々のマルチエージェント PRINCIPLE-BASED PROMPING アプローチは、実演ベースの少数ショットプロンプトアプローチと比較して、オンパーまたはより良いパフォーマンスを示す。
  論文  参考訳（メタデータ） (2025-02-11T01:10:13Z)
• DFPE: A Diverse Fingerprint Ensemble for Enhancing LLM Performance [11.753349115726952]
  そこで我々は,新しいアンサンブル法であるDiverse Fingerprint Ensemble (DFPE)を提案する。 提案手法は,(1)応答型"フィンガープリント"パターンに基づくクラスタリングモデル,(2)量子化に基づくフィルタリング機構の適用,(3)残余モデルに適応重みを割り当てることである。 MMLU(Massive Multitask Language Understanding)ベンチマークの実験では、DFPEは、全体的な精度が3%、規律レベルの精度が5%向上し、最高のシングルモデルを上回った。
  論文  参考訳（メタデータ） (2025-01-29T08:44:45Z)
• Multi-LLM Text Summarization [58.74987409988719]
  本稿では,マルチLLM要約フレームワークを提案し,集中化と分散化を含む2つの異なるマルチLLM戦略について検討する。 当社のフレームワークは,各会話のラウンドにおいて,生成と評価という,基本的に重要なステップを2つ備えています。 我々のマルチLLM要約アプローチは, 1 つの LLM のみを最大 3 倍まで活用するベースラインを著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-12-20T01:55:26Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• SelectLLM: Query-Aware Efficient Selection Algorithm for Large Language Models [8.558834738072363]
  大規模言語モデル(LLM)は、様々なアプリケーションで顕著なパフォーマンスのために広く採用されている。 これらの個々のLCMは、固有のトレーニングバイアス、モデルサイズ制約、トレーニング前のデータセットの品質や多様性による、複雑なタスクの一般化とパフォーマンスの制限を示す。 本稿では,入力クエリをLLMの最も適切なサブセットに効率的に誘導するSelectLLMを紹介する。
  論文  参考訳（メタデータ） (2024-08-16T06:11:21Z)
• Large Language Models Know What Makes Exemplary Contexts [42.90814615222177]
  In-context Learning (ICL) は、Large Language Model (LLM) の発展において重要な機能であることが証明されている。 本稿では,LLMのための統合フレームワークを提案する。このフレームワークにより,影響力のあるインコンテキストのサンプルを自己選択してコンテキストを構成することができる。
  論文  参考訳（メタデータ） (2024-08-14T12:32:41Z)
• MAPO: Boosting Large Language Model Performance with Model-Adaptive Prompt Optimization [73.7779735046424]
  異なるプロンプトを異なるLarge Language Models (LLM) に適応させることで,NLP の様々な下流タスクにまたがる機能の向上が期待できる。 次に、下流タスクにおける各LLMに対して、元のプロンプトを最適化するモデル適応プロンプト(MAPO)手法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:39:59Z)
• Are More LLM Calls All You Need? Towards Scaling Laws of Compound Inference Systems [76.69936664916061]
  LM呼び出し回数がVotteとFilter-Voteのパフォーマンスに与える影響について検討する。 意外なことに、複数の言語タスクにおいて、VoteとFilter-Voteの両方のパフォーマンスは、まず増大するが、LM呼び出しの回数の関数として減少する可能性がある。
  論文  参考訳（メタデータ） (2024-03-04T19:12:48Z)
• Rephrase and Respond: Let Large Language Models Ask Better Questions for Themselves [57.974103113675795]
  本稿では,Rephrase and Respond'(RaR)という手法を提案する。 RaRは、パフォーマンスを改善するためのシンプルだが効果的なプロンプト方法として機能する。 また,RaRは理論的にも経験的にも,一般的なChain-of-Thought(CoT)法と相補的であることを示す。
  論文  参考訳（メタデータ） (2023-11-07T18:43:34Z)
• ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for Document Information Extraction [56.790794611002106]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。 ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。 具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
  論文  参考訳（メタデータ） (2023-03-09T06:24:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。