Fugu-MT 論文翻訳(概要): Evaluating the Usability of LLMs in Threat Intelligence Enrichment

論文の概要: Evaluating the Usability of LLMs in Threat Intelligence Enrichment

arxiv url: http://arxiv.org/abs/2409.15072v1
Date: Mon, 23 Sep 2024 14:44:56 GMT
ステータス: 処理完了
システム内更新日: 2024-09-26 14:44:12.206969
Title: Evaluating the Usability of LLMs in Threat Intelligence Enrichment
Title（参考訳）: 脅威知能強化におけるLCMの使用性評価
Authors: Sanchana Srikanth, Mohammad Hasanuzzaman, Farah Tasnur Meem,
Abstract要約: 大規模言語モデル(LLM)は、脅威知能を著しく向上させる可能性がある。しかし、その信頼性、正確性、および不正確な情報を生成する可能性に関する懸念は継続する。本研究では、ChatGPT、Gemini、Cohere、Copilot、Meta AIの5つのLCMの総合的ユーザビリティ評価を行う。
参考スコア（独自算出の注目度）: 0.30723404270319693
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLMs) have the potential to significantly enhance threat intelligence by automating the collection, preprocessing, and analysis of threat data. However, the usability of these tools is critical to ensure their effective adoption by security professionals. Despite the advanced capabilities of LLMs, concerns about their reliability, accuracy, and potential for generating inaccurate information persist. This study conducts a comprehensive usability evaluation of five LLMs ChatGPT, Gemini, Cohere, Copilot, and Meta AI focusing on their user interface design, error handling, learning curve, performance, and integration with existing tools in threat intelligence enrichment. Utilizing a heuristic walkthrough and a user study methodology, we identify key usability issues and offer actionable recommendations for improvement. Our findings aim to bridge the gap between LLM functionality and user experience, thereby promoting more efficient and accurate threat intelligence practices by ensuring these tools are user-friendly and reliable.
Abstract（参考訳）: 大規模言語モデル(LLM)は、脅威データの収集、前処理、分析を自動化することにより、脅威知能を著しく向上させる可能性がある。しかし、これらのツールのユーザビリティは、セキュリティ専門家による効果的な採用を保証するために重要である。 LLMの高度な機能にもかかわらず、信頼性、正確性、不正確な情報を生成する可能性への懸念は持続している。本研究では,ChatGPT,Gemini,Cohere,Copilot,Meta AIの5つのLLMのユーザビリティ評価を行い,ユーザインターフェース設計,エラーハンドリング,学習曲線,パフォーマンス,脅威知能強化のための既存のツールとの統合に着目した。ヒューリスティック・ウォークスルーとユーザ・スタディ・方法論を用いて、重要なユーザビリティの問題を特定し、改善のための実用的なレコメンデーションを提供する。本研究の目的は,LLM機能とユーザエクスペリエンスのギャップを埋めることであり,これらのツールがユーザフレンドリで信頼性の高いものであることを保証することにより,より効率的かつ正確な脅威知能の実践を促進することである。

関連論文リスト

LLM-SmartAudit: Advanced Smart Contract Vulnerability Detection [3.1409266162146467]
本稿では,スマートコントラクトの脆弱性を検出し解析する新しいフレームワークであるLLM-SmartAuditを紹介する。 LLM-SmartAuditは、マルチエージェントの会話アプローチを用いて、監査プロセスを強化するために、特殊なエージェントとの協調システムを採用している。私たちのフレームワークは、従来のツールがこれまで見落としていた複雑なロジックの脆弱性を検出することができます。
論文参考訳（メタデータ） (2024-10-12T06:24:21Z)
From Exploration to Mastery: Enabling LLMs to Master Tools via Self-Driven Interactions [60.733557487886635]
本稿では,大規模言語モデルと外部ツールとの包括的ギャップを埋めることに焦点を当てる。ツール文書の動的精錬を目的とした新しいフレームワーク DRAFT を提案する。複数のデータセットに対する大規模な実験は、DRAFTの反復的なフィードバックベースの改善がドキュメントの品質を大幅に改善することを示している。
論文参考訳（メタデータ） (2024-10-10T17:58:44Z)
Learning to Ask: When LLMs Meet Unclear Instruction [49.256630152684764]
大きな言語モデル(LLM)は、言語スキルだけでは達成不可能なタスクに対処するための外部ツールを活用することができる。我々は、不完全な命令下でのLLMツールの使用性能を評価し、エラーパターンを分析し、Noisy ToolBenchと呼ばれる挑戦的なツール使用ベンチマークを構築した。 Ask-when-Needed (AwN) という新しいフレームワークを提案する。
論文参考訳（メタデータ） (2024-08-31T23:06:12Z)
Outside the Comfort Zone: Analysing LLM Capabilities in Software Vulnerability Detection [9.652886240532741]
本稿では,ソースコードの脆弱性検出における大規模言語モデルの機能について,徹底的に解析する。我々は6つの汎用LCMに対して脆弱性検出を特別に訓練した6つのオープンソースモデルの性能を評価する。
論文参考訳（メタデータ） (2024-08-29T10:00:57Z)
AutoDetect: Towards a Unified Framework for Automated Weakness Detection in Large Language Models [95.09157454599605]
大規模言語モデル(LLM)はますます強力になってきていますが、それでも顕著ですが微妙な弱点があります。従来のベンチマークアプローチでは、特定のモデルの欠陥を徹底的に特定することはできない。さまざまなタスクにまたがるLLMの弱点を自動的に露呈する統合フレームワークであるAutoDetectを導入する。
論文参考訳（メタデータ） (2024-06-24T15:16:45Z)
Harnessing Large Language Models for Software Vulnerability Detection: A Comprehensive Benchmarking Study [1.03590082373586]
ソースコードの脆弱性発見を支援するために,大規模言語モデル(LLM)を提案する。目的は、複数の最先端のLCMをテストし、最も優れたプロンプト戦略を特定することである。 LLMは従来の静的解析ツールよりも多くの問題を特定でき、リコールやF1スコアの点で従来のツールよりも優れています。
論文参考訳（メタデータ） (2024-05-24T14:59:19Z)
Highlighting the Safety Concerns of Deploying LLMs/VLMs in Robotics [54.57914943017522]
本稿では,大規模言語モデル (LLMs) と視覚言語モデル (VLMs) をロボティクスアプリケーションに統合する際のロバスト性と安全性に関する重要な課題を強調する。
論文参考訳（メタデータ） (2024-02-15T22:01:45Z)
Rethinking Machine Unlearning for Large Language Models [85.92660644100582]
大規模言語モデル(LLM)の領域における機械学習の研究このイニシアチブは、望ましくないデータの影響(機密情報や違法情報など)と関連するモデル機能を排除することを目的としている。
論文参考訳（メタデータ） (2024-02-13T20:51:58Z)
LLbezpeky: Leveraging Large Language Models for Vulnerability Detection [10.330063887545398]
大規模言語モデル(LLM)は、人やプログラミング言語におけるセムナティクスを理解する大きな可能性を示している。私たちは、脆弱性の特定と修正を支援するAI駆動ワークフローの構築に重点を置いています。
論文参考訳（メタデータ） (2024-01-02T16:14:30Z)
Understanding the Effectiveness of Large Language Models in Detecting Security Vulnerabilities [12.82645410161464]
5つの異なるセキュリティデータセットから5,000のコードサンプルに対して、16の事前学習された大規模言語モデルの有効性を評価する。全体として、LSMは脆弱性の検出において最も穏やかな効果を示し、データセットの平均精度は62.8%、F1スコアは0.71である。ステップバイステップ分析を含む高度なプロンプト戦略は、F1スコア(平均0.18まで)で実世界のデータセット上でのLLMのパフォーマンスを著しく向上させることがわかった。
論文参考訳（メタデータ） (2023-11-16T13:17:20Z)
MINT: Evaluating LLMs in Multi-turn Interaction with Tools and Language Feedback [78.60644407028022]
我々は,大規模言語モデルのマルチターンインタラクションによる課題解決能力を評価するベンチマークであるMINTを紹介する。 LLMは一般的に、ツールと言語フィードバックの恩恵を受けます。 LLMの評価、教師あり指導ファインタニング(SIFT)、人間からのフィードバックからの強化学習(RLHF)は、一般的にマルチターン能力を損なう。
論文参考訳（メタデータ） (2023-09-19T15:25:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。