論文の概要: Scalable and Ethical Insider Threat Detection through Data Synthesis and Analysis by LLMs
- arxiv url: http://arxiv.org/abs/2502.07045v1
- Date: Mon, 10 Feb 2025 21:27:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-12 14:10:57.652572
- Title: Scalable and Ethical Insider Threat Detection through Data Synthesis and Analysis by LLMs
- Title（参考訳）: LLMによるデータ合成と解析によるスケーラブルで倫理的な内部脅威検出
- Authors: Haywood Gelman, John D. Hastings,
- Abstract要約: 本研究では,大規模言語モデル(LLM)によるインサイダー脅威感情の分析と検出の可能性について検討する。
LLMによる感情スコアの比較分析は、専門家の人間のスコアと比較する。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Insider threats wield an outsized influence on organizations, disproportionate to their small numbers. This is due to the internal access insiders have to systems, information, and infrastructure. %One example of this influence is where anonymous respondents submit web-based job search site reviews, an insider threat risk to organizations. Signals for such risks may be found in anonymous submissions to public web-based job search site reviews. This research studies the potential for large language models (LLMs) to analyze and detect insider threat sentiment within job site reviews. Addressing ethical data collection concerns, this research utilizes synthetic data generation using LLMs alongside existing job review datasets. A comparative analysis of sentiment scores generated by LLMs is benchmarked against expert human scoring. Findings reveal that LLMs demonstrate alignment with human evaluations in most cases, thus effectively identifying nuanced indicators of threat sentiment. The performance is lower on human-generated data than synthetic data, suggesting areas for improvement in evaluating real-world data. Text diversity analysis found differences between human-generated and LLM-generated datasets, with synthetic data exhibiting somewhat lower diversity. Overall, the results demonstrate the applicability of LLMs to insider threat detection, and a scalable solution for insider sentiment testing by overcoming ethical and logistical barriers tied to data acquisition.
- Abstract（参考訳）: インサイダーの脅威は、少数派に不満を抱きながら、組織に大きな影響力を及ぼした。
これは、内部のインサイダーがシステム、情報、インフラにアクセスできるためである。
この影響の例として、匿名の回答者がウェブベースの求人サイトレビューを提出することがある。
このようなリスクの兆候は、公開ウェブベースの求人サイトレビューへの匿名の提出で見られる。
本研究は,大規模言語モデル(LLM)が,求職サイトレビューにおけるインサイダー脅威感情を分析し,検出する可能性について検討する。
本研究は、倫理的データ収集に関する問題に対処するため、既存のジョブレビューデータセットとともにLLMを用いた合成データ生成を利用する。
LLMによる感情スコアの比較分析は、専門家の人間のスコアと比較する。
LLMは、ほとんどの場合、人間の評価と一致しており、脅威感情のニュアンスな指標を効果的に特定する。
人工データよりも人為的なデータの方が性能が低いため、実世界のデータを評価するための改善領域が示唆される。
テキストの多様性分析により、人間の生成したデータセットとLLM生成したデータセットの違いが判明した。
全体として、LSMがインサイダー脅威検出に適用可能であることを示すとともに、データ取得に関連する倫理的・論理的障壁を克服することで、インサイダー感情テストのスケーラブルなソリューションを提供する。
関連論文リスト
- The Decoy Dilemma in Online Medical Information Evaluation: A Comparative Study of Credibility Assessments by LLM and Human Judges [4.65004369765875]
大規模言語モデル(LLM)がどの程度「合理的に」振舞うかは明らかになっていない。
LLMエージェントに埋め込まれた認知バイアスのリスクを実証的に確認した。
AIエージェントのデバイアスの複雑さと重要性を強調します。
論文 参考訳（メタデータ） (2024-11-23T00:43:27Z) - Beyond the Safety Bundle: Auditing the Helpful and Harmless Dataset [4.522849055040843]
この研究は、Helpful and Harmless データセットを Anthropic で監査した。
本研究は,大規模言語モデルにおける安全性軽減のための,よりニュアンスで文脈に敏感なアプローチの必要性を浮き彫りにした。
論文 参考訳（メタデータ） (2024-11-12T23:43:20Z) - The LLM Effect: Are Humans Truly Using LLMs, or Are They Being Influenced By Them Instead? [60.01746782465275]
大規模言語モデル(LLM)は、様々な分析タスクにおいて、人間のパフォーマンスに近い能力を示している。
本稿では,Human-LLMパートナーシップに着目した構造化ユーザスタディにより,特殊作業におけるLLMの効率と精度について検討する。
論文 参考訳（メタデータ） (2024-10-07T02:30:18Z) - LLM-PBE: Assessing Data Privacy in Large Language Models [111.58198436835036]
大規模言語モデル(LLM)は多くのドメインに不可欠なものとなり、データ管理、マイニング、分析におけるアプリケーションを大幅に進歩させた。
この問題の批判的な性質にもかかわらず、LLMにおけるデータプライバシのリスクを総合的に評価する文献は存在しない。
本稿では,LLMにおけるデータプライバシリスクの体系的評価を目的としたツールキットであるLLM-PBEを紹介する。
論文 参考訳（メタデータ） (2024-08-23T01:37:29Z) - Data-Centric AI in the Age of Large Language Models [51.20451986068925]
本稿では,大規模言語モデル(LLM)に着目した,AI研究におけるデータ中心の視点を提案する。
本研究では,LLMの発達段階(事前学習や微調整など)や推論段階(文脈内学習など)において,データが有効であることを示す。
データを中心とした4つのシナリオを特定し、データ中心のベンチマークとデータキュレーション、データ属性、知識伝達、推論コンテキスト化をカバーします。
論文 参考訳（メタデータ） (2024-06-20T16:34:07Z) - Unveiling the Achilles' Heel of NLG Evaluators: A Unified Adversarial Framework Driven by Large Language Models [52.368110271614285]
我々は,NLG評価器に対する新しいブラックボックス対逆フレームワークであるAdvEvalを紹介する。
AdvEvalは、人間と被害者の評価者との強い意見の相違をもたらすデータを生成するために特別に調整されている。
我々は,12名の被害者評価者と11名のNLGデータセットを用いて,対話,要約,質問評価などのタスクを分散した実験を行った。
論文 参考訳（メタデータ） (2024-05-23T14:48:15Z) - The Human Factor in Detecting Errors of Large Language Models: A Systematic Literature Review and Future Research Directions [0.0]
2022年11月、OpenAIによるChatGPTのローンチは人工知能の重要な瞬間となった。
大規模言語モデル (LLM) は、様々な領域で顕著な会話能力を示す。
これらのモデルは「幻覚」や省略といった誤りに影響を受けやすく、誤った情報や不完全な情報を生成する。
論文 参考訳（メタデータ） (2024-03-13T21:39:39Z) - Bring Your Own Data! Self-Supervised Evaluation for Large Language
Models [52.15056231665816]
大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。
閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。
自己監督評価と人監督評価との間には強い相関関係が認められた。
論文 参考訳（メタデータ） (2023-06-23T17:59:09Z) - Leveraging Domain Knowledge for Inclusive and Bias-aware Humanitarian
Response Entry Classification [3.824858358548714]
我々は人道的データ分析のための効果的かつ倫理的なシステムの提供を目指している。
人道分析フレームワークに適応した新しいアーキテクチャを導入する。
我々はまた、測定とバイアスの体系的な方法を提案する。
論文 参考訳（メタデータ） (2023-05-26T09:15:05Z) - Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。
26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
論文 参考訳（メタデータ） (2023-05-24T10:45:25Z) - Local Intrinsic Dimensionality Signals Adversarial Perturbations [28.328973408891834]
局所次元(Local dimensionality, LID)は、各データポイントを記述するのに必要な潜伏変数の最小数を記述する局所計量である。
本稿では、摂動データポイントのLID値に対する下界と上界を導出し、特に下界は摂動の大きさと正の相関を持つことを示す。
論文 参考訳（メタデータ） (2021-09-24T08:29:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。