論文の概要: A Framework for Using and Evaluating LLMs as Surrogate Experts in Security Surveys: Reliability, Bias, and Implications

• arxiv url: http://arxiv.org/abs/2608.16893v1
• Date: Mon, 06 Jul 2026 15:26:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.241714
• Title: A Framework for Using and Evaluating LLMs as Surrogate Experts in Security Surveys: Reliability, Bias, and Implications
• Title（参考訳）: セキュリティ調査におけるLLMのサロゲートエキスパートとしての活用と評価のためのフレームワーク:信頼性,バイアス,含意
• Abstract要約: 大規模言語モデル(LLM)は、大規模に合成応答を生成するが、そのようなサロゲート参加者が信頼できる場合のガイダンスはほとんどない。 本研究は, LLMによる調査回答の適切な利用と限界について, セキュリティ研究コミュニティに方法論的証拠と実践的ガイダンスを提供する。
• 参考スコア（独自算出の注目度）: 12.42324011562299
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Expert surveys are widely used in security research to study practitioner workows and decision-making, yet recruiting domain experts - especially in Security Operations Centres (SOCs), where analysts face high workload, burnout and confidentiality constraints - is difficult and often results in small samples. Large language models (LLMs) oer an appealing alternative by generating synthetic responses at scale, but little guidance exists on when such surrogate participants are reliable. We present a methodological framework for evaluating LLMs as substitutes or supplements to expert survey respondents. Using responses from SOC professionals, we compare persona-based and aggregate LLM-generated answers across multiple models and prompting settings. We measure stability, inter-model agreement and alignment with human responses. Our results show that although LLMs produce internally consistent answers, they systematically diverge from experts, exhibiting reduced variance, central tendency bias and homogenised opinions. This work contributes methodological evidence and practical guidance to the security research community on the appropriate use and limitations of LLM-generated survey responses. We conclude that LLMs are useful for piloting and hypothesis generation but not for replacing expert elicitation, and we discuss implications for researchers using LLM-augmented surveys.
• Abstract（参考訳）: 専門家による調査は、専門家の作業場や意思決定を研究するために広く利用されているが、特にSOC(Security Operations Centres)では、アナリストが高い作業負荷、バーンアウト、機密性の制約に直面しているため、多くの場合、小さなサンプルが生成される。 大規模言語モデル(LLM)は、大規模に合成応答を生成することで、魅力的な代替手段となるが、そのようなサロゲート参加者が信頼できる場合のガイダンスはほとんどない。 本研究では, LLMを代替品や補充品として評価するための方法論的枠組みを, 専門家調査の回答者に提示する。 SOCの専門家からの回答を用いて、複数のモデルにまたがってペルソナをベースとし、LCM生成した回答を集約し、設定を促す。 我々は、安定性、モデル間合意、および人間の反応との整合性を測定する。 その結果, LLMは内部的に一貫した回答を得られるが, 専門家から体系的に分岐し, ばらつきの低減, 中心傾向バイアス, 均質な意見が得られた。 本研究は, LLMによる調査回答の適切な利用と限界について, セキュリティ研究コミュニティに方法論的証拠と実践的ガイダンスを提供する。 LLMはパイロットや仮説生成に有用であるが,専門家の勧誘に取って代わるものではない。

関連論文リスト

• SelfAI: Building a Self-Training AI System with LLM Agents [79.10991818561907]
  SelfAIは、高レベルの研究目的を標準化された実験構成に変換するためのUser Agentを組み合わせた、一般的なマルチエージェントプラットフォームである。 実験マネージャは、連続的なフィードバックのための構造化知識ベースを維持しながら、異種ハードウェアをまたいだ並列かつフォールトトレラントなトレーニングを編成する。 回帰、コンピュータビジョン、科学計算、医用画像、薬物発見ベンチマークなどを通じて、SelfAIは一貫して高いパフォーマンスを達成し、冗長な試行を減らしている。
  論文  参考訳（メタデータ） (2025-11-29T09:18:39Z)
• LLM-REVal: Can We Trust LLM Reviewers Yet? [70.58742663985652]
  大規模言語モデル(LLM)は研究者に、学術的なワークフローに広く組み込むよう刺激を与えている。 本研究は、LLMのピアレビューと研究プロセスへの深い統合が学術的公正性にどのように影響するかに焦点を当てる。
  論文  参考訳（メタデータ） (2025-10-14T10:30:20Z)
• LLM-Specific Utility: A New Perspective for Retrieval-Augmented Generation [110.610512800947]
  Retrieval-augmented Generation (RAG)は、外部知識を取り入れた大規模言語モデル(LLM)を強化する。 既存の研究はしばしばユーティリティをジェネリック属性として扱い、異なるLLMが同じ通路から異なる利益をもたらすという事実を無視している。
  論文  参考訳（メタデータ） (2025-10-13T12:57:45Z)
• AIn't Nothing But a Survey? Using Large Language Models for Coding German Open-Ended Survey Responses on Survey Motivation [0.8437187555622164]
  本研究は,他の文脈におけるオープンエンドサーベイ応答の符号化に,LLMがどの程度の精度で利用できるかを検討する。 我々は、最先端のLLMといくつかのプロンプトアプローチを比較し、人間の専門家による符号化を用いてLLMの性能を評価する。 本研究は, LLMを効率的に, 正確に, 確実に活用できる環境研究の進展に寄与する。
  論文  参考訳（メタデータ） (2025-06-17T15:28:53Z)
• A Survey on LLM-as-a-Judge [30.43454909367111]
  大規模言語モデル(LLM)は、様々な領域で大きな成功を収めています。 LLMは、従来の専門家主導の評価に代わる魅力的な代替手段である。 LLM-as-a-Judgeシステムはどうやって構築できるのか?
  論文  参考訳（メタデータ） (2024-11-23T16:03:35Z)
• The LLM Effect: Are Humans Truly Using LLMs, or Are They Being Influenced By Them Instead? [60.01746782465275]
  大規模言語モデル(LLM)は、様々な分析タスクにおいて、人間のパフォーマンスに近い能力を示している。 本稿では,Human-LLMパートナーシップに着目した構造化ユーザスタディにより,特殊作業におけるLLMの効率と精度について検討する。
  論文  参考訳（メタデータ） (2024-10-07T02:30:18Z)
• Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge [84.34545223897578]
  多くの領域で優れているにもかかわらず、潜在的な問題は未解決のままであり、その信頼性と実用性の範囲を損なう。 提案手法は, LLM-as-a-Judgeにおける各種類のバイアスを定量化し, 解析する自動バイアス定量化フレームワークである。 当社の作業は、これらの問題に対処するステークホルダの必要性を強調し、LLM-as-a-Judgeアプリケーションで注意を喚起します。
  論文  参考訳（メタデータ） (2024-10-03T17:53:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。