論文の概要: How Well Can LLM Agents Simulate End-User Security and Privacy Attitudes and Behaviors?

• arxiv url: http://arxiv.org/abs/2602.18464v2
• Date: Tue, 24 Feb 2026 03:18:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-02 07:21:25.587469
• Title: How Well Can LLM Agents Simulate End-User Security and Privacy Attitudes and Behaviors?
• Title（参考訳）: LLMエージェントはエンドユーザのセキュリティとプライバシの態度と振舞いをどの程度シミュレートできるか?
• Authors: Yuxuan Li, Leyang Li, Hao-Ping Lee, Sauvik Das,
• Abstract要約: 大規模言語モデル(LLM)エージェントは、セキュリティやプライバシの脅威に対して人々が態度を定め、振る舞うためのプロキシとして機能すると考えられている。 我々はSP-ABCBenchを用いてシミュレーションと人間オブジェクトのアライメントを0-100の上昇スケールで測定し、高いスコアは3次元(姿勢、行動、コヒーレンス)のアライメントをより良く示す。
• 参考スコア（独自算出の注目度）: 16.757823639964112
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A growing body of research assumes that large language model (LLM) agents can serve as proxies for how people form attitudes toward and behave in response to security and privacy (S&P) threats. If correct, these simulations could offer a scalable way to forecast S&P risks in products prior to deployment. We interrogate this assumption using SP-ABCBench, a new benchmark of 30 tests derived from validated S&P human-subject studies, which measures alignment between simulations and human-subjects studies on a 0-100 ascending scale, where higher scores indicate better alignment across three dimensions: Attitude, Behavior, and Coherence. Evaluating twelve LLMs, four persona construction strategies, and two prompting methods, we found that there remains substantial room for improvement: all models score between 50 and 64 on average. Newer, bigger, and smarter models do not reliably do better and sometimes do worse. Some simulation configurations, however, do yield high alignment: e.g., with scores above 95 for some behavior tests when agents are prompted to apply bounded rationality and weigh privacy costs against perceived benefits. We release SP-ABCBench to enable reproducible evaluation as methods improve.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、セキュリティとプライバシ(S&P)の脅威に対して人々が態度を定め、振る舞うためのプロキシとして機能すると考えられている。 もし正しいなら、これらのシミュレーションは、展開前に製品のS&Pリスクを予測するスケーラブルな方法を提供するだろう。 本研究では,SP-ABCBenchを用いて実験を行った。SP-ABCBenchは,評価されたS&P人体実験から得られた30の試験のベンチマークであり,0-100の上昇スケールにおけるシミュレーションと人体物体のアライメントを測定し,高いスコアは3次元のアライメント,行動,コヒーレンスなどのアライメントを向上させる。 12個のLLM,4つのペルソナ構築戦略,および2つのプロンプト手法を評価した結果,各モデルの平均スコアは50から64である,大幅な改善の余地があることが判明した。 新しい、より大きく、よりスマートなモデルは、確実に改善せず、時には悪化する。 例えば、エージェントが有界な合理性を適用し、認識される利益に対してプライバシーコストを重み付けするように促された場合、いくつかの動作テストで95点以上のスコアが与えられる。 我々はSP-ABCBenchをリリースした。

関連論文リスト

• HumanStudy-Bench: Towards AI Agent Design for Participant Simulation [11.906370453952265]
  大規模言語モデル (LLMs) は、社会科学実験のシミュレーション参加者としてますます使われている。 HUMANSTUDY-BENCHは、LLMベースのエージェントを編成し、人体実験を再構築するベンチマークおよび実行エンジンである。 科学的推論のレベルでの忠実度を評価するために,人間とエージェントの行動がどの程度一致しているかを定量化するための新しい指標を提案する。
  論文  参考訳（メタデータ） (2026-01-31T12:07:42Z)
• SPACeR: Self-Play Anchoring with Centralized Reference Models [50.55045557371374]
  Simエージェントポリシーは、現実的で、人間らしく、高速で、マルチエージェント設定でスケーラブルである。 大規模な拡散モデルやトークン化モデルを用いた模倣学習の最近の進歩は、人間の運転データから直接行動を把握することができることを示している。 本研究では,事前訓練されたトークン化自己回帰運動モデルを利用したSPACeRを提案する。
  論文  参考訳（メタデータ） (2025-10-20T19:53:02Z)
• SimBench: Benchmarking the Ability of Large Language Models to Simulate Human Behaviors [58.87134689752605]
  我々は,LLMシミュレーションの堅牢で再現可能な科学のための,最初の大規模標準ベンチマークであるSimBenchを紹介する。 現在、最高のLLMでさえシミュレーション能力が限られ(スコア: 40.80/100)、性能はモデルサイズと対数的にスケールする。 シミュレーション能力は、深い知識集約的推論と最も強く相関していることを示す。
  論文  参考訳（メタデータ） (2025-10-20T13:14:38Z)
• How can we assess human-agent interactions? Case studies in software agent design [52.953425368394306]
  我々は,人間とエージェントの相互作用の厳密な評価に向けて,二つの大きな一歩を踏み出した。 エージェント設計のより効率的な人間中心評価のためのフレームワークであるPULSEを提案する。 私たちは、オープンソースのソフトウェアエージェントOpenHandsを中心に構築された大規模なWebプラットフォームにフレームワークをデプロイします。
  論文  参考訳（メタデータ） (2025-10-10T19:04:28Z)
• From Static to Dynamic: Adaptive Monte Carlo Search for Mathematical Process Supervision [49.59309446816251]
  既存手法は, 定予算サンプリング戦略に基づいて, 推論ステップの質を推定する。 本稿では,データ生成を静的から適応に変換するフレームワークであるAdaptive Monte Carlo Search (AMCS)を提案する。 AMCSは、より多くのサンプルを不確実な推論ステップに割り当てることによって、予測を適応的に洗練し、予測しやすくする。
  論文  参考訳（メタデータ） (2025-09-29T06:52:35Z)
• Large Language Models Often Know When They Are Being Evaluated [0.015534429177540245]
  そこで本研究では,フロンティア言語モデルを用いて,評価や実世界の展開に起因した書き起こしを正確に分類できるかどうかを検討する。 我々は61の異なるデータセットから1000のプロンプトと書き起こしのベンチマークを構築した。 以上の結果から,フロンティアモデルにはまだ評価・認識レベルがかなり高いことが示唆された。
  論文  参考訳（メタデータ） (2025-05-28T12:03:09Z)
• AegisLLM: Scaling Agentic Systems for Self-Reflective Defense in LLM Security [74.22452069013289]
  AegisLLMは、敵の攻撃や情報漏洩に対する協調的なマルチエージェント防御である。 テスト時のエージェント推論システムのスケーリングは,モデルの有用性を損なうことなく,ロバスト性を大幅に向上させることを示す。 アンラーニングやジェイルブレイクを含む主要な脅威シナリオに対する総合的な評価は、AegisLLMの有効性を示している。
  論文  参考訳（メタデータ） (2025-04-29T17:36:05Z)
• Can LLM Agents Simulate Multi-Turn Human Behavior? Evidence from Real Online Customer Behavior Data [46.65903742010956]
  本研究では,人間の行動を正確にシミュレートする,最先端のLDMの能力の大規模定量的評価を行った。 230,965件のユーザアクションを含む31,865件のオンラインショッピングセッションから得られた実世界データを用いて,プロンプトベースのLCMが人間の行動生成においてわずか11.86%の精度で達成できることを明らかにする。 また, 実クリックスルーデータに対して, モデルの性能を大幅に向上させる手法として, 実クリックスルーデータに対する微調整 LLM の戦略を提示する。
  論文  参考訳（メタデータ） (2025-03-26T17:33:27Z)
• ALI-Agent: Assessing LLMs' Alignment with Human Values via Agent-based Evaluation [48.54271457765236]
  大規模言語モデル(LLM)は、人間の価値観と不一致した場合、意図しない、有害なコンテンツも引き出すことができる。 現在の評価ベンチマークでは、LLMが人的価値とどの程度うまく一致しているかを評価するために、専門家が設計した文脈シナリオが採用されている。 本研究では, LLM エージェントの自律的能力を活用し, 奥行き及び適応的アライメント評価を行う評価フレームワーク ALI-Agent を提案する。
  論文  参考訳（メタデータ） (2024-05-23T02:57:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。