論文の概要: Evaluating the Impact of Personalization in Conversational Cybersecurity Assistants

• arxiv url: http://arxiv.org/abs/2609.17839v1
• Date: Tue, 15 Sep 2026 20:57:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.54251
• Title: Evaluating the Impact of Personalization in Conversational Cybersecurity Assistants
• Title（参考訳）: 会話型サイバーセキュリティアシスタントにおけるパーソナライズの影響評価
• Abstract要約: LLMベースのサイバーセキュリティアシスタントに質問された質問に対して、パーソナライズ戦略が回答の有効性を向上させる方法について検討する。 静的なユーザプロファイルからインタラクション履歴に基づくパーソナライズまで,4つのパーソナライズ戦略について検討する。 会話に基づくパーソナライゼーションは、認識された有用性とセキュリティアドバイスに従う可能性の比較評価において一貫して好まれる。
• 参考スコア（独自算出の注目度）: 2.230542398964111
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Users increasingly turn to Large Language Models to answer a variety of questions, including cybersecurity questions. We study how personalization strategies can help improve the effectiveness of answers to questions asked to an LLM-based cybersecurity assistant. Beyond accuracy, we focus on the understandability, actionability and, most importantly, motivating power of answers, given how often users fail to follow cybersecurity recommendations. Specifically, we investigate four personalization strategies, ranging from static user profiles to interaction-history-based personalization, using a corpus of 1,045 real-world cybersecurity questions and a 7-day deployment involving 57 participants and 1,066 user questions. Across both a large-scale automated LLM-based evaluation and human evaluation, conversation-based personalization is consistently favored in comparative ratings of perceived helpfulness and likelihood of following security advice. Importantly, the relative trends observed in the LLM-based evaluation align with those obtained from human evaluation, suggesting that LLM-based evaluation can provide a scalable mechanism for comparing personalization strategies before costly user studies. These results indicate that behavior-driven personalization is a promising direction for LLM-powered cybersecurity assistants and highlight the value of combining LLM-based and human evaluation when studying personalized language-model systems.
• Abstract（参考訳）: ユーザーは、サイバーセキュリティの質問など、さまざまな質問に答えるために、Large Language Modelsに目を向ける。 LLMベースのサイバーセキュリティアシスタントに質問された質問に対して、パーソナライズ戦略が回答の有効性を向上させる方法について検討する。 正確性を超えて、私たちは理解可能性、行動可能性、そして最も重要なことは、ユーザーがサイバーセキュリティの推奨に従わなかったことを考えると、答えのパワーを動機付けることに重点を置いています。 具体的には,静的なユーザプロファイルからインタラクション履歴に基づくパーソナライズまでの4つのパーソナライズ戦略を,実世界のセキュリティ問題1,045と,57人の参加者と1,066人のユーザ質問を含む7日間のデプロイメントを用いて検討する。 大規模自動LLM評価と人的評価の両方において、会話に基づくパーソナライゼーションは、認識された有用性とセキュリティアドバイスに従う可能性の比較評価において一貫して好まれる。 重要な点として,LLMによる評価と人的評価の相対的傾向が一致し,LCMによる評価が,コストのかかるユーザスタディよりも前にパーソナライズ戦略を比較するためのスケーラブルなメカニズムを提供する可能性が示唆された。 これらの結果は、行動駆動型パーソナライゼーションがLLMを利用したサイバーセキュリティアシスタントにとって有望な方向であることを示し、パーソナライズされた言語モデルシステムを研究する際に、LLMに基づく人的評価と人的評価を組み合わせることの価値を強調している。

関連論文リスト

• LLM-as-a-Judge for Evaluating System Responses in Conversational Music Recommendation [20.276417246845593]
  本稿では,CRS応答評価のためのLCM-as-a-judgeの信頼性を実証的に評価する最初のユーザスタディを提案する。 20のドメインエキスパートアノテータから$n=400$のレーティングを収集し、各レスポンスをパーソナライズ品質と説明品質の2つの次元にわたって評価する。 LLMに基づく審査員は、人間の評価と適度な正の一致を示し、基準ベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-07-28T12:26:55Z)
• Preference-Aware Rubric Learning for Personalized Evaluation [59.539429430690156]
  既存の評価手法では、長期的なインタラクション履歴に埋め込まれたユーザ固有の嗜好をキャプチャできない。 静的判断よりも学習問題としてパーソナライズされた評価を定式化するパラダイムであるパーソナライズド・アズ・ラーニングを提案する。 実験により、PARLはユーザ対応の応答を確実に識別し、ユーザ間で一般化する高忠実なルーブリックを一貫して誘導することが示された。
  論文  参考訳（メタデータ） (2026-05-29T17:00:55Z)
• ReLay: Personalized LLM-Generated Plain-Language Summaries for Better Understanding, but at What Cost? [54.44351107428039]
  大規模言語モデル(LLMs)は、Plain Language Summaries(PLS)をパーソナライズするための新しい機会を提供する パーソナライズが有効か、どの戦略が最も効果的か、そしてパーソナライズと安全のバランスをとるかは、まだ不明である。 ReLayは、静的(専門家による)およびインタラクティブな設定の両方で、50人のレイ参加者から300人の参加者--PLSペアのデータセットを紹介します。 ReLayには、ユーザ特性、健康情報のニーズ、情報検索行動、理解結果、対話ログ、品質評価が含まれている。
  論文  参考訳（メタデータ） (2026-05-01T07:11:12Z)
• Personalized Reasoning: Just-In-Time Personalization and Why LLMs Fail At It [81.50711040539566]
  現在の大規模言語モデル(LLM)開発は、タスク解決と優先順位調整を別の課題として扱う。 静的ベンチマークを対話型パーソナライズタスクに変換する評価手法であるPreFDISCOを紹介する。 我々のフレームワークは、ユーザコンテキストに応じて、同じ質問が異なる推論チェーンを必要とするシナリオを作成します。
  論文  参考訳（メタデータ） (2025-09-30T18:55:28Z)
• PersonaFeedback: A Large-scale Human-annotated Benchmark For Personalization [25.45861816665351]
  我々は、パーソナライズされた応答を提供するLLMの能力を直接評価する新しいベンチマークであるPersonaFeedbackを紹介する。 過去のインタラクションから暗黙のユーザペルソナを推論するモデルを必要とする既存のベンチマークとは異なり、PersonaFeedbackはパーソナライゼーションからペルソナ推論を分離する。 PersonaFeedbackは8298人の注釈付きテストケースで構成されており、簡単、中、硬い層に分類される。
  論文  参考訳（メタデータ） (2025-06-15T17:19:19Z)
• Ψ-Arena: Interactive Assessment and Optimization of LLM-based Psychological Counselors with Tripartite Feedback [51.26493826461026]
  大規模言語モデル(LLM)の総合的評価と最適化のための対話型フレームワークであるPsi-Arenaを提案する。 アリーナは、心理学的にプロファイルされたNPCクライアントとの多段階対話を通じて現実世界のカウンセリングをシミュレートする現実的なアリーナ相互作用を特徴としている。 8つの最先端のLLM実験は、異なる実世界のシナリオと評価の観点で大きなパフォーマンス変化を示す。
  論文  参考訳（メタデータ） (2025-05-06T08:22:51Z)
• The Digital Cybersecurity Expert: How Far Have We Come? [49.89857422097055]
  我々は,サイバーセキュリティの専門家が期待する345の知識ポイントに基づいた,きめ細かいサイバーセキュリティ評価フレームワークであるCSEBenchmarkを開発した。 CSEBenchmarkで12のポピュラーな大言語モデル(LLM)を評価し、最高のパフォーマンスモデルでさえ全体の精度は85.42%に過ぎなかった。 各LSMにおける特定の知識ギャップを特定し,対処することにより,事前の誤り予測の修正において最大84%の改善が達成される。
  論文  参考訳（メタデータ） (2025-04-16T05:36:28Z)
• CURATe: Benchmarking Personalised Alignment of Conversational AI Assistants [5.7605009639020315]
  5つのシナリオ(それぞれ337のユースケース)にわたる10の先行モデルの評価 トップランクの"ハームレス"モデルは、提供されたコンテキストを考えると、明らかにユーザにとって有害であると認識されるべきレコメンデーションを作成できる。 主要な障害モードには、矛盾する好みの適切な重み付け、梅毒(安全性よりも優先的な欲求)、コンテキストウィンドウ内の重要なユーザ情報に対する注意力の欠如、ユーザ固有の知識の一貫性のない適用が含まれる。
  論文  参考訳（メタデータ） (2024-10-28T15:59:31Z)
• Evaluating Large Language Models with Psychometrics [59.821829073478376]
  本稿では,Large Language Models (LLMs) の心理的構造を定量化するための総合的ベンチマークを提案する。 私たちの研究は、13のデータセットで評価された5つの重要な心理的構成要素、人格、価値観、感情的知性、心の理論、自己効力性を特定します。 LLMの自己報告特性と実際のシナリオにおける応答パターンとの間に大きな相違が発見され,その挙動の複雑さが明らかになった。
  論文  参考訳（メタデータ） (2024-06-25T16:09:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。