論文の概要: Who's Asking? Evaluating LLM Robustness to Inquiry Personas in Factual Question Answering

• arxiv url: http://arxiv.org/abs/2510.12925v1
• Date: Tue, 14 Oct 2025 18:59:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 20:13:28.388391
• Title: Who's Asking? Evaluating LLM Robustness to Inquiry Personas in Factual Question Answering
• Title（参考訳）: LLMロバスト性の評価 : ファクチュアル質問応答におけるペルソナの探索
• Authors: Nil-Jana Akpinar, Chia-Jung Lee, Vanessa Murdock, Pietro Perona,
• Abstract要約: アイデンティティや専門知識,信念などの属性を伝達するユーザプロファイルを調査するペルソナに対して,ロバスト性を評価する。 このような手法はQAの精度を有意に変化させ、拒絶、幻覚的制限、役割の混乱といった障害モードを誘発する。
• 参考スコア（独自算出の注目度）: 15.641627064295237
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) should answer factual questions truthfully, grounded in objective knowledge, regardless of user context such as self-disclosed personal information, or system personalization. In this paper, we present the first systematic evaluation of LLM robustness to inquiry personas, i.e. user profiles that convey attributes like identity, expertise, or belief. While prior work has primarily focused on adversarial inputs or distractors for robustness testing, we evaluate plausible, human-centered inquiry persona cues that users disclose in real-world interactions. We find that such cues can meaningfully alter QA accuracy and trigger failure modes such as refusals, hallucinated limitations, and role confusion. These effects highlight how model sensitivity to user framing can compromise factual reliability, and position inquiry persona testing as an effective tool for robustness evaluation.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自己開示された個人情報やシステムパーソナライゼーションといったユーザコンテキストに関係なく、客観的知識に基づいて、事実に答えるべきである。 本稿では,LLMのロバスト性を初めて体系的に評価し,個人性,専門性,信念などの属性を伝達するユーザプロファイルについて検討する。 従来の研究は主に、堅牢性テストのための敵対的なインプットや気晴らしに焦点を合わせてきたが、我々は、ユーザーが現実世界のインタラクションで明らかにする、有能で人間中心の調査ペルソナの手がかりを評価した。 このような手法はQAの精度を有意に変化させ、拒絶、幻覚的制限、役割の混乱といった障害モードを誘発する。 これらの効果は、ユーザフレーミングに対するモデル感度が、事実の信頼性を損なうことを強調し、ロバストネス評価の有効なツールとして、位置調査ペルソナテストが有効であることを示す。

関連論文リスト

• Personalized Reasoning: Just-In-Time Personalization and Why LLMs Fail At It [81.50711040539566]
  現在の大規模言語モデル(LLM)開発は、タスク解決と優先順位調整を別の課題として扱う。 静的ベンチマークを対話型パーソナライズタスクに変換する評価手法であるPreFDISCOを紹介する。 我々のフレームワークは、ユーザコンテキストに応じて、同じ質問が異なる推論チェーンを必要とするシナリオを作成します。
  論文  参考訳（メタデータ） (2025-09-30T18:55:28Z)
• Teaching Language Models To Gather Information Proactively [53.85419549904644]
  大規模言語モデル(LLM)は、ますます協力的なパートナーとして機能することが期待されている。 本研究では,アクティブな情報収集という新たなタスクパラダイムを導入する。 キー情報をマスキングする、部分的に特定された現実世界のタスクを生成するスケーラブルなフレームワークを設計する。 このセットアップの中核となるイノベーションは、真に新しい暗黙のユーザー情報を引き出す質問に報酬を与える、強化された微調整戦略です。
  論文  参考訳（メタデータ） (2025-07-28T23:50:09Z)
• Harnessing RLHF for Robust Unanswerability Recognition and Trustworthy Response Generation in LLMs [2.217239320172707]
  本稿では, 自己認識型無解性学習システム(SALU)を導入し, 生成過程に直接不解性検出を深く統合する手法を提案する。 SALUは、標準的な質問回答(QA)と、解決不可能なクエリに対する明示的な棄権生成の両方のために、マルチタスク学習フレームワークを使用して訓練されている。 ハイブリッド LLM-classifier システムを含む強力なベースラインを一貫して上回り、質問に対する正しい回答や棄却の全体的な精度を向上する。
  論文  参考訳（メタデータ） (2025-07-22T18:44:18Z)
• Spotting Out-of-Character Behavior: Atomic-Level Evaluation of Persona Fidelity in Open-Ended Generation [16.76995815742803]
  より微細な粒度でペルソナの忠実度を定量化する原子レベル評価フレームワークを提案する。 私たちの3つの重要な測定基準は、世代間でのペルソナのアライメントと一貫性の度合いを測定します。 多様なタスクやパーソナリティの多様さからペルソナの忠実度を解析することにより,タスク構造とペルソナの嗜好性がモデル適応性にどのように影響するかを明らかにする。
  論文  参考訳（メタデータ） (2025-06-24T06:33:10Z)
• PersonaFeedback: A Large-scale Human-annotated Benchmark For Personalization [25.45861816665351]
  我々は、パーソナライズされた応答を提供するLLMの能力を直接評価する新しいベンチマークであるPersonaFeedbackを紹介する。 過去のインタラクションから暗黙のユーザペルソナを推論するモデルを必要とする既存のベンチマークとは異なり、PersonaFeedbackはパーソナライゼーションからペルソナ推論を分離する。 PersonaFeedbackは8298人の注釈付きテストケースで構成されており、簡単、中、硬い層に分類される。
  論文  参考訳（メタデータ） (2025-06-15T17:19:19Z)
• MisinfoEval: Generative AI in the Era of "Alternative Facts" [50.069577397751175]
  本稿では,大規模言語モデル(LLM)に基づく誤情報介入の生成と評価を行うフレームワークを提案する。 本研究では,(1)誤情報介入の効果を測定するための模擬ソーシャルメディア環境の実験,(2)ユーザの人口動態や信念に合わせたパーソナライズされた説明を用いた第2の実験について述べる。 以上の結果から,LSMによる介入はユーザの行動の修正に極めて有効であることが確認された。
  論文  参考訳（メタデータ） (2024-10-13T18:16:50Z)
• Ranking Generated Answers: On the Agreement of Retrieval Models with Humans on Consumer Health Questions [25.158868133182025]
  本稿では,生成型大規模言語モデル(LLM)の出力を評価する手法を提案する。 我々は、注釈付き文書コレクションで訓練されたランキングモデルを、明示的な妥当性の代用として用いている。 ユーザ研究において,本手法は人間専門家の嗜好と相関する。
  論文  参考訳（メタデータ） (2024-08-19T09:27:45Z)
• DePrompt: Desensitization and Evaluation of Personal Identifiable Information in Large Language Model Prompts [11.883785681042593]
  DePromptは、プロンプトのための脱感作保護および有効性評価フレームワークである。 我々は、コンテキスト属性を統合し、プライバシタイプを定義し、高精度なPIIエンティティ識別を実現する。 私たちのフレームワークはプロンプトに適応可能で、テキストのユーザビリティに依存したシナリオに拡張できます。
  論文  参考訳（メタデータ） (2024-08-16T02:38:25Z)
• Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
  アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。 アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。 本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
  論文  参考訳（メタデータ） (2024-04-19T16:45:50Z)
• How Far Are LLMs from Believable AI? A Benchmark for Evaluating the Believability of Human Behavior Simulation [46.42384207122049]
  我々は,人間の振る舞いをシミュレートする際の大規模言語モデル (LLM) の信頼性を評価するために SimulateBench を設計する。 SimulateBenchに基づいて、文字をシミュレートする際、広く使われている10個のLLMの性能を評価する。
  論文  参考訳（メタデータ） (2023-12-28T16:51:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。