論文の概要: Correction or Manipulation? Measuring Epistemic Vigilance in LLM Agents Under User Pressure

• arxiv url: http://arxiv.org/abs/2610.36453v1
• Date: Tue, 27 Oct 2026 00:59:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.456457
• Title: Correction or Manipulation? Measuring Epistemic Vigilance in LLM Agents Under User Pressure
• Title（参考訳）: 矯正・マニピュレーション : ユーザ圧力下でのLLM剤の疫学的ビジランスの測定
• Abstract要約: モデルが修正と操作を区別するかどうかを検討する。 我々は、各エージェントが操作よりも容易に修正を許すかという、一連のベンチマークの質問を計測する。 サイテーションは7つのモデルのうち5つをより理解しやすくし、4つを識別しやすくした。
• 参考スコア（独自算出の注目度）: 12.125553493985604
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM agents that answer questions and act on behalf of users must decide when to yield to a user who disagrees. Disagreement may correct a genuine error or may be an attempt at manipulation. Prior work shows that models frequently abandon correct answers when challenged by users, yet it remains unclear whether they distinguish correction from manipulation or merely differ in their propensity to concede. We examine this question across seven LLMs from four vendors in two studies, one on the answers agents give and one on the actions they take as customer-support agents whose policy permits account changes only for verified users. Simulated users push toward correct and incorrect answers with graded pressure. Following research on epistemic vigilance, the pressure either appeals to the source, such as claimed authority, or offers content the agent cannot verify, namely a cited source. Drawing on signal detection theory, we measure on a set of benchmark questions how much more readily each agent concedes to correction than to manipulation, separately from its overall propensity to concede. Citations made five of seven models readier to concede and four worse at discriminating, while stronger wording added little. In the agentic study, five models never violated the verification policy, including models that readily abandoned correct answers, so concession on answers did not predict violations of policy. Ministral 3B violated the policy mainly under claimed authority, and Ministral 8B reported changes it had not made. An instruction to revise only on verifiable evidence chiefly shifted propensity to concede rather than improving discrimination. Concession rates alone are therefore misleading, and agents should be evaluated on both their discrimination and the actions they take.
• Abstract（参考訳）: 質問に回答し、ユーザの代理として行動するLLMエージェントは、意見の一致しないユーザにいつ譲るかを判断しなければならない。 診断は真の誤りを訂正したり、操作を試みるかもしれない。 以前の研究は、モデルがユーザーから挑戦されたときに正しい答えを放棄することがしばしばあったことを示しているが、修正と修正を区別するか、単に解釈する確率が異なるかは定かではない。 本研究は,2つの調査において,4つのベンダーから7つのLCMを対象とし,その1つが回答エージェントであり,もう1つが顧客支援エージェントであり,認証されたユーザに対してのみアカウント変更を許可する方針である。 シミュレーションされたユーザは、グレードされた圧力で正解と誤解に向かってプッシュする。 疫学的警戒の研究の後、圧力は、主張された権威のようなソースに訴えるか、エージェントが検証できないコンテンツ、すなわち引用されたソースを提示する。 信号検出理論に基づいて、我々は、各エージェントが操作よりも容易に修正を許すかという一連のベンチマークに基づいて測定する。 サイテーションは7つのモデルのうち5つをより理解しやすくし、4つを識別しやすくした。 エージェントによる調査では、5つのモデルが検証ポリシーに違反しなかった。 ミニストラール3Bは、主に主張された権限の下でポリシーに違反し、ミニストラール8Bは、それが起こらなかった変更を報告した。 検証可能な証拠のみを改訂する指示は、主に差別を改善するのではなく、同意する妥当性をシフトさせた。 したがって、譲歩率だけは誤解を招くものであり、エージェントは彼らの差別と彼らが取る行動の両方で評価されるべきである。

関連論文リスト

• Authority Bias in Language Models: Source Deference and User Agreement Are Not Interchangeable [1.0742675209112622]
  言語モデルは、ユーザが主張するものと一致しがちである。 オープンウェイトな5つのファミリーと3つのクローズドAPIのギャップを測定します。 ソースの推論とユーザ合意はモデル内での振る舞いの交換にはなりません。
  論文  参考訳（メタデータ） (2026-09-29T13:58:04Z)
• Proxy reliance in large language model decisions is uncalibrated to predictive evidence [2.658641595601261]
  現在の監査では、人口統計が変わると決定が変わるかどうかを問う。 保護されたグループに関連付けられた属性は予測値を持ち、変更した決定は識別または音声推論である。 4つの大言語モデルにおける因果代行効果を臨床レベルの課題において測定する。
  論文  参考訳（メタデータ） (2026-08-24T07:20:29Z)
• Claim-Level Confidence Calibration for Reliable Decision Making with Large Language Models [7.714704554667688]
  大規模言語モデル(LLM)は、ハイテイクドメインにおける意思決定をますますサポートします。 LLMはしばしば、事実の正しさと不一致した自信を幻覚し表現する。 判定関連不確実性信号としてのクレームレベル信頼度校正について検討する。
  論文  参考訳（メタデータ） (2026-08-23T16:09:54Z)
• Easier to Mislead Than to Correct: Harmful and Beneficial Revision in LLM Conformity [1.4889674786265437]
  ピア合意は、当初間違ったモデルを修正するよりも、最初に正しいモデルを誤解させるのがずっと簡単であることを示す。 これらの結果から,マルチエージェントLLMシステムは単に集約するのではなく,ピア回答を検証すべきであることが示唆された。
  論文  参考訳（メタデータ） (2026-06-01T03:42:00Z)
• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)
• Learning Steerable Clarification Policies with Collaborative Self-play [67.67872810596839]
  不明瞭なクエリを処理するために、AIアシスタントは不確実性を管理するためのポリシーが必要である。 我々は,この不確実性を管理するために,自己再生を用いて評価可能な政策を訓練することを提案する。 このことが、提供されたコストに応じて予測可能な振る舞いを変更する、評価可能なポリシーにつながることを示す。
  論文  参考訳（メタデータ） (2025-12-03T18:49:54Z)
• Fostering Appropriate Reliance on Large Language Models: The Role of Explanations, Sources, and Inconsistencies [66.30619782227173]
  大規模言語モデル(LLMs)は、流動的で説得力のある誤った応答を生成することができる。 ユーザの信頼を形作るLCM応答のいくつかの特徴を同定する。 説明は正しい応答と誤応答の両方に依存することが判明した。 情報源が提供された場合や説明が矛盾している場合の誤った応答への依存度は低い。
  論文  参考訳（メタデータ） (2025-02-12T16:35:41Z)
• LACIE: Listener-Aware Finetuning for Confidence Calibration in Large Language Models [69.68379406317682]
  暗黙的および明示的な信頼マーカーを校正するリスナー対応微調整法 (LACIE) を提案する。 我々は,LACIEがリスナーをモデル化し,回答が正しいかどうかだけでなく,リスナーに受け入れられるかどうかを考察する。 LACIEによるトレーニングの結果、正しい回答の受け入れレベルを維持しながら、誤った回答が受け入れられる割合が47%減少することがわかった。
  論文  参考訳（メタデータ） (2024-05-31T17:16:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。