論文の概要: Beyond Belief: Evaluating and Mitigating LLM Susceptibility to Misinformation

• arxiv url: http://arxiv.org/abs/2610.33962v1
• Date: Sun, 25 Oct 2026 00:26:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.493658
• Title: Beyond Belief: Evaluating and Mitigating LLM Susceptibility to Misinformation
• Title（参考訳）: 信念を超えて:誤情報に対するLCMの感受性の評価と緩和
• Abstract要約: ツールを使用する大規模言語モデル(LLM)は、外部情報がアクションを保証しているかどうかを決定する必要がある。 擬似ツールの使用に適応した正当性攻撃と204件のアーカイブ攻撃とを併用した196件の誤報を5件評価した。 構築された通知に対処するよう頼まれると、モデルは有害なツールコールを27%で発行する。
• 参考スコア（独自算出の注目度）: 34.81908139166387
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tool-using large language models (LLMs) must decide whether external information warrants action. We investigate whether their expressed credibility judgments reliably indicate behavioral resistance to misinformation. We evaluate five LLMs on 196 constructed false notices paired with legitimate counterparts and 204 archived attacks adapted to simulated tool use. When asked to act on the constructed notices, models issue harmful tool calls in 27%--99% of cases they have rated untrustworthy. Removing the preliminary rating step increases harmful execution by 15 percentage points on average, showing that credibility elicitation itself changes the behavior being evaluated. Interventions that improve credibility discrimination do not consistently yield safer actions. A simple forewarning significantly reduces harmful execution in four of five models, but neither tested generated-example prebunk outperforms it in the main evaluation. These reductions can also compromise legitimate task completion. Supervised fine-tuning on generated false notices reduces harmful execution on held-out archived attacks under the rating-first protocol, with model-dependent utility costs and weaker protection without rating elicitation. Our findings motivate evaluating misinformation defenses through both harmful actions and legitimate task completion, while accounting for the behavioral effects of the evaluation protocol.
• Abstract（参考訳）: ツールを使用する大規模言語モデル(LLM)は、外部情報がアクションを保証しているかどうかを決定する必要がある。 信頼性判定が誤情報に対する行動抵抗を確実に示すかどうかを検討する。 擬似ツールの使用に適応した正当性攻撃と204件のアーカイブ攻撃とを併用した196件の誤報を5件評価した。 構築された通知に対処するよう頼まれると、モデルは有害なツールコールを27%で発行する。 事前評価段階の除去は, 平均15ポイントの有害な実行を増大させ, 信頼性評価自体が評価対象の行動を変えることを示す。 信頼性の差別を改善する介入は、常により安全な行動をもたらすわけではない。 単純な予兆は5つのモデルのうち4つのモデルにおいて有害な実行を著しく減少させるが、テストされた2つのプリパンクは、主要な評価においてそれより優れている。 これらの削減は、正当なタスク完了を損なう可能性がある。 生成された偽の通知に対する監視された微調整は、評価ファーストプロトコルの下で保持されたアーカイブされた攻撃に対する有害な実行を減少させ、モデル依存のユーティリティコストと、評価ライセンスなしでの保護が弱まる。 本研究は, 有害行為と正当なタスク完了の両方を通じて誤報防御の評価を動機とし, 評価プロトコルの行動的影響を考慮に入れた。

関連論文リスト

• CredLeakBench: Evaluating Credential Leakage and Recovery in LLM Agents [58.28055202832338]
  言語モデルエージェントは日々のデジタル雑用を自動化するためにますますデプロイされている。 この機能は、フィッシングに機密情報を公開する。 CredLeak-Benchは、ヒューマンタスクの効果的かつセキュアなエージェントの自動化を評価するために設計されたベンチマークである。
  論文  参考訳（メタデータ） (2026-10-06T05:07:33Z)
• Silent Failures in Agentic Security Evaluation: A Validated Harness for Tool-Call Mediation Under Indirect Prompt Injection [0.0]
  特権ツールを起動するLLMエージェントは間接的プロンプトインジェクション(IPI)に脆弱である 4つの欠陥クラス - サイレントペイロードの非配信、引数ではなくツールアイデンティティによるアタック成功、モデル非能力と混同された偽リジェクション率、監査証跡の欠如 - を識別する。 我々は、欠陥と修正された定義の下で同じ実行トレースを再描画することで、歪みを定量化する。
  論文  参考訳（メタデータ） (2026-09-26T14:53:42Z)
• Measuring and Exploiting Confirmation Bias in LLM-Assisted Security Code Review [6.417595678110472]
  ソフトウェアサプライチェーン攻撃において,確認バイアスがLSMベースの脆弱性検出に影響を及ぼすか,また,この障害モードを悪用できるかを検討する。 調査1では,5つのフレーミング条件下で4つの最先端モデルに対して評価された250個のCVE脆弱性/パッチペアに対する制御実験により,確認バイアスを定量化する。 調査2は、既知の脆弱性を再導入する敵のプルリクエストを模倣して、セキュリティの改善やプルリクエストメタデータによる緊急機能修正を実施可能であることを評価する。
  論文  参考訳（メタデータ） (2026-03-19T10:40:27Z)
• Beyond Task Completion: Revealing Corrupt Success in LLM Agents through Procedure-Aware Evaluation [2.102846336724103]
  プロシージャ・アウェア・アセスメント(PAE)は、エージェント・プロシージャを構造化された観察として形式化するフレームワークである。 タウベンチにおける言語モデル(LLM)に基づくエージェントの評価を行った。
  論文  参考訳（メタデータ） (2026-03-03T15:47:41Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)
• Accurate Failure Prediction in Agents Does Not Imply Effective Failure Prevention [2.0838114053126366]
  LLM批判モデルによる積極的な介入は、しばしば信頼性を向上させると仮定されるが、展開時の影響はよく理解されていない。 高いオフライン精度 (AUROC 0.94) を持つバイナリLLM批判者は, にもかかわらず, 高い性能劣化を引き起こす可能性がある。 我々は、50のタスクからなる小さなパイロットを用いて、完全な配備を必要とせず、介入が助けになるか、害を与えるかを見積もる事前デプロイテストを提案する。
  論文  参考訳（メタデータ） (2026-02-03T10:02:50Z)
• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)
• AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications [71.27518152526686]
  大きな言語モデル(LLM)はテキストの理解と生成に優れており、コードレビューやコンテンツモデレーションといった自動タスクに最適である。 LLMは履歴書やコードなどの入力データに隠された「逆命令」で操作でき、意図したタスクから逸脱する。 本稿では,特定の攻撃タイプに対して80%以上の攻撃成功率を示すとともに,この脆弱性を再開スクリーニングで評価するためのベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-12-23T08:42:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。