論文の概要: Learning to Persuade Exposes How Easily LLMs Abandon Correct Beliefs

• arxiv url: http://arxiv.org/abs/2608.11624v1
• Date: Wed, 12 Aug 2026 04:11:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.445955
• Title: Learning to Persuade Exposes How Easily LLMs Abandon Correct Beliefs
• Title（参考訳）: LLMが正しい信念を捨てるのがいかに簡単か
• Abstract要約: 一つの目的の説得的議論がモデル精度をほぼゼロに分解するのに十分であることを示す。 我々は、この脅威を敵の説得として形式化し、敵の強化学習フレームワークを導入する。
• 参考スコア（独自算出の注目度）: 11.978588496675327
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Persuasion is a core dynamic of natural language communication, shaping how large language models (LLMs) update beliefs, resolve disagreements, and reach decisions. As LLMs increasingly debate, advise, and think collaboratively with humans and each other, resistance to harmful persuasion becomes a core requirement for reliable behavior. Yet we show that this requirement is far from met: a single targeted persuasive argument is enough to collapse model accuracy to near zero, even when the argument is factually false. We formalize this threat as adversarial persuasion and introduce an adversarial reinforcement learning framework that trains persuader agents to change a target model's answer in a single interaction. First, we show that optimizing persuasion strategies through trial and error exposes vulnerabilities that static prompting misses: RL-trained persuaders raise persuasion success from approximately 24% to over 93% against the training-time persuadee. Second, we find that these learned strategies transfer to unseen models, achieving 83% attack success on Qwen-14B, 79% on Llama-3.1-8B, and 25% on GPT-4o-mini. Third, we demonstrate that a curriculum that bootstraps on more persuadable open-weight models before targeting harder models further increases GPT-4o-mini attack success from 25% to 38%. Moreover, our results reveal that optimized persuaders increasingly rely on credibility-based tactics, including fabricated citations and false authoritative evidence. Together, these findings expose a critical weakness in current LLM agents: even when they initially reason correctly, they can be steered toward false conclusions by optimized natural language influence. This positions persuasion robustness as a necessary safety criterion for multi-agent and human-AI decision-making systems.
• Abstract（参考訳）: 説得(Persuasion)は、自然言語通信のコアダイナミクスであり、大きな言語モデル(LLM)が信念を更新し、不一致を解決し、意思決定に到達する方法を形成する。 LLMが人間と相互に協力して議論し、助言し、考えるようになると、有害な説得に対する抵抗は信頼性の高い行動のコア要件となる。 しかし、この要件は満たされていないことを示す: 1つの目的の説得的議論は、実際に議論が偽である場合でも、モデル精度をほぼゼロに分解するのに十分である。 我々は、この脅威を敵の説得として形式化し、単一の相互作用においてターゲットモデルの回答を変更するように説得者エージェントを訓練する敵の強化学習フレームワークを導入する。 第一に、試行錯誤による説得戦略の最適化は、静的な失敗を引き起こす脆弱性を露呈することを示します。 第2に、これらの学習戦略は、Qwen-14Bで83%、Llama-3.1-8Bで79%、GPT-4o-miniで25%の攻撃成功を達成した。 第3に、より厳しいモデルをターゲットにする前に、より説得力のあるオープンウェイトモデルでブートストラップを行うカリキュラムが、さらにGPT-4o-mini攻撃の成功率を25%から38%に向上させることを示した。 さらに, 提案手法は, 信頼度に基づく手法にますます依存していることが明らかとなった。 これらの発見は、現在のLLMエージェントの重大な弱点を露呈している: 最初は正しく推論しても、最適化された自然言語の影響で誤った結論に導かれる。 このことは、多エージェントおよび人間-AI意思決定システムに必要な安全基準として、説得堅牢性を位置づけている。

関連論文リスト

• Belief Cascades Drive Persuasion in LLM Agent Networks [71.17605142402785]
  本研究では,実世界のego-networkトポロジに根ざしたLLMエージェントのネットワーク上で,ゴール指向の説得者がどのようにスタンスをシフトするかを検討する。 直接露光は、競合走における次のラウンドの姿勢変化を確実に予測し、ピアリレーは小さいが測定可能な影響をもたらすことを示す。 これらの結果は、多エージェントの説得を軌跡レベルのプロセスと露出レベルのプロセスとして評価することを主張する。
  論文  参考訳（メタデータ） (2026-08-25T21:01:19Z)
• Vulnerability of LLMs' Belief Systems? LLMs Belief Resistance Check Through Strategic Persuasive Conversation Interventions [8.026492468995187]
  小さなモデルは極端なコンプライアンスを示し、最初の説得的なターンで80%以上の信念の変化が生じる。 メタ認知は、堅牢性を高めるのではなく、信念の侵食を加速することで脆弱性を増大させる。 これらの知見は、現在のロバストネス介入のモデル依存性のかなりの限界を浮き彫りにした。
  論文  参考訳（メタデータ） (2026-01-20T04:43:55Z)
• The Facade of Truth: Uncovering and Mitigating LLM Susceptibility to Deceptive Evidence [49.94160400740222]
  MisBeliefは、協調的な多ラウンドの相互作用によって誤解を招く証拠を生成するフレームワークである。 MisBeliefを用いて、3つの難易度で4,800のインスタンスを生成し、7つの代表的なLCMを評価する。 結果は、モデルは直接的な誤報に対して堅牢であるが、この洗練された証拠に非常に敏感であることを示している。 本稿では,疑似意図を証拠裏で推測することにより早期警告信号を提供するガバナンス機構である,認知的意図遮蔽(DIS)を提案する。
  論文  参考訳（メタデータ） (2026-01-09T02:28:00Z)
• MMPersuade: A Dataset and Evaluation Framework for Multimodal Persuasion [73.99171322670772]
  LVLM(Large Vision-Language Models)は、ショッピング、健康、ニュースなどの分野に展開されている。 MMPersuadeはLVLMにおけるマルチモーダルパーサージョンダイナミクスを体系的に研究するための統一的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2025-10-26T17:39:21Z)
• Evaluating & Reducing Deceptive Dialogue From Language Models with Multi-turn RL [64.3268313484078]
  大規模言語モデル(LLM)は、顧客サポート、教育、医療など、世界中の何百万もの人々と対話する。 故意であれ不注意であれ、偽りのアウトプットを生産する能力は、重大な安全上の懸念を生じさせる。 本研究では, LLM が会話中の偽装にどの程度関与しているかを考察し, 偽装を定量化する信念の誤調整尺度を提案する。
  論文  参考訳（メタデータ） (2025-10-16T05:29:36Z)
• Persuasiveness and Bias in LLM: Investigating the Impact of Persuasiveness and Reinforcement of Bias in Language Models [0.0]
  本研究では,Large Language Models(LLMs)における説得とバイアスの相互作用について検討する。 LLMは人間のような説得力のあるテキストを生成し、コンテンツ作成、意思決定支援、ユーザーインタラクションに広く利用されている。 我々は、ペルソナに基づくモデルが事実に基づく主張を説得できるかどうかをテストする。
  論文  参考訳（メタデータ） (2025-08-13T13:30:49Z)
• Can You Trick the Grader? Adversarial Persuasion of LLM Judges [15.386741140145205]
  この研究は、戦略的に組み込まれた説得言語が数学的推論タスクを評価する際にLCMの判断に偏りがあることを初めて明らかにした。 我々は,7つの説得技法(マジョリティ,一貫性,フラタリー,互恵性,ピティ,権威,アイデンティティ)を定式化し,それらと全く同じ応答に組み込む。 説得力のある言語は、LCMの判断者が不正確な解に膨らませたスコアを、平均で最大8%の精度で割り当てることを可能にし、一貫性は最も深刻な歪みを引き起こす。
  論文  参考訳（メタデータ） (2025-08-11T09:45:02Z)
• It's the Thought that Counts: Evaluating the Attempts of Frontier LLMs to Persuade on Harmful Topics [5.418014947856176]
  我々は,説得的試みの頻度と文脈を説得し,測定する意思を識別する自動モデルを導入する。 オープンかつクローズドウェイトなモデルの多くは、有害なトピックに対する説得を積極的に試みている。
  論文  参考訳（メタデータ） (2025-06-03T13:37:51Z)
• Persuade Me if You Can: A Framework for Evaluating Persuasion Effectiveness and Susceptibility Among Large Language Models [9.402740034754455]
  大きな言語モデル(LLM)は、人間レベルの説得と競合する説得力を示す。 LLMの説得への感受性は、倫理的原則との整合性に関する懸念を提起する。 マルチエージェントインタラクションによる説得評価フレームワークPersuade Me If You Can (PMIYC)を紹介した。
  論文  参考訳（メタデータ） (2025-03-03T18:53:21Z)
• Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions [50.40122190627256]
  非倫理的反応を引き起こすために、対照的な推論を利用する新しいジェイルブレイク手法であるPOATEを導入する。 PoATEは意味論的に意図に反し、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。 これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。
  論文  参考訳（メタデータ） (2025-01-03T15:40:03Z)
• Teaching Models to Balance Resisting and Accepting Persuasion [69.68379406317682]
  PBT (Persuasion-Training) は正と負の説得のバランスをとることができる。 PBTにより、より小さな7-8Bモデル間の対話から生成されたデータを使用して、より大規模な70Bモデルのトレーニングを行うことができる。 PBTは, より安定な結果をもたらし, 順序依存の低減につながることが判明した。
  論文  参考訳（メタデータ） (2024-10-18T16:49:36Z)
• Characterizing the adversarial vulnerability of speech self-supervised learning [95.03389072594243]
  我々は,ゼロ知識とリミテッド知識の両方の敵からの攻撃の下で,そのようなパラダイムの敵対的脆弱性を調査するための最初の試みを行う。 実験結果から, SUPERB が提案するパラダイムは, 限られた知識を持つ敵に対して脆弱であることが示唆された。
  論文  参考訳（メタデータ） (2021-11-08T08:44:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。