論文の概要: AI Safety via Debate is Compromised by Cognitive Biases

• arxiv url: http://arxiv.org/abs/2610.05461v1
• Date: Sun, 04 Oct 2026 19:11:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 13:38:05.676876
• Title: AI Safety via Debate is Compromised by Cognitive Biases
• Title（参考訳）: ディベートによるAIの安全性は認知バイアスによって妥協される
• Abstract要約: AIの安全性の議論による中心的な前提は、真正な議論は、敵対的な精査の下で偽の議論よりも容易に防御できるということだ。 議論者が人間の判断における偏見を生かした修辞的戦略を使う場合、この利点が持続するかどうかを考察する。
• 参考スコア（独自算出の注目度）: 5.012183574133362
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning from human feedback (RLHF) has played a central role in making large language models responsive to human instructions. However, human evaluators often favor flattering or persuasive responses over truthful ones, creating incentives for models to appeal to evaluators at the expense of accuracy. AI safety via debate has been proposed as a way to improve the supervision of language models: in this paradigm, two agents argue opposing positions and challenge each other's claims, potentially exposing falsehoods to the adjudicator. A central premise of AI safety via debate is that truthful arguments are easier to defend than false ones under adversarial scrutiny. In this work, we investigate whether this advantage persists when debaters use rhetorical strategies that exploit biases in human judgment. Inspired by competitive debate, we construct 68 LLM-generated dialogues about detective mysteries with known culprits, spanning four interventions: anchoring, fallacy oversight, pro-jargon, and verbosity. We apply each intervention to either the side advocating for the true culprit or the side advocating for an innocent suspect, allowing us to distinguish influence on adjudication from correctness. In a study with 369 participants, we find that, pooled across bias types, these interventions significantly shift judgments toward the manipulated side. These findings expose a vulnerability in debate-based supervision: human adjudication is sensitive to manipulative rhetorical strategies.
• Abstract（参考訳）: 人間のフィードバックからの強化学習(RLHF)は、人間の指示に反応する大規模言語モデルにおいて中心的な役割を担っている。 しかし、人間の評価者は真実よりも平らな反応や説得的な反応を好んでおり、正確さを犠牲にして評価者にアピールするモデルに対するインセンティブを生み出している。 このパラダイムでは、2人のエージェントが対立する立場を議論し、お互いの主張に異議を唱え、被告人に偽装を暴露する可能性がある。 AIの安全性の議論による中心的な前提は、真正な議論は、敵対的な精査の下で偽の議論よりも容易に防御できるということだ。 本研究では,人間の判断における偏見を生かした修辞的戦略を議論者が用いた場合に,この利点が持続するかどうかを検討する。 競争的議論に触発されて,68のLLM生成対話を,刑事ミステリーと既知の犯人との対話で構築し,アンカーリング,誤認の監視,親ジャーゴン,冗長性の4つの介入にまたがった。 各介入は、真犯人を主張する側、または無実の容疑者を主張する側のいずれかに適用し、偏見と正しさを区別することができる。 369人の被験者を対象に行った研究では、バイアスの種類によってプールされたこれらの介入は、操作された側に向かって判断を著しくシフトさせることがわかった。 人間の判断は、操作的修辞戦略に敏感である。

関連論文リスト

• Benchmarking Argumentative Behaviour of LLMs: A Study of Defences Against Character Attacks [0.0]
  大規模言語モデル(LLM)は、説得的対話において議論的エージェントとしてますます多くデプロイされている。 我々は,政治的説得的対話において重要な役割を担っている,伝統的に誤認として否定されたキャラクター攻撃(統括的議論)に焦点を当てる。 我々は、自然言語による政治的対話のコーパスを分析し、人間の介入者が自然に民族中心の議論で採用する防衛戦略を特定し、それらを対話ゲームに構造化する。
  論文  参考訳（メタデータ） (2026-09-23T18:14:32Z)
• Collaborative Disagreement Resolution for Scalable Oversight [26.071237160687243]
  分解分解能は、非専門家モデルが真実を識別するのに役立ち、標準的な議論では 49.2% よりも62.1% の精度で判断できる。 本研究は,敵の説得から協調的真理探索まで,スケーラブルな監視プロトコルを再考する実証的証拠を提供する。
  論文  参考訳（メタデータ） (2026-06-02T12:55:49Z)
• Measuring Opinion Bias and Sycophancy via LLM-based Persuasion [8.399156116912904]
  提案手法は,提案するトピックに対して,アシスタントが持つ意見を検出する方法である。 直接探索は、シミュレーションされたユーザーから圧力をエスカレートする5ターンにわたってモデルの意見を求める。 間接的調査は決して意見を求めず、議論的な議論においてモデルを関与させ、それがどのように譲歩し、抵抗し、あるいは反弁論をするかを通してバイアスを漏らす。
  論文  参考訳（メタデータ） (2026-04-23T11:34:06Z)
• AI Debaters are More Persuasive when Arguing in Alignment with Their Own Beliefs [0.13525723298325706]
  我々は主観的な質問に議論を適用し、実験の前に大きな言語モデルの事前の信念を明示的に測定する。 我々は2つの議論プロトコルを逐次かつ同時に実装し、潜在的体系的バイアスを評価する。 本研究の主目的は, モデルが従来の信念よりも, 判断ペルソナと整合した姿勢を擁護する傾向にあることにある。
  論文  参考訳（メタデータ） (2025-10-15T05:02:13Z)
• AI Debate Aids Assessment of Controversial Claims [73.8907110799657]
  我々は、AI論争が、議論の的になっている事実性主張の側面に対立する2つのAIシステムを議論させることで、偏見のある裁判官を真実に導くことができるかどうかを調査する。 研究Iでは、議論は人間の判断精度と信頼性の校正を継続的に改善し、コンサルタントを上回ります。 研究IIでは、人間のような人格を持つAI裁判官は、人格を持たない人格(70.1%)やデフォルトのAI裁判官(69.8%)よりも高い精度(78.5%)を達成する。 これらの調査結果は、AIの議論が、競争対象ドメインにおけるスケーラブルでバイアス耐性のある監視への有望な道であることを示している。
  論文  参考訳（メタデータ） (2025-06-02T19:01:53Z)
• Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions [50.40122190627256]
  非倫理的反応を引き起こすために、対照的な推論を利用する新しいジェイルブレイク手法であるPOATEを導入する。 PoATEは意味論的に意図に反し、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。 これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。
  論文  参考訳（メタデータ） (2025-01-03T15:40:03Z)
• On scalable oversight with weak LLMs judging strong LLMs [67.8628575615614]
  我々は、2つのAIが1人の裁判官を納得させようとする議論、すなわち1人のAIが1人の裁判官を説得し、質問をする。 大規模言語モデル(LLM)をAIエージェントと人間の判断のためのスタンドインの両方として使用し、判断モデルがエージェントモデルよりも弱いと判断する。
  論文  参考訳（メタデータ） (2024-07-05T16:29:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。