論文の概要: Humans Correct Their Judgments Through Debate, but Weaker AI Models Do Not

• arxiv url: http://arxiv.org/abs/2610.28539v1
• Date: Tue, 20 Oct 2026 17:10:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.941699
• Title: Humans Correct Their Judgments Through Debate, but Weaker AI Models Do Not
• Title（参考訳）: 人間は議論を通じて判断を正すが、Weaker AIモデルはそうではない
• Abstract要約: AI Safety via Debateは、2つのAIシステムが対立する立場を主張し、審査員(人間または弱いモデル)がどちらが正しいかを決定することを提案している。 本稿では,従来の信念にもかかわらず,議論が人間とLLMの監督者を真に導くことができるかどうかを考察する。 人間の判断に対する事前の信念と比較して議論が正確になるのに対して、単一の専門家が一つの回答を主張するコンサルタントのベースラインはそうではない。 しかし、より弱い言語モデルでは、結果は多岐にわたる: 議論は多くの設定で同等の利得を提供しておらず、精度を下げることもできる。
• 参考スコア（独自算出の注目度）: 1.9498910830048122
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How can we effectively oversee AI systems that surpass human intelligence? AI Safety via Debate proposes that two AI systems argue opposing positions and a judge, either a human or a weaker model, decides which is correct. By facilitating supervisors in providing high-quality training signals, debate aims to encourage truthful and safe behavior from AI systems whose capabilities exceed our own. However, human judgment is not neutral: people often rely on biases which advanced AI systems may learn to exploit. Drawing on insights from collective intelligence and social cognition, this paper investigates whether debate can guide human and LLM supervisors toward the truth despite their prior beliefs. We evaluate several protocol configurations. We also explore setups inspired by the wisdom of the crowd such as the number and diversity of judges, as well as interaction mechanisms including deliberation and voting. Overall, we find that debate increases accuracy relative to prior beliefs for human judges, whereas the consultancy baseline, in which a single expert argues for one answer, does not. For weaker language models, however, the results are mixed: debate provides no comparable gains in most settings and can even reduce accuracy. Among multi-judge protocols, weighted voting produces the highest accuracy for human supervisors, whereas for LLMs none of them significantly improves group accuracy, even as the number of judges increases. Notably, the behavior of minority judges in non-diverse deliberation protocols suggests that, under symmetric settings, incorrect positions could be more persuasive than correct ones. These findings support debate as a viable path toward scalable human oversight, but cast doubt on its benefits for weaker AI supervisors, raising concerns about fully automated training and control pipelines in high-stakes settings.
• Abstract（参考訳）: 人間の知性を超えたAIシステムを効果的に監視するにはどうすればいいのか? AI Safety via Debateは、2つのAIシステムが対立する立場を主張し、審査員(人間または弱いモデル)がどちらが正しいかを決定することを提案している。 上司が高品質なトレーニング信号を提供するのを手伝うことで、議論は、私たち自身の能力を超えたAIシステムから真実で安全な行動を促進することを目的としている。 しかし、人間の判断は中立的ではない。人々はしばしば、先進的なAIシステムが活用することを学ぶバイアスに頼っている。 本稿では,集団知性と社会的認知の洞察に基づいて,従来の信念にもかかわらず,議論が人間とLLMの監督者を真に導くことができるかどうかを考察する。 いくつかのプロトコル構成を評価する。 また、審査員の数や多様性など、群衆の知恵に触発された設定や、審議や投票などのインタラクションメカニズムについても検討する。 全体として、議論は人間の判断に対する以前の信念と比較して正確さを増すが、単一の専門家が一つの答えを主張するコンサルタントのベースラインはそうではない。 しかし、より弱い言語モデルでは、結果は多岐にわたる: 議論は多くの設定で同等の利得を提供しておらず、精度を下げることもできる。 マルチジャッジプロトコルの中で、重み付けされた投票は人間の監督者にとって最も正確であるが、LSMでは、審査員数が増えてもグループ精度を著しく向上させるものはない。 特に、非多角的審理プロトコルにおける少数派の裁判官の行動は、対称的条件下では、不正な位置が正しい位置よりも説得力が高いことを示唆している。 これらの発見は、スケーラブルな人間の監視に向けた実行可能な道として議論を支持しているが、AIスーパーバイザーにとってのメリットに疑問を投げかけ、ハイテイク環境で完全に自動化されたトレーニングとコントロールパイプラインに関する懸念を提起した。

関連論文リスト

• The Silicon Reasonable Person: Can AI Predict How Ordinary People Judge Reasonableness? [0.0]
  本稿では,大規模言語モデル(LLM)が人間の合理的性判断を駆動するパターンを識別できることを考察する。 特定のモデルが表面レベルの応答だけでなく,その基盤となる決定的アーキテクチャも捉えていることを示す。 裁判官はより広いパターンに対して直感を調整でき、議員は政策解釈をテストでき、資源制約のある訴訟員は議論の受理をプレビューできる。
  論文  参考訳（メタデータ） (2025-08-04T06:19:45Z)
• AI Debate Aids Assessment of Controversial Claims [73.8907110799657]
  我々は、AI論争が、議論の的になっている事実性主張の側面に対立する2つのAIシステムを議論させることで、偏見のある裁判官を真実に導くことができるかどうかを調査する。 研究Iでは、議論は人間の判断精度と信頼性の校正を継続的に改善し、コンサルタントを上回ります。 研究IIでは、人間のような人格を持つAI裁判官は、人格を持たない人格(70.1%)やデフォルトのAI裁判官(69.8%)よりも高い精度(78.5%)を達成する。 これらの調査結果は、AIの議論が、競争対象ドメインにおけるスケーラブルでバイアス耐性のある監視への有望な道であることを示している。
  論文  参考訳（メタデータ） (2025-06-02T19:01:53Z)
• On scalable oversight with weak LLMs judging strong LLMs [67.8628575615614]
  我々は、2つのAIが1人の裁判官を納得させようとする議論、すなわち1人のAIが1人の裁判官を説得し、質問をする。 大規模言語モデル(LLM)をAIエージェントと人間の判断のためのスタンドインの両方として使用し、判断モデルがエージェントモデルよりも弱いと判断する。
  論文  参考訳（メタデータ） (2024-07-05T16:29:15Z)
• Fairness in AI and Its Long-Term Implications on Society [68.8204255655161]
  AIフェアネスを詳しく見て、AIフェアネスの欠如が、時間の経過とともにバイアスの深化につながるかを分析します。 偏りのあるモデルが特定のグループに対してよりネガティブな現実的な結果をもたらすかについて議論する。 問題が続くと、他のリスクとの相互作用によって強化され、社会不安という形で社会に深刻な影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2023-04-16T11:22:59Z)
• Can Machines Imitate Humans? Integrative Turing-like tests for Language and Vision Demonstrate a Narrowing Gap [56.611702960809644]
  3つの言語タスクと3つの視覚タスクで人間を模倣するAIの能力をベンチマークする。 次に,人間1,916名,AI10名を対象に,72,191名のチューリング様試験を行った。 模倣能力は従来のAIパフォーマンス指標と最小限の相関を示した。
  論文  参考訳（メタデータ） (2022-11-23T16:16:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。