論文の概要: Debate Helps Supervise Unreliable Experts

• arxiv url: http://arxiv.org/abs/2311.08702v1
• Date: Wed, 15 Nov 2023 05:05:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-16 17:13:44.639589
• Title: Debate Helps Supervise Unreliable Experts
• Title（参考訳）: ディベートは信頼できない専門家を監督する
• Authors: Julian Michael, Salsabila Mahdi, David Rein, Jackson Petty, Julien Dirani, Vishakh Padmakumar, Samuel R. Bowman
• Abstract要約: 信頼できない2人の専門家の議論は、専門家でない裁判官が真実をより確実に特定する助けになることを示す。 1人の専門家が、半分の時間で正しい答えを1つだけ主張する、基準となる議論と比較すると、議論ははるかに効果が高いことが分かります。 これらの結果は、議論がますます有能で信頼性の低いAIシステムを監視するための有望なアプローチであることを示している。
• 参考スコア（独自算出の注目度）: 33.03555781137954
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As AI systems are used to answer more difficult questions and potentially help create new knowledge, judging the truthfulness of their outputs becomes more difficult and more important. How can we supervise unreliable experts, which have access to the truth but may not accurately report it, to give answers that are systematically true and don't just superficially seem true, when the supervisor can't tell the difference between the two on their own? In this work, we show that debate between two unreliable experts can help a non-expert judge more reliably identify the truth. We collect a dataset of human-written debates on hard reading comprehension questions where the judge has not read the source passage, only ever seeing expert arguments and short quotes selectively revealed by 'expert' debaters who have access to the passage. In our debates, one expert argues for the correct answer, and the other for an incorrect answer. Comparing debate to a baseline we call consultancy, where a single expert argues for only one answer which is correct half of the time, we find that debate performs significantly better, with 84% judge accuracy compared to consultancy's 74%. Debates are also more efficient, being 68% of the length of consultancies. By comparing human to AI debaters, we find evidence that with more skilled (in this case, human) debaters, the performance of debate goes up but the performance of consultancy goes down. Our error analysis also supports this trend, with 46% of errors in human debate attributable to mistakes by the honest debater (which should go away with increased skill); whereas 52% of errors in human consultancy are due to debaters obfuscating the relevant evidence from the judge (which should become worse with increased skill). Overall, these results show that debate is a promising approach for supervising increasingly capable but potentially unreliable AI systems.
• Abstract（参考訳）: AIシステムは、より難しい質問に答え、新しい知識を生み出すのに使用されるため、アウトプットの真偽を判断することがより難しく、より重要になる。 どのようにして信頼できない専門家を監督できるでしょうか。それは、真実にアクセスできても、正確には報告していないのに、制度的に真実であり、単に表面的には真実に思えない答えを与えるにはどうすればいいのでしょうか。 本研究では,信頼できない2人の専門家の議論が,非専門家の裁判官がより確実に真相を判断するのに役立つことを示す。 我々は,専門家の議論や短い引用文を専門家の議論者が選択的に見るだけで,審査員が原文を読まなかった,ハードリーディングの理解に関する質問に関する人間による議論のデータセットを収集する。 私たちの議論では、ある専門家が正しい答えを議論し、もう一方が間違った答えを議論します。 1人の専門家が正解率の半分の1つだけを議論するコンサルタントと呼ぶベースラインと比較すると、議論は極めて良好で、84%の判断精度がコンサルタントの74%よりも高いことがわかった。 議論はより効率的で、相談期間の68%である。 人間とAIの議論者を比較することで、より熟練した(この場合、人間)議論者がいると、議論のパフォーマンスは上がりますが、コンサルタントのパフォーマンスは下がります。 私たちのエラー分析もこの傾向を支持しており、人間の議論における誤りの46%は、正直な議論者による誤りによるもの(スキルの向上による)である。 これらの結果は、議論がますます有能で信頼性の低いAIシステムを監視するための有望なアプローチであることを示している。

関連論文リスト

• On scalable oversight with weak LLMs judging strong LLMs [67.8628575615614]
  我々は、2つのAIが1人の裁判官を納得させようとする議論、すなわち1人のAIが1人の裁判官を説得し、質問をする。 大規模言語モデル(LLM)をAIエージェントと人間の判断のためのスタンドインの両方として使用し、判断モデルがエージェントモデルよりも弱いと判断する。
  論文  参考訳（メタデータ） (2024-07-05T16:29:15Z)
• Debatrix: Multi-dimensional Debate Judge with Iterative Chronological Analysis Based on LLM [51.43102092480804]
  Debatrixは、Large Language Models (LLMs)に基づく自動ディスカッションジャッジである。 実世界の議論シナリオに合わせるため、私たちはPanelBenchベンチマークを導入し、システムの性能と実際の議論結果を比較した。 以上の結果から,LSMを直接使用して議論評価を行ない,顕著な改善が見られた。
  論文  参考訳（メタデータ） (2024-03-12T18:19:47Z)
• Debating with More Persuasive LLMs Leads to More Truthful Answers [45.0343254517401]
  議論は、非専門家モデルと人間の両方が、それぞれ76%と88%の精度で質問に答えるのを一貫して助けていることに気付きました。 以上の結果から,基礎的真理の欠如によるモデルと議論の整合性に関する実証的証拠が得られた。
  論文  参考訳（メタデータ） (2024-02-09T21:05:01Z)
• DebateKG: Automatic Policy Debate Case Creation with Semantic Knowledge Graphs [0.0]
  本稿では,Argumentative Semantic Knowledge Graphs上で,制約付き最短経路トラバーサルを用いて効果的な議論ケースを構築することができることを示す。 53180の新しい例を導入することで、DebateSumを大幅に改善しました。 政策論争の事例を生成する文脈において、どの知識グラフが優れているかを評価するためのユニークな方法を作成する。
  論文  参考訳（メタデータ） (2023-07-09T04:19:19Z)
• Solving NLP Problems through Human-System Collaboration: A Discussion-based Approach [98.13835740351932]
  本研究の目的は,対話を通じて予測を議論・洗練するシステムのための,データセットと計算フレームワークを構築することである。 提案システムでは,自然言語推論タスクにおいて,最大25ポイントの精度向上が期待できることを示す。
  論文  参考訳（メタデータ） (2023-05-19T16:24:50Z)
• Two-Turn Debate Doesn't Help Humans Answer Hard Reading Comprehension Questions [26.404441861051875]
  2つの競合する解答オプションの議論を人間に提示することで、人間の判断をより正確に行うことができるかどうかを評価する。 これまでの研究では、この形式の議論は人間には役に立たないことが示されている。 議論にアクセスできるかどうかに関わらず、人間は我々のタスクで同じように行動する。
  論文  参考訳（メタデータ） (2022-10-19T19:48:50Z)
• Persua: A Visual Interactive System to Enhance the Persuasiveness of Arguments in Online Discussion [52.49981085431061]
  説得力のある議論を書く能力を高めることは、オンラインコミュニケーションの有効性と文明性に寄与する。 オンライン議論における議論の説得力向上を支援するツールの設計目標を4つ導き出した。 Persuaは対話型ビジュアルシステムであり、議論の説得力を高めるための説得戦略の例に基づくガイダンスを提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:07:53Z)
• DebateSum: A large-scale argument mining and summarization dataset [0.0]
  DebateSumは187,386個の独特な証拠と、対応する議論と抽出的な要約で構成されている。 DebateSum上でいくつかの変換器要約モデルを用いて要約性能のベンチマークを行う。 本稿では,全国言語討論会のメンバーによって広く活用されているデータセットの検索エンジンについて述べる。
  論文  参考訳（メタデータ） (2020-11-14T10:06:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。