論文の概要: Debate Helps Supervise Unreliable Experts
- arxiv url: http://arxiv.org/abs/2311.08702v1
- Date: Wed, 15 Nov 2023 05:05:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-16 17:13:44.639589
- Title: Debate Helps Supervise Unreliable Experts
- Title（参考訳）: ディベートは信頼できない専門家を監督する
- Authors: Julian Michael, Salsabila Mahdi, David Rein, Jackson Petty, Julien
Dirani, Vishakh Padmakumar, Samuel R. Bowman
- Abstract要約: 信頼できない2人の専門家の議論は、専門家でない裁判官が真実をより確実に特定する助けになることを示す。
1人の専門家が、半分の時間で正しい答えを1つだけ主張する、基準となる議論と比較すると、議論ははるかに効果が高いことが分かります。
これらの結果は、議論がますます有能で信頼性の低いAIシステムを監視するための有望なアプローチであることを示している。
- 参考スコア（独自算出の注目度）: 33.03555781137954
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As AI systems are used to answer more difficult questions and potentially
help create new knowledge, judging the truthfulness of their outputs becomes
more difficult and more important. How can we supervise unreliable experts,
which have access to the truth but may not accurately report it, to give
answers that are systematically true and don't just superficially seem true,
when the supervisor can't tell the difference between the two on their own? In
this work, we show that debate between two unreliable experts can help a
non-expert judge more reliably identify the truth. We collect a dataset of
human-written debates on hard reading comprehension questions where the judge
has not read the source passage, only ever seeing expert arguments and short
quotes selectively revealed by 'expert' debaters who have access to the
passage. In our debates, one expert argues for the correct answer, and the
other for an incorrect answer. Comparing debate to a baseline we call
consultancy, where a single expert argues for only one answer which is correct
half of the time, we find that debate performs significantly better, with 84%
judge accuracy compared to consultancy's 74%. Debates are also more efficient,
being 68% of the length of consultancies. By comparing human to AI debaters, we
find evidence that with more skilled (in this case, human) debaters, the
performance of debate goes up but the performance of consultancy goes down. Our
error analysis also supports this trend, with 46% of errors in human debate
attributable to mistakes by the honest debater (which should go away with
increased skill); whereas 52% of errors in human consultancy are due to
debaters obfuscating the relevant evidence from the judge (which should become
worse with increased skill). Overall, these results show that debate is a
promising approach for supervising increasingly capable but potentially
unreliable AI systems.
- Abstract（参考訳）: AIシステムは、より難しい質問に答え、新しい知識を生み出すのに使用されるため、アウトプットの真偽を判断することがより難しく、より重要になる。
どのようにして信頼できない専門家を監督できるでしょうか。それは、真実にアクセスできても、正確には報告していないのに、制度的に真実であり、単に表面的には真実に思えない答えを与えるにはどうすればいいのでしょうか。
本研究では,信頼できない2人の専門家の議論が,非専門家の裁判官がより確実に真相を判断するのに役立つことを示す。
我々は,専門家の議論や短い引用文を専門家の議論者が選択的に見るだけで,審査員が原文を読まなかった,ハードリーディングの理解に関する質問に関する人間による議論のデータセットを収集する。
私たちの議論では、ある専門家が正しい答えを議論し、もう一方が間違った答えを議論します。
1人の専門家が正解率の半分の1つだけを議論するコンサルタントと呼ぶベースラインと比較すると、議論は極めて良好で、84%の判断精度がコンサルタントの74%よりも高いことがわかった。
議論はより効率的で、相談期間の68%である。
人間とAIの議論者を比較することで、より熟練した(この場合、人間)議論者がいると、議論のパフォーマンスは上がりますが、コンサルタントのパフォーマンスは下がります。
私たちのエラー分析もこの傾向を支持しており、人間の議論における誤りの46%は、正直な議論者による誤りによるもの(スキルの向上による)である。
これらの結果は、議論がますます有能で信頼性の低いAIシステムを監視するための有望なアプローチであることを示している。
関連論文リスト
- Training Language Models to Win Debates with Self-Play Improves Judge Accuracy [8.13173791334223]
本稿では,学習モデルによるスケーラブルな監視手法としての議論の堅牢性を試行し,自己再生によって生成されたデータと議論する。
言語モデルに基づく評価器は、モデルの判断が議論に勝つように最適化されたときに、より正確に質問に答える。
論文 参考訳（メタデータ） (2024-09-25T05:28:33Z) - On scalable oversight with weak LLMs judging strong LLMs [67.8628575615614]
我々は、2つのAIが1人の裁判官を納得させようとする議論、すなわち1人のAIが1人の裁判官を説得し、質問をする。
大規模言語モデル(LLM)をAIエージェントと人間の判断のためのスタンドインの両方として使用し、判断モデルがエージェントモデルよりも弱いと判断する。
論文 参考訳（メタデータ） (2024-07-05T16:29:15Z) - Debatrix: Multi-dimensional Debate Judge with Iterative Chronological Analysis Based on LLM [51.43102092480804]
Debatrixは、Large Language Models (LLMs)に基づく自動ディスカッションジャッジである。
実世界の議論シナリオに合わせるため、私たちはPanelBenchベンチマークを導入し、システムの性能と実際の議論結果を比較した。
以上の結果から,LSMを直接使用して議論評価を行ない,顕著な改善が見られた。
論文 参考訳（メタデータ） (2024-03-12T18:19:47Z) - Debating with More Persuasive LLMs Leads to More Truthful Answers [45.0343254517401]
議論は、非専門家モデルと人間の両方が、それぞれ76%と88%の精度で質問に答えるのを一貫して助けていることに気付きました。
以上の結果から,基礎的真理の欠如によるモデルと議論の整合性に関する実証的証拠が得られた。
論文 参考訳（メタデータ） (2024-02-09T21:05:01Z) - Solving NLP Problems through Human-System Collaboration: A
Discussion-based Approach [98.13835740351932]
本研究の目的は,対話を通じて予測を議論・洗練するシステムのための,データセットと計算フレームワークを構築することである。
提案システムでは,自然言語推論タスクにおいて,最大25ポイントの精度向上が期待できることを示す。
論文 参考訳（メタデータ） (2023-05-19T16:24:50Z) - Two-Turn Debate Doesn't Help Humans Answer Hard Reading Comprehension
Questions [26.404441861051875]
2つの競合する解答オプションの議論を人間に提示することで、人間の判断をより正確に行うことができるかどうかを評価する。
これまでの研究では、この形式の議論は人間には役に立たないことが示されている。
議論にアクセスできるかどうかに関わらず、人間は我々のタスクで同じように行動する。
論文 参考訳（メタデータ） (2022-10-19T19:48:50Z) - Persua: A Visual Interactive System to Enhance the Persuasiveness of
Arguments in Online Discussion [52.49981085431061]
説得力のある議論を書く能力を高めることは、オンラインコミュニケーションの有効性と文明性に寄与する。
オンライン議論における議論の説得力向上を支援するツールの設計目標を4つ導き出した。
Persuaは対話型ビジュアルシステムであり、議論の説得力を高めるための説得戦略の例に基づくガイダンスを提供する。
論文 参考訳（メタデータ） (2022-04-16T08:07:53Z) - DebateSum: A large-scale argument mining and summarization dataset [0.0]
DebateSumは187,386個の独特な証拠と、対応する議論と抽出的な要約で構成されている。
DebateSum上でいくつかの変換器要約モデルを用いて要約性能のベンチマークを行う。
本稿では,全国言語討論会のメンバーによって広く活用されているデータセットの検索エンジンについて述べる。
論文 参考訳（メタデータ） (2020-11-14T10:06:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。