論文の概要: Training Language Models to Win Debates with Self-Play Improves Judge Accuracy

• arxiv url: http://arxiv.org/abs/2409.16636v1
• Date: Wed, 25 Sep 2024 05:28:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-27 05:23:25.823430
• Title: Training Language Models to Win Debates with Self-Play Improves Judge Accuracy
• Title（参考訳）: セルフプレイで議論に勝つための学習言語モデルによる判断精度の向上
• Authors: Samuel Arnesen, David Rein, Julian Michael,
• Abstract要約: 本稿では,学習モデルによるスケーラブルな監視手法としての議論の堅牢性を試行し,自己再生によって生成されたデータと議論する。 言語モデルに基づく評価器は、モデルの判断が議論に勝つように最適化されたときに、より正確に質問に答える。
• 参考スコア（独自算出の注目度）: 8.13173791334223
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We test the robustness of debate as a method of scalable oversight by training models to debate with data generated via self-play. In a long-context reading comprehension task, we find that language model based evaluators answer questions more accurately when judging models optimized to win debates. By contrast, we find no such relationship for consultancy models trained to persuade a judge without an opposing debater present. In quantitative and qualitative comparisons between our debate models and novel consultancy baselines, we find evidence that debate training encourages stronger and more informative arguments, showing promise that it can help provide high-quality supervision for tasks that are difficult to directly evaluate.
• Abstract（参考訳）: 本稿では,学習モデルによるスケーラブルな監視手法としての議論の堅牢性を試行し,自己再生によって生成されたデータと議論する。 長文読解タスクでは,言語モデルに基づく評価器が,議論に勝つために最適化されたモデルを判断する際に,より正確に解答することがわかった。 対照的に、対立する議論者がいない裁判官を説得するために訓練されたコンサルタントモデルについて、そのような関係は見つからない。 議論モデルと新たなコンサルタントベースラインの量的・質的な比較では、議論トレーニングがより強く、より情報的な議論を奨励する証拠を見つけ、それが直接評価が難しいタスクの高品質な監視に役立つことを約束する。

関連論文リスト

• ACC-Debate: An Actor-Critic Approach to Multi-Agent Debate [20.040543142468344]
  本稿では,アクタ・クリティカルをベースとした学習フレームワークACC-Debateを提案する。 ACC-Debate は幅広いベンチマークで SotA の議論手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-30T19:09:02Z)
• On scalable oversight with weak LLMs judging strong LLMs [67.8628575615614]
  我々は、2つのAIが1人の裁判官を納得させようとする議論、すなわち1人のAIが1人の裁判官を説得し、質問をする。 大規模言語モデル(LLM)をAIエージェントと人間の判断のためのスタンドインの両方として使用し、判断モデルがエージェントモデルよりも弱いと判断する。
  論文  参考訳（メタデータ） (2024-07-05T16:29:15Z)
• Debatrix: Multi-dimensional Debate Judge with Iterative Chronological Analysis Based on LLM [51.43102092480804]
  Debatrixは、Large Language Models (LLMs)に基づく自動ディスカッションジャッジである。 実世界の議論シナリオに合わせるため、私たちはPanelBenchベンチマークを導入し、システムの性能と実際の議論結果を比較した。 以上の結果から,LSMを直接使用して議論評価を行ない,顕著な改善が見られた。
  論文  参考訳（メタデータ） (2024-03-12T18:19:47Z)
• Debating with More Persuasive LLMs Leads to More Truthful Answers [45.0343254517401]
  議論は、非専門家モデルと人間の両方が、それぞれ76%と88%の精度で質問に答えるのを一貫して助けていることに気付きました。 以上の結果から,基礎的真理の欠如によるモデルと議論の整合性に関する実証的証拠が得られた。
  論文  参考訳（メタデータ） (2024-02-09T21:05:01Z)
• SAIE Framework: Support Alone Isn't Enough -- Advancing LLM Training with Adversarial Remarks [47.609417223514605]
  この研究は、学習者とパートナーモデルの間の支援的および敵対的な議論を促進するSAIEフレームワークを紹介している。 実験により,SAIEフレームワークで微調整したモデルでは,従来の微調整手法で訓練したモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-11-14T12:12:25Z)
• Explaining Image Classification with Visual Debates [26.76139301708958]
  本稿では,特定の予測を行うための連続画像分類器の推論の理解と説明のための新しい議論フレームワークを提案する。 我々の枠組みは、対戦相手が見逃した推論の道筋を拾い上げることで、競技者が様々な議論を行うよう促す。 我々は、幾何学的SHAPEおよびMNISTデータセット上で、視覚的議論を実証し、評価する(実用的な実現)。
  論文  参考訳（メタデータ） (2022-10-17T12:35:52Z)
• Don't Copy the Teacher: Data and Model Challenges in Embodied Dialogue [92.01165203498299]
  後続の身体的対話命令は、自然言語交換から複雑なタスクのシーケンスを完了させるエージェントを必要とする。 本稿では,模倣学習(IL)と関連する低レベルメトリクスが,実際には誤解を招くものであり,具体的対話研究の目標と一致していないことを論じる。
  論文  参考訳（メタデータ） (2022-10-10T05:51:40Z)
• High Quality Real-Time Structured Debate Generation [0.0]
  ハイレベルな構造と文法を図りながら議論を起こすための議論木と経路を定義した。 各議論に関連付けられたメタデータを持つ木構造論争の大規模なコーパスを活用する。 以上の結果から,人間に近い品質で複雑なトピックをリアルタイムに議論する能力を示す。
  論文  参考訳（メタデータ） (2020-12-01T01:39:38Z)
• Knowledge-Grounded Dialogue Generation with Pre-trained Language Models [74.09352261943911]
  我々は、事前学習された言語モデルを用いた知識基底対話生成について研究する。 本稿では,知識選択モジュールを用いた事前学習言語モデルによって定義された等価応答生成を提案する。
  論文  参考訳（メタデータ） (2020-10-17T16:49:43Z)
• Learning an Effective Context-Response Matching Model with Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
  我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。 我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。 実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-09-14T08:44:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。