論文の概要: Towards a Theory of Learnability via Debate
- arxiv url: http://arxiv.org/abs/2611.17303v1
- Date: Thu, 12 Nov 2026 18:55:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.596513
- Title: Towards a Theory of Learnability via Debate
- Title(参考訳): 議論による学習可能性の理論に向けて
- Abstract要約: Debateは最近、より整合したモデルを生成するためのトレーニングプロトコルとして提案されている。
オンライン学習問題として定式化することで、プロトコル内で暗黙的に学習問題を理解するための第一歩を踏み出す。
学習問題を正確に定式化すると、審査員が与えられた場合の最良の学習方法が、相手の議論と異なる場合があることが示される。
- 参考スコア(独自算出の注目度): 15.532424806101224
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Debate has been recently proposed as a training protocol that is hoped to produce more aligned models even as model capabilities scale. The idea is that the human, instead of providing supervision in the form of labels, judges a debate between two models that compete to prove the correctness of opposite labels. It can be shown that functions of a much higher computational complexity can be correctly judged in this way, compared to the complexity of functions that can be directly evaluated using a computationally weak evaluator. This suggests that perhaps debate can be used to teach very complicated functions to models. However, previous work has largely ignored the fact that this is a training protocol, and simply analyzes the game being played between the two debaters for a known judge. We take the first steps towards understanding the learning problem implicit within the protocol, by formulating it as an online learning problem. We show that once we formulate the learning problem precisely, there are cases where the best way to learn given access to a judge is different from running an adversarial debate. This motivates us to define a cooperative version of the protocol, whose learnability we characterize using a combinatorial dimension. We also consider the possibility of the human judge being fallible and occasionally judging the debate incorrectly. We show that a small number of errors in judgement can lead to a large error in learning.
- Abstract(参考訳): Debateは最近、モデル能力のスケールのように、より整合したモデルを生成するためのトレーニングプロトコルとして提案されている。
この考え方は、人間はラベルの形式を監督する代わりに、反対ラベルの正しさを証明するために競合する2つのモデル間の議論を判断する。
計算的に弱い評価器を用いて直接評価できる関数の複雑さと比較して、はるかに高い計算複雑性の関数を正しく判断できることが示せる。
これはおそらく、モデルに非常に複雑な関数を教えるために議論が使用できることを示唆している。
しかし、これまでの研究は、これがトレーニングプロトコルであるという事実をほとんど無視しており、既知の審査員のために2人の議論者がプレイしているゲームを分析しているだけである。
オンライン学習問題として定式化することで、プロトコル内で暗黙的に学習問題を理解するための第一歩を踏み出す。
学習問題を正確に定式化すると、審査員が与えられた場合の最良の学習方法が、対立する議論と異なる場合があることが示される。
これにより、我々はプロトコルの協調バージョンを定義する動機となり、その学習性は組合せ次元を用いて特徴づけられる。
また、人間の裁判官が誤認し、時には議論を誤って判断する可能性についても検討する。
判断の誤りが少なすぎると、学習のエラーが大きくなる可能性があることを示す。
関連論文リスト
- How to Have a Sensitive Debate: An Instance-Optimal Protocol for AI Debate [12.02696623575991]
AIに関する議論は、2つの強力なAI間の議論を活用して、複雑な問題を、直接的に判断できる単純な主張に分解しようとしている。
現在の最良のプロトコルは、サブプロブレムに十分に安定な分解を持つ全ての問題に有効であることが示されている。
本稿では,これらの問題に対して,いくつかの方法で先行作業を改善するための新しいプロトコルを設計する。
論文 参考訳(メタデータ) (2026-10-01T22:45:03Z) - Debate is efficient with your time [26.121215987560635]
本稿では,検証者が検証しなければならない最小のビット数について,議論を正しく決定するDQCについて紹介する。
PSPACE/poly は O(log n) クエリで決定可能な関数のクラスである。
また、全ての入力ビットに依存する関数はOmega(log n)クエリを必要とし、サイズ s の回路で計算可能な関数は DQC(f) = log(s) + 3 を満たすことも確認した。
論文 参考訳(メタデータ) (2026-02-09T13:21:32Z) - AI Agents as Universal Task Solvers [94.49762121230042]
我々は,過去のデータを用いて,普遍的な解法が達成できる最適なスピードアップが,アルゴリズム情報と密接な関係があることを示す。
我々は、推論モデルをスケールする際に最適化する重要な量は時間であり、学習における重要な役割は、これまでは間接的にのみ考慮されてきたと論じている。
論文 参考訳(メタデータ) (2025-10-14T02:17:54Z) - Avoiding Obfuscation with Prover-Estimator Debate [33.14645106993676]
本稿では,複雑な問題に対する人間の判断の正当性を保証するAI討論のためのプロトコルを提案する。
不正直な議論者は、正直な相手に計算的に難解な問題を解くよう強制する計算効率のよい戦略を利用できる。
論文 参考訳(メタデータ) (2025-06-16T15:37:33Z) - Weakly-Supervised Contrastive Learning for Imprecise Class Labels [50.57424331797865]
正対と負対を定義するために「連続的意味的類似性」の概念を導入する。
弱教師付きコントラスト学習のためのグラフ理論フレームワークを提案する。
我々のフレームワークは非常に多用途であり、多くの弱い教師付き学習シナリオに適用できる。
論文 参考訳(メタデータ) (2025-05-28T06:50:40Z) - Probably Approximately Precision and Recall Learning [60.00180898830079]
機械学習における重要な課題は、一方的なフィードバックの頻度である。
本稿では,確率的近似(PAC)フレームワークを導入し,各入力をラベルの集合にマッピングする仮説を定めている。
我々は、正のデータのみから学習する新しいアルゴリズムを開発し、実現可能な場合において最適なサンプル複雑性を実現する。
論文 参考訳(メタデータ) (2024-11-20T04:21:07Z) - Training Language Models to Win Debates with Self-Play Improves Judge Accuracy [8.13173791334223]
本稿では,学習モデルによるスケーラブルな監視手法としての議論の堅牢性を試行し,自己再生によって生成されたデータと議論する。
言語モデルに基づく評価器は、モデルの判断が議論に勝つように最適化されたときに、より正確に質問に答える。
論文 参考訳(メタデータ) (2024-09-25T05:28:33Z) - On scalable oversight with weak LLMs judging strong LLMs [67.8628575615614]
我々は、2つのAIが1人の裁判官を納得させようとする議論、すなわち1人のAIが1人の裁判官を説得し、質問をする。
大規模言語モデル(LLM)をAIエージェントと人間の判断のためのスタンドインの両方として使用し、判断モデルがエージェントモデルよりも弱いと判断する。
論文 参考訳(メタデータ) (2024-07-05T16:29:15Z) - Explain, Edit, and Understand: Rethinking User Study Design for
Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。
単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文 参考訳(メタデータ) (2021-12-17T18:29:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。