論文の概要: Benchmarks Don't Talk Back: Learning Through Self-Disagreement
- arxiv url: http://arxiv.org/abs/2611.17563v1
- Date: Thu, 12 Nov 2026 22:37:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.27066
- Title: Benchmarks Don't Talk Back: Learning Through Self-Disagreement
- Title(参考訳): ベンチマークは話さない - 自己分散を通じて学ぶ
- Abstract要約: 失敗するものは、正確さの不足ではなく、それ自体が能力であることを示す。
いつ位置を保ち、いつより良い位置に進むかを知っている。
これを自己認識(Self-Disagreement)と呼ぶ。
- 参考スコア(独自算出の注目度): 3.136353372192817
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A benchmark usually measures a language model alone with a question, and deployment rarely looks like that: answers get contested, and models give up correct ones under counter-reasoning that is itself wrong. We show that what fails there is not a shortfall of accuracy but a capability in its own right -- knowing when to hold a position and when to yield to a better one -- which we call dialectical competence. It stands on first-answer accuracy without following from it: a model can be made materially better at answering and no better at this, and training for accuracy alone can drift against it. Nor can it be bought at inference, by self-reflection or by sampling more. Taking a cue from the dialectical tradition in philosophy, in which productive opposition arises within a position rather than being imposed on it from outside, we hypothesize that this capability can be trained from opposition the model supplies itself. It states a position, generates the strongest case against that position -- its antithesis -- rules on whether the case stands, and is trained on that ruling, with no second model at training or at deployment. We call this learning through Self-Disagreement: reinforcement learning from verifiable rewards throughout, where the same check that scores an answer against its reference scores the ruling too, so no reward model, no preference data and no human annotation enter anywhere. The capability is trained rather than elicited: weak in the base model, it arrives with the reward, is not paid for out of first-answer accuracy, and holds against challengers the model never trained against, including ones stronger than itself. The opposition a model needs in order to improve, it turns out, need not come from outside it.
- Abstract(参考訳): 通常、ベンチマークは言語モデルのみを質問で測定するが、そのように展開することはめったにない。
失敗するものは、正確さの不足ではなく、それ自身の権利の能力である、いつ位置を保ち、いつより良いものを得るかを知っていることを示し、それを弁証的能力と呼ぶ。
モデルは答えの精度が大幅に向上し、これについては改善されず、正確性のみのトレーニングはそれに対してドリフトすることができる。
推論や自己回帰、サンプリングによっても購入できない。
哲学における弁証的伝統からヒントを得て、外部から強制されるのではなく、生産的な反対が位置内で生じるという、この能力は、モデルがそれ自体に供給する反対者から訓練できるという仮説を立てる。
ポジションを宣言し、そのポジションに対して最強のケース -- そのアンチテーゼ -- を生成する。
私たちはこの学習を、自己認識(Self-Disagreement)と呼ぶ: 検証可能な報酬全体からの強化学習では、基準スコアに対して回答をスコア付けするのと同じチェックが判断を下すため、報酬モデルも優先データも人間のアノテーションもどこにも入らない。
ベースモデルの弱点は、報酬を持って到着し、最初の回答の正確さから支払われず、モデルがトレーニングしたことのない挑戦者に対して、自身よりも強いものを含めます。
モデルを改善するために必要な反対意見は、その外部から来る必要はないことが判明した。
関連論文リスト
- From Bias to Positionality: A critical grammar for Large Language Models [10.23056131467512]
Biasは、機械学習システムの動作と、それらとの関連性を理解するためのデフォルトレンズになっている。
言語モデルの一般的な使用では、標準には何の役にも立たない。
位置性は、現在これらのモデルが強要している問題にとってより良い文法である、と私たちは主張する。
論文 参考訳(メタデータ) (2026-11-10T13:41:18Z) - Adversarial Self-Distillation [58.171138746381395]
逆自己蒸留(Adversarial Self-Distillation、ASD)は、モデル自身の安全な振る舞いを敵の摂動の空間に拡張する。
ASDは、複数の選択精度を損なうことなく、最先端の防御よりも低い攻撃成功を達成する。
論文 参考訳(メタデータ) (2026-10-28T19:26:43Z) - Understanding as No-Arbitrage: Bounded Dutch Books as a Definition and Training Objective for Language Models [0.0]
我々はこの疑問を、非アービタージュのレンズを通して「理解」を定義することで測定可能とする。
計算的に有界なトレーダーが保証された利益を抽出できない場合、モデルは語彙をある程度理解する。
Arbitrは、敵対的トレーダーが論理的不整合のモデルをペナルティ化するトレーニングフレームワークである。
論文 参考訳(メタデータ) (2026-09-30T09:07:44Z) - Amplified Does Not Mean Predictive: Reasoning Behaviors in Thinking Models [56.88565331713778]
推論指向のトレーニングは、モデル正しさに最も結びついている振る舞いを増幅することなく、トレースをより熟考的に見せることができる。
このミスマッチを、モデル推論トレースにおける振る舞いの有無に対して、振舞いがどの程度の正確性を変えるかを測定するメトリクスである振舞いリフトと定量化します。
我々は、思考モデルが自己認識、仮説テスト、不確実性認知を強く増幅する増幅自由ギャップの証拠を見つける。
論文 参考訳(メタデータ) (2026-08-13T20:37:59Z) - Rethinking On-Policy Self-Distillation for Thinking Models [32.29580112160733]
自己蒸留は、言語モデルにおける自己改善のための有望なレシピである。
特権的な自己蒸留は、長い推論トレースに基づいて思考モデルを劣化させることを示す。
我々の診断は、この障害モードを、高エントロピーなフォーク位置での学習に特権を持つ教師のコンテキストがどう影響するかに関連付ける。
論文 参考訳(メタデータ) (2026-07-06T15:01:35Z) - Discretizing Reward Models [70.71071807050916]
多くの人気報酬モデルが過敏であり、異なるスコアを等しく良い応答に割り当てていることを示す。
我々は「識別能力」と「特異性」の尺度を用いた報酬モデルの評価を提案する。
論文 参考訳(メタデータ) (2026-06-19T23:13:59Z) - The Illusion of Certainty: Decoupling Capability and Calibration in On-Policy Distillation [67.26315138466312]
モデルロールアウトから経験的信頼性を推定するキャリブレーション対応のOPDフレームワークであるCaOPDを提案する。
本研究は, 能力蒸留が信頼性を示唆するものではないこと, 信頼性をポストトレーニングの本質的な目的として扱うべきであることを明らかにする。
論文 参考訳(メタデータ) (2026-04-18T04:43:40Z) - Pando: Do Interpretability Methods Work When Models Won't Explain Themselves? [53.07826484214082]
モデル・オーガニゼーションのベンチマークであるPandoを紹介します。
Pandoは、ラベル付きクエリ-レスポンスペアから、ホールドアウトモデル決定を予測する。
説明が忠実であれば、ブラックボックスの引用はすべてのホワイトボックスメソッドに一致するか、超える。
論文 参考訳(メタデータ) (2026-04-13T06:42:24Z) - Honesty over Accuracy: Trustworthy Language Models through Reinforced Hesitation [12.503662455234954]
現代の言語モデルでは、誤った回答が破滅的な結果をもたらす場合でも、自信ある幻覚が生じることを示す。
RLVR(Reinforceed Hesitation)は,2進法ではなく3進法を用いた強化学習(Reinforcement Learning from Verifiable Rewards, RLVR)の修正である。
論文 参考訳(メタデータ) (2025-11-14T17:20:45Z) - Can Large Reasoning Models Self-Train? [51.0277533541394]
多数決投票を簡単な自己フィードバック機構として利用し、強化学習において自己学習が持続できるかどうかを検討する。
この基本的なアプローチは、モデルの推論性能だけでなく、次のRLイテレーションでより良い品質フィードバックを生成する能力も改善します。
しかし、我々の分析では、このような自己学習パラダイムの限界も明らかにしています - 自己回帰の長いRLは、報酬のハッキングにつながるため、突然、そして完全なパフォーマンスが崩壊します。
論文 参考訳(メタデータ) (2025-05-27T17:16:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。