論文の概要: Review Rarely Beats the Stronger Model: Separating Verification from Capability Transfer in LLM Pipelines

• arxiv url: http://arxiv.org/abs/2610.15897v2
• Date: Wed, 14 Oct 2026 11:38:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.268694
• Title: Review Rarely Beats the Stronger Model: Separating Verification from Capability Transfer in LLM Pipelines
• Title（参考訳）: LLMパイプラインの能力伝達による検証の分離
• Abstract要約: 他のモデルの回答のレビューは通常、ジェネレータに対する利得によって判断される。 これは検証を混乱させ、どちらのモデルも正確さを増すことを示す。
• 参考スコア（独自算出の注目度）: 2.03967593303685
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Qwen3-8B reviewing Llama-3.1-8B in math adds 33.2 points, yet Qwen3-8B alone is 6.4 points more accurate than the result. Reviewing another model's answer is usually judged by its gain over the generator. We show that this confuses verification, which adds accuracy beyond either model alone, with capability transfer, where a stronger reviewer supplies answers it could have given on its own. Measured against the stronger model alone, across 48 pairs of 12 open-weight models (3B to 72B) in math, knowledge, code and reasoning, review beats it in only 9 of 96 review directions, and does worse the larger the capability gap. The reason is anchoring: the reviewer mostly follows the generator, discarding its own correct answers. Review costs 2.6 to 2.8 times as much as the stronger model alone, while a selector using the same two calls is 2.7 to 4.2 points more accurate than review and cheaper. Studies of verification should report the stronger model alone, not only the gain over the generator.
• Abstract（参考訳）: Qwen3-8Bは数学でLlama-3.1-8Bをレビューするが、Qwen3-8Bだけでは結果よりも6.4ポイント正確である。 他のモデルの回答のレビューは通常、ジェネレータに対する利得によって判断される。 これは検証を混乱させ、どちらのモデルよりも正確さを増し、より強力なレビュアーがそれ自身で答えを提示する能力伝達を提供することを示す。 数学、知識、コード、推論において、48組のオープンウェイトモデル(3Bから72B)にまたがって、より強力なモデルに対して測定されたレビューは、96のレビュー方向のうち9つに過ぎず、能力格差を悪化させます。 レビューアはジェネレータにほとんど従って、自分自身の正しい回答を捨てる。 レビューはより強力なモデルよりも2.6～2.8倍、同じ2つの呼び出しを使用するセレクタはレビューよりも2.7～4.2ポイント正確である。 検証の研究は、ジェネレータの利得だけでなく、より強力なモデルのみを報告すべきである。

関連論文リスト

• What Does a Harness Repair? A Preregistered Study of Visibility, Baseline Adequacy and Evaluation Defects [17.521700896129115]
  3つの小さなモデル、3つのベンチマーク、3つのレプリケーションとテストのパーティション、GEPA検索アーム、6つの評価欠陥が一度に1つずつ注入された結果が得られた。 9つのモデルベンチマークセルのうち5つで、キャップ付き思考設定をオフにすると精度が上がり、それぞれが、キャップ付き思考設定が読めない質問から得られる。
  論文  参考訳（メタデータ） (2026-10-04T20:56:07Z)
• When Does a Second Model Help? Cross-Model Review in LLM Verification [0.0]
  大規模言語モデルを用いた制御実験において,モデル独立性を検証した。 最上位のクロスモデルレビュアは、新しいセッションで同じモデルレビューと大きく異なるものではない。 軽量なクロスモデルレビュアーは、同じモデルレビュー以上のスコアを得ない。
  論文  参考訳（メタデータ） (2026-10-01T11:12:36Z)
• Mid-Harness: Scaling Actions Between Model and Harness for Terminal Agents [61.74117371826514]
  モデルハーネス境界におけるテスト時間計算の割り当ては,動作信頼性と軌道上の成功率を向上させることができるかを検討する。 実行前に候補アクションをサンプリングし、検証するMid-Harnessを紹介します。
  論文  参考訳（メタデータ） (2026-09-30T15:40:39Z)
• Knowing When Thinking Is Not Enough: Teaching Small Reasoning Models to Reason Beyond Their Parametric Knowledge [63.752287291668786]
  テスト時間計算のスケールは、言語モデル推論を改善する強力な方法である。 自己閉じ込めは、既に現在の状態から到達可能な解に確率質量を大半を凝縮することを示す。 選択的なクエリフレームワークであるFlyByを導入し、まず4Bと8Bの変種をトレーニングする。
  論文  参考訳（メタデータ） (2026-09-28T05:07:24Z)
• Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
  自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。 これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。 そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
  論文  参考訳（メタデータ） (2026-09-23T17:54:01Z)
• Reviewer Capability Governs Rejection Targeting, Not Repair Skill: Evidence from LLM Execute-Review-Revise Pipelines [0.0]
  マルチエージェントのLLMパイプラインは、実行と検証を含む役割を、異なる機能階層のモデルに割り当てる傾向にある。 以前の文献では、検証段階は必ずしも有益であるとは限らないが、実行者に対してほぼ固定されたレビュアー能力を有していることが確認されている。 我々は、レビュアーを能力の範囲を全く解決できないモデルに置き換え、個々の拒絶の結果を計測する。
  論文  参考訳（メタデータ） (2026-09-02T19:21:49Z)
• Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
  放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。 ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。 3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI) 4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
  論文  参考訳（メタデータ） (2026-07-19T22:27:00Z)
• Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
  Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。 本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。 Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
  論文  参考訳（メタデータ） (2026-06-01T04:43:36Z)
• Understanding and Mitigating Premature Confidence for Better LLM Reasoning [76.16007941549857]
  現在の言語モデルからの思考の長い連鎖(CoT)は、しばしば論理的ギャップと不正な跳躍を含んでいる。 このような信号は、モデルの信頼性が推論中にどのように進化するかを示す。 これは、モデルを早期にコミットするのではなく、理由によってモデルの信頼性を更新するように訓練する強化学習の目標です。
  論文  参考訳（メタデータ） (2026-05-23T04:42:45Z)
• ThinknCheck: Grounded Claim Verification with Compact, Reasoning-Driven, and Interpretable Models [30.634091769134]
  ThinknCheckは、まず短い構造化された理性を生成し、次に二項の検証を行う、根拠付きクレーム検証器である。 LLMAggreFactでは、ThinknCheckは78.1の平衡精度(BAcc)を獲得し、MiniCheck-7B (77.4)を7倍のパラメータで上回っている。 SciFactでは、ThinknCheckは64.7 BAccに達し、MiniCheck-7Bよりも14.7の絶対ゲインを得た。
  論文  参考訳（メタデータ） (2026-04-02T05:50:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。