論文の概要: Weak Critics Make Strong Learners: On-Policy Critique Distillation for Scalable Oversight

• arxiv url: http://arxiv.org/abs/2606.00424v1
• Date: Fri, 29 May 2026 23:21:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.39623
• Title: Weak Critics Make Strong Learners: On-Policy Critique Distillation for Scalable Oversight
• Title（参考訳）: 弱い批判は強力な学習者を生み出す: スケーラブルな監視のためのオン・ポリティクス的批判蒸留
• Abstract要約: 我々は、ラベルや審査員というよりも、批判者として弱いモデルを使用することによって、より厳しい監督の形式を研究する。 まず、弱い批判が推論時に凍った強いモデルを改善することを示し、この改善の鍵となる批判品質を示す。 そこで我々は, 高品質な批判をフィルタリングし, 批判誘導行動の強いモデルに蒸留する, プログレッシブ・オン・ポリティクス・クリティーク蒸留(**OPCD**)を提案する。
• 参考スコア（独自算出の注目度）: 29.295859781705044
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models become stronger, weak supervisors may fail to provide reliable labels, preferences, or final judgments for complex outputs, limiting both weak-to-strong generalization and scalable oversight. We study a more tractable form of weak supervision: using a weak model as a critic rather than as a labeler or judge. Instead of solving the task or selecting the correct answer, the weak critic only needs to provide a non-misleading revision direction that helps the strong model better use its own knowledge. We call this setting *weak-critic strong oversight*. We first show that weak critiques can improve frozen strong models at inference time, and that critique quality is key to this improvement. We then propose progressive on-policy critique distillation (**OPCD**), which filters high-quality critiques and distills critic-guided behavior into the strong model through adaptive self-teacher signals. Experiments on reasoning and alignment benchmarks show that our method improves strong models over training epochs, suggesting an effective path for scalable oversight with weak supervision.
• Abstract（参考訳）: 大きな言語モデルがより強くなるにつれて、弱い監督者は、信頼できるラベル、好み、あるいは最終的な判断を複雑なアウトプットに提供することができなくなり、弱いから強い一般化とスケーラブルな監視の両方を制限する。 我々は、ラベルや審査員としてではなく、批評家として弱いモデルを使用することによって、より厳しい監督の形式を研究する。 タスクを解決したり、正しい回答を選択する代わりに、弱い批判者は、強いモデルが自身の知識をよりよく活用するのに役立つ、誤解のないリビジョンの方向性を提供する必要がある。 私たちはこの設定を*弱批判的な強い監視”と呼びます。 まず、弱い批判が推論時に凍った強いモデルを改善することを示し、この改善の鍵となる批判品質を示す。 そこで我々は, 高品質な批判をフィルタリングし, 適応的な自己学習信号を通じて, 批判誘導行動の強いモデルへの蒸留を行う, プログレッシブ・オン・ポリティクス・クリティーク蒸留 (**OPCD**) を提案する。 推論とアライメントのベンチマーク実験により,本手法は訓練エポックよりも強いモデルを改善することが示され,信頼性の低いスケーラブルな監視方法として有効であることが示唆された。

関連論文リスト

• Conversation for Non-verifiable Learning: Self-Evolving LLMs through Meta-Evaluation [56.84819098277464]
  CoNLは、マルチエージェントのセルフプレイを通じて生成、評価、メタ評価を統合するフレームワークである。 CoNLは、安定したトレーニングを維持しながら、自己回帰ベースラインよりも一貫した改善を実現している。
  論文  参考訳（メタデータ） (2026-01-29T09:41:14Z)
• RefCritic: Training Long Chain-of-Thought Critic Models with Refinement Feedback [57.967762383794806]
  RefCriticは、二重ルールベースの報酬による強化学習に基づく、長鎖の批判モジュールである。 我々は5つのベンチマークでQwen2.5-14BとDeepSeek-R1-Distill-Qwen-14BのRefCriticを評価した。
  論文  参考訳（メタデータ） (2025-07-20T16:19:51Z)
• Debate Helps Weak-to-Strong Generalization [68.70065254564642]
  我々は,強い事前訓練モデルを用いて人間の監督を改善する方法について検討し,弱い人間の監督を増強した強いモデルを監督する。 議論は、信頼できない強力なモデルから信頼できる情報を抽出する弱いモデルを支援することができる。 OpenAIの弱いNLPベンチマークの実験では、組み合わせアプローチがアライメントを改善することが示されている。
  論文  参考訳（メタデータ） (2025-01-21T05:36:13Z)
• Self-Evolving Critique Abilities in Large Language Models [59.861013614500024]
  本稿では,Large Language Models (LLM) の批判能力の向上について検討する。 SCRITは、LCMを自己生成データで訓練し、批判能力を進化させるフレームワークである。 分析の結果,SCRITの性能はデータやモデルサイズと正の相関関係にあることが明らかとなった。
  論文  参考訳（メタデータ） (2025-01-10T05:51:52Z)
• VISCO: Benchmarking Fine-Grained Critique and Correction Towards Self-Improvement in Visual Reasoning [112.35483894933904]
  我々は,LVLMの細粒度評価と補正能力を広範囲に解析する最初のベンチマークであるVISCOを提案する。 VISCOは密度が高くきめ細かな批判を特徴とし、LVLMは各ステップの正しさを評価する必要がある。 LookBackは、批評と修正のパフォーマンスを最大13.5%改善する。
  論文  参考訳（メタデータ） (2024-12-03T05:04:49Z)
• Enhancing LLM Reasoning via Critique Models with Test-Time and Training-Time Supervision [120.40788744292739]
  本稿では、推論と批判モデルの役割を分離する2人プレイヤパラダイムを提案する。 まず、批判データを収集する自動化およびスケーラブルなフレームワークであるAutoMathCritiqueを提案する。 テスト時間における難解なクエリに対するアクターのパフォーマンスを,批判モデルが一貫して改善することが実証された。
  論文  参考訳（メタデータ） (2024-11-25T17:11:54Z)
• CriticBench: Benchmarking LLMs for Critique-Correct Reasoning [26.45110574463893]
  CriticBenchは、大規模言語モデルの推論を批判し修正する能力を評価するために設計されたベンチマークである。 生成, 批判, 修正推論における17個のLLMの性能を評価し, 評価した。
  論文  参考訳（メタデータ） (2024-02-22T18:59:02Z)
• Vision Superalignment: Weak-to-Strong Generalization for Vision Foundation Models [55.919653720979824]
  本稿では、より弱いモデルを用いてより強いモデルを監督する弱強一般化の概念に焦点を当てる。 弱強監督のための新規かつ適応的に調整可能な損失関数を提案する。 提案手法は, 強い一般化によって設定された性能ベンチマークを超えるだけでなく, データセット全体を用いた微調整の強いモデルの結果を上回る。
  論文  参考訳（メタデータ） (2024-02-06T06:30:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。