論文の概要: Conversation for Non-verifiable Learning: Self-Evolving LLMs through Meta-Evaluation

• arxiv url: http://arxiv.org/abs/2601.21464v1
• Date: Thu, 29 Jan 2026 09:41:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.708051
• Title: Conversation for Non-verifiable Learning: Self-Evolving LLMs through Meta-Evaluation
• Title（参考訳）: 非検証型学習のための会話:メタ評価による自己進化型LLM
• Authors: Yuan Sui, Bryan Hooi,
• Abstract要約: CoNLは、マルチエージェントのセルフプレイを通じて生成、評価、メタ評価を統合するフレームワークである。 CoNLは、安定したトレーニングを維持しながら、自己回帰ベースラインよりも一貫した改善を実現している。
• 参考スコア（独自算出の注目度）: 56.84819098277464
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Training large language models (LLMs) for non-verifiable tasks, such as creative writing, dialogue, and ethical reasoning, remains challenging due to the absence of ground-truth labels. While LLM-as-Judge approaches offer a scalable alternative to human feedback, they face a fundamental limitation: performance is constrained by the evaluator's own quality. If the judge cannot recognize good solutions, it cannot provide useful training signals, and evaluation biases (e.g., favoring verbosity over quality) remain unaddressed. This motivates meta-evaluation: the ability to evaluate and improve the evaluator itself. We introduce CoNL, a framework that unifies generation, evaluation, and meta-evaluation through multi-agent self-play. Our key insight: critique quality can be measured by whether it helps others improve their solutions. In CoNL, multiple agents sharing the same policy engage in structured conversations to propose, critique, and revise solutions. Critiques that enable solution improvements earn a diagnostic reward, creating explicit supervision for meta-evaluation and enabling joint optimization of generation and judging capabilities through self-play, without external judges or ground truth. Experiments on five benchmarks show that CoNL achieves consistent improvements over self-rewarding baselines while maintaining stable training.
• Abstract（参考訳）: クリエイティブ・ライティング、対話、倫理的推論など、検証不可能なタスクのための大規模言語モデル(LLM)のトレーニングは、地味なラベルがないため、依然として困難である。 LLM-as-Judgeアプローチは人間のフィードバックに代わるスケーラブルな代替手段を提供するが、それらは根本的な制限に直面している。 裁判官が良い解決策を認識できなければ、有用な訓練信号を提供できなくなり、評価バイアス(例えば、品質よりも冗長性を好む)は未適応のままである。 これはメタ評価の動機であり、評価者自身を評価し改善する能力である。 マルチエージェント・セルフプレイによる生成,評価,メタ評価を統一するフレームワークであるCoNLを紹介する。 私たちの重要な洞察: 批判的品質は、他の人がソリューションを改善するのに役立つかどうかによって測定できます。 CoNLでは、同じ方針を共有する複数のエージェントが構造化された会話を行い、ソリューションを提案し、批判し、修正する。 ソリューションの改善を可能にする批評は、診断報酬を獲得し、メタ評価の明確な監督を作成し、外部の判断や根拠の真実なしに、自己プレイによる生成と判断能力の共同最適化を可能にする。 5つのベンチマークの実験では、CoNLは安定したトレーニングを維持しながら、自己回帰ベースラインよりも一貫した改善を達成している。

関連論文リスト

• Agent0-VL: Exploring Self-Evolving Agent for Tool-Integrated Vision-Language Reasoning [52.99434388759101]
  ツール統合推論による継続的改善を実現する自己進化型視覚言語エージェントを提案する。 Agent0-VLは、ツールの使用法を推論だけでなく、自己評価や自己修復にも取り入れている。 実験の結果,Agent0-VLはベースモデルよりも12.5%向上していることがわかった。
  論文  参考訳（メタデータ） (2025-11-25T04:15:14Z)
• When AIs Judge AIs: The Rise of Agent-as-a-Judge Evaluation for LLMs [8.575522204707958]
  大規模言語モデル(LLM)は能力と自律性が向上し、特にオープンで複雑なタスクにおいて、アウトプットの評価が重要なボトルネックとなっている。 新たなパラダイムが生まれつつある。AIエージェントを評価対象として使用することだ。 本稿では,エージェント・アズ・ア・ジャッジの概念を定義し,単一モデル審査員から動的マルチエージェント・ディスカッション・フレームワークへの進化を辿り,その強みと欠点を批判的に検証する。
  論文  参考訳（メタデータ） (2025-08-05T01:42:25Z)
• J1: Incentivizing Thinking in LLM-as-a-Judge via Reinforcement Learning [54.85131761693927]
  意思決定前にLLM審査員に思考を教えるための強化学習フレームワークであるJ1を紹介する。 私たちのコアコントリビューションは、検証不可能で検証可能なプロンプトのすべての判断タスクを、検証可能な報酬を持った統一フォーマットに変換することです。 次に、RLを用いて8B、32B、70Bのスケールで思考判断を訓練し、彼らが最先端のパフォーマンスを得ることを示す。
  論文  参考訳（メタデータ） (2025-05-15T14:05:15Z)
• RealCritic: Towards Effectiveness-Driven Evaluation of Language Model Critiques [59.861013614500024]
  我々は,Large Language Models (LLMs) の批判能力を評価するために設計された新しいベンチマークを導入する。 通常、オープンループ方式で機能する既存のベンチマークとは異なり、我々のアプローチでは、批判から生成された修正の質を評価するクローズドループ手法を採用している。
  論文  参考訳（メタデータ） (2025-01-24T13:48:10Z)
• Self-Evolving Critique Abilities in Large Language Models [59.861013614500024]
  本稿では,Large Language Models (LLM) の批判能力の向上について検討する。 SCRITは、LCMを自己生成データで訓練し、批判能力を進化させるフレームワークである。 分析の結果,SCRITの性能はデータやモデルサイズと正の相関関係にあることが明らかとなった。
  論文  参考訳（メタデータ） (2025-01-10T05:51:52Z)
• CriticBench: Benchmarking LLMs for Critique-Correct Reasoning [26.45110574463893]
  CriticBenchは、大規模言語モデルの推論を批判し修正する能力を評価するために設計されたベンチマークである。 生成, 批判, 修正推論における17個のLLMの性能を評価し, 評価した。
  論文  参考訳（メタデータ） (2024-02-22T18:59:02Z)
• Evaluate What You Can't Evaluate: Unassessable Quality for Generated Response [56.25966921370483]
  大規模な言語モデルに基づく参照不要評価器の使用には課題がある。 参照なし評価器は、異なるセマンティクス応答を持つオープンな例により適している。 対話応答の質を評価するため, LLM に基づく推論不要評価器の使用にはリスクがある。
  論文  参考訳（メタデータ） (2023-05-24T02:52:48Z)
• The Meta-Evaluation Problem in Explainable AI: Identifying Reliable Estimators with MetaQuantus [10.135749005469686]
  説明可能なAI(XAI)分野における未解決課題の1つは、説明方法の品質を最も確実に見積もる方法を決定することである。 我々は、XAIの異なる品質推定器のメタ評価を通じてこの問題に対処する。 我々の新しいフレームワークMetaQuantusは、品質推定器の2つの相補的な性能特性を解析する。
  論文  参考訳（メタデータ） (2023-02-14T18:59:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。