論文の概要: Co-Evolving Actor-Conditioned Critics for Non-Verifiable Generation

• arxiv url: http://arxiv.org/abs/2608.30397v1
• Date: Mon, 31 Aug 2026 07:50:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.295921
• Title: Co-Evolving Actor-Conditioned Critics for Non-Verifiable Generation
• Title（参考訳）: 非検証生成のための共進化アクター設計批判
• Abstract要約: 批評家が初期反応についてフィードバックを与え、俳優が修正する。 我々は,対象俳優が意図した弱点に対処する上で,そのフィードバックが有効かどうかに依存するアクター条件のリビジョンガイダンスとして批判する。 TAIScoreは、演出、初期反応、批評、リビジョンを一緒に評価し、批評が真の弱点を狙うかどうか、俳優がそれに従うかどうか、意図した側面が改善するかどうかを評価する。 実験によると、TAIScoreで訓練された8B批評家は、ゼロショット120B批評家と結果のみまたは批判のみの報酬で訓練された批評家の両方を上回っている。
• 参考スコア（独自算出の注目度）: 73.11410167573614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Natural-language critiques provide supervision beyond scalar rewards for non-verifiable generation, which lacks deterministic verifiers. In critique-guided refinement, a critic gives feedback on an initial response and an actor revises it. However, final revision quality does not reveal whether the critique was actually useful: a capable actor may improve without following the feedback, while valid feedback may fail if the actor cannot execute it. We frame critique as actor-conditioned revision guidance, where usefulness depends on whether the feedback helps the target actor address the intended weakness. We introduce TAIScore (Targeted Actionable Improvement Score), a reward that evaluates the instruction, initial response, critique, and revision together, assessing whether the critique targets a real weakness, whether the actor follows it, and whether the intended aspect improves. We use this reward to train an actor-tailored critic with GRPO, and use critique-guided refinements to construct DPO preference pairs for the actor, forming a co-evolving critic-actor loop where the critic adapts to the actor's changing capability. Experiments show that an 8B critic trained with TAIScore outperforms both a zero-shot 120B critic and critics trained with outcome-only or critique-only reward signals. Co-evolving the critic and actor further improves performance, suggesting that effective critique supervision should adapt as the actor changes.
• Abstract（参考訳）: 自然言語の批評は、決定論的検証に欠ける、検証不可能な世代に対するスカラー報酬以上の監督を提供する。 批評家が初期反応についてフィードバックを与え、俳優が修正する。 有能なアクターはフィードバックに従うことなく改善するが、アクターが実行できない場合、有効なフィードバックは失敗する。 我々は,対象俳優が意図した弱点に対処する上で,そのフィードバックが有効かどうかに依存するアクター条件によるリビジョンガイダンスとして批判する。 そこで我々は,TAIScore(Targeted Actionable Improvement Score)を導入し,指導,初期応答,批評,リビジョンを共に評価し,批評が真の弱点を狙うか,俳優がそれに従うか,意図した側面が改善するかを評価する。 我々は、この報酬を用いて、GRPOでアクターをカスタマイズした批評家を訓練し、アクターのためのDPO選好ペアを構築するために、批評家がアクターの変化する能力に適応する、共進化する批評家・アクターループを形成する。 実験によると、TAIScoreで訓練された8Bの批評家は、ゼロショット120Bの批評家と結果のみまたは批判のみの報酬信号で訓練された批評家の両方を上回っている。 批評家と俳優の共進化によりパフォーマンスが向上し、俳優の変化に応じて効果的な批評家の監督が適応すべきだと示唆する。

関連論文リスト

• Refined Analysis of Entropy-Regularized Actor-Critic [26.419221337454008]
  エントロピー・レギュラー化・有限割引環境における批評家の役割について検討する。 これはまず批評家に学び、各アクターのアップデート後に最新の状態に保つことを示唆している。
  論文  参考訳（メタデータ） (2026-05-23T02:41:07Z)
• Conversation for Non-verifiable Learning: Self-Evolving LLMs through Meta-Evaluation [56.84819098277464]
  CoNLは、マルチエージェントのセルフプレイを通じて生成、評価、メタ評価を統合するフレームワークである。 CoNLは、安定したトレーニングを維持しながら、自己回帰ベースラインよりも一貫した改善を実現している。
  論文  参考訳（メタデータ） (2026-01-29T09:41:14Z)
• Critique-RL: Training Language Models for Critiquing through Two-Stage Reinforcement Learning [89.60378227969643]
  より強力な監督を伴わないクオリティク言語モデルを開発するためのオンラインRLアプローチであるCrytique-RLを提案する。 提案手法は,アクターが応答を生成し,批評家がフィードバックを提供し,アクターがそれに応じて応答を洗練する,という2段階のパラダイムに基づいている。 さまざまなタスクやモデルに対する実験では、Cristique-RLが大幅なパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2025-10-28T11:37:01Z)
• Training Language Model to Critique for Better Refinement [58.73039433159486]
  textbfRefinement-oriented textbfCritique textbfOptimization (RCO)を導入する。 RCOは、批評家モデルによって生成された批評がアクターモデルに応答を洗練させるためのフィードバックループを使用する。 より良い改善につながる批判に焦点を当てることで、RCOは直接的な批判的嗜好評価の必要性を排除している。
  論文  参考訳（メタデータ） (2025-06-27T12:10:57Z)
• The Lighthouse of Language: Enhancing LLM Agents via Critique-Guided Improvement [61.00950725408354]
  大規模言語モデル(LLM)は、最近、テキストベースのアシスタントから、計画、推論、反復的な行動改善が可能な自律エージェントへと変化した。 本研究では,環境を探索するアクターモデルと,詳細な自然言語フィードバックを生成する批評家モデルからなる,新しい2人プレイヤフレームワークであるCGIを紹介する。
  論文  参考訳（メタデータ） (2025-03-20T10:42:33Z)
• Self-Evolving Critique Abilities in Large Language Models [59.861013614500024]
  本稿では,Large Language Models (LLM) の批判能力の向上について検討する。 SCRITは、LCMを自己生成データで訓練し、批判能力を進化させるフレームワークである。 分析の結果,SCRITの性能はデータやモデルサイズと正の相関関係にあることが明らかとなった。
  論文  参考訳（メタデータ） (2025-01-10T05:51:52Z)
• VISCO: Benchmarking Fine-Grained Critique and Correction Towards Self-Improvement in Visual Reasoning [112.35483894933904]
  我々は,LVLMの細粒度評価と補正能力を広範囲に解析する最初のベンチマークであるVISCOを提案する。 VISCOは密度が高くきめ細かな批判を特徴とし、LVLMは各ステップの正しさを評価する必要がある。 LookBackは、批評と修正のパフォーマンスを最大13.5%改善する。
  論文  参考訳（メタデータ） (2024-12-03T05:04:49Z)
• Potential Field Guided Actor-Critic Reinforcement Learning [0.30458514384586394]
  我々は、報酬に基づく批評家と潜在的フィールドに基づく批評家を組み合わせて、潜在的フィールド誘導型アクター批判強化学習アプローチ(アクター批判-2)を定式化する。 これは、モデルに基づく勾配と、政策改善におけるモデルフリー勾配の組み合わせと見なすことができる。 プレデター・プレイゲームの実験では,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-06-12T03:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。