論文の概要: AdaptEvo: Learning under Imperfect Supervision through Confidence-Adaptive Training with Knowledge Evolution

• arxiv url: http://arxiv.org/abs/2610.11354v3
• Date: Thu, 15 Oct 2026 08:10:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:15.81733
• Title: AdaptEvo: Learning under Imperfect Supervision through Confidence-Adaptive Training with Knowledge Evolution
• Title（参考訳）: AdaptEvo: 知識進化による信頼-適応学習による不完全な監督下での学習
• Abstract要約: AdaptEvoは、不完全な監督の下で学習するためのフレームワークである。 トレーニングモジュールは、信頼性適応GRPOを使用して、結果のバランスと、基準信頼度に応じた報酬の処理を行う。 Evolutionモジュールは、トレーニングケース間で繰り返し発生する障害から再利用可能な決定知識を合成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rule-governed contextual decision tasks require models to apply specified rules to case-specific context and evidence. Written rules can leave gaps in decision guidance and process evaluation, while reference judgments vary in their support from the rules and evidence. To address these challenges, we introduce AdaptEvo, a framework for learning under imperfect supervision that couples confidence-adaptive policy optimization with evolving decision knowledge and evaluation rubrics. Its Training module uses Confidence-Adaptive GRPO (CA-GRPO) to balance outcome and process rewards according to reference confidence. Its Evolution module synthesizes reusable decision knowledge from recurring failures across training cases and refines process rubrics to detect overlooked errors. To support empirical evaluation, we construct an industrial multimodal content moderation dataset comprising a training set and In-Period and Out-of-Period test sets, with the latter collected under changed rules. Using Qwen3.6-35B-A3B, AdaptEvo achieves 61.9% exact-label accuracy and 72.2% binary decision accuracy on In-Period, exceeding GRPO by 7.5 and 3.7 percentage points, respectively. On Out-of-Period, the policy trained with CA-GRPO retains exact-label accuracy gains over the base model across evaluated checkpoints without injected decision knowledge, while GRPO declines with continued training. CA-GRPO also outperforms the tested fixed reward mixtures on both Out-of-Period metrics.
• Abstract（参考訳）: ルール管理されたコンテキスト決定タスクは、特定のルールをケース固有のコンテキストとエビデンスに適用するモデルを必要とする。 記述されたルールは意思決定のガイダンスとプロセスの評価にギャップを残し、基準判断はルールや証拠からのサポートが異なる。 これらの課題に対処するため,不完全な監督下での学習のためのフレームワークであるAdaptEvoを紹介した。 トレーニングモジュールは、信頼性適応GRPO(CA-GRPO)を使用して、基準信頼度に応じて結果とプロセス報酬のバランスをとる。 そのEvolutionモジュールは、トレーニングケース全体で繰り返し発生する障害から再利用可能な決定知識を合成し、プロセスルーリックを洗練して、見過ごされたエラーを検出する。 実験的評価を支援するために,トレーニングセットとIn-PeriodおよびOut-of-Periodテストセットからなる産業用マルチモーダルコンテンツモデレーションデータセットを構築し,後者はルールを変更した。 Qwen3.6-35B-A3B を用いて、AdaptEvo は 61.9% の正確なラベル精度と In-Period 上の72.2% のバイナリ決定精度を達成し、それぞれ GRPO を 7.5 と 3.7% で上回っている。 アウト・オブ・ペリオドでは、CA-GRPOで訓練されたポリシーは、判定知識を注入せずに評価されたチェックポイント全体でベースモデルよりも正確なラベル精度の向上を維持し、GRPOは継続トレーニングで低下する。 CA-GRPOは、両方のOut-of-Periodメトリクスでテストされた固定報酬の混合よりも優れています。

関連論文リスト

• VeriFine: Scaling Verification for Self-Improvement in Embodied Reasoning [80.69185348729495]
  我々は,政策の共進化,訓練カリキュラム,審査を通じて検証をスケールする枠組みを導入する。 ポリシー改善ループは、繰り返し発生する障害を診断し、適応的なカリキュラムを構築し、ポリシーを最適化するためにルーリックな判断を使用する。 運転およびロボットナビゲーションタスクの実験は、ポリシーと判断能力の両方において継続的な自己改善を示す。
  論文  参考訳（メタデータ） (2026-10-06T17:50:29Z)
• Credit-Guided Policy Improvement for Test-time Adaptive Vision-Language Navigation [53.30116823667751]
  視覚言語ナビゲーションのためのテスト時適応(TTA-VLN)により、事前訓練されたポリシーは、目に見えない環境にオンラインで適応できる。 分散シフトは、局所的な行動選好を歪め、オフコース決定につながる可能性がある。 我々は,行動誘発観察遷移から署名付き参照関連決定クレジットを回収する信用誘導政策改善(CGPI)を提案する。
  論文  参考訳（メタデータ） (2026-09-29T13:46:11Z)
• SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
  自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。 自己検証を計算制御ポリシとして使用することを学ぶ。 マクロ平均精度は0.563で、平均で2.99回しか推測できない。
  論文  参考訳（メタデータ） (2026-07-30T16:20:58Z)
• SERPO: Self-Evolving Rubric Policy Optimization for Open-Ended Test-Time Reinforcement Learning [14.505575259468053]
  テスト時強化学習(TTRL)により、ラベル付きフィードバックなしで推論時に言語モデルを自己進化させることができる。 SERPOを導入し、回答投票をクローズドループに置き換え、レスポンスエビデンス、クエリトケン、ポリシーパラメータを共進化させる。 新しいアクターロールアウトはアーカイブとルーリックの両方をリフレッシュし、3方向の進化ループを閉じる。
  論文  参考訳（メタデータ） (2026-07-29T13:03:07Z)
• Interactive Critique-Revision Training for Reliable Structured LLM Generation [18.00222080273147]
  DPA-GRPOは,構成された検証器の介入による2人プレイヤジェネレータゲームのためのペアアクショントレーニング手法である。 我々は,非正規化ゲームを分析し,厳格に低いリワード介入やリビジョン行動に対する肯定的な確率が,一側偏差を生み出すことを示す。 TaxCalc TY24の実験では、DPA-GRPOはゼロショット生成とジェネレータのみのRLベースラインよりも構造化された決定精度を向上させる。
  論文  参考訳（メタデータ） (2026-05-08T17:00:38Z)
• Escaping the Agreement Trap: Defensibility Signals for Evaluating Rule-Governed AI [0.6138671548064355]
  我々は、政策的正当性として評価を定式化し、Defensibility Index(DI)とAmbiguity Index(AI)を導入する。 フレームワークを複数のコミュニティで193,000以上のRedditモデレーション決定と評価コホートで検証する。
  論文  参考訳（メタデータ） (2026-04-22T18:05:29Z)
• EVPO: Explained Variance Policy Optimization for Adaptive Critic Utilization in LLM Post-Training [69.32453275232662]
  学習した評論家は、利点のばらつきを減らさずに、取得した状態信号を超える推定ノイズを注入できることを示す。 本稿では,各トレーニングステップでバッチレベルのEVを監視し,批判ベースとバッチ平均の利点推定を適応的に切り替えるEVPOを提案する。
  論文  参考訳（メタデータ） (2026-04-21T14:07:39Z)
• Unifying Group-Relative and Self-Distillation Policy Optimization via Sample Routing [79.88256756334327]
  自己蒸留政策最適化(SDPO)は、より密集したロジットレベルの監視を提供することによってこの問題に対処する。 サンプル制御ポリシー最適化(SRPO)を提案する。 SRPOは、試料をGRPOの報酬整合強化に向け、サンプルをSDPOの目標ロジットレベルの補正に向ける。
  論文  参考訳（メタデータ） (2026-04-02T17:29:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。