論文の概要: CREDO: Variance-Guided Rubric Evolution for Replay-Corrected Credit Assignment

• arxiv url: http://arxiv.org/abs/2609.24174v1
• Date: Mon, 21 Sep 2026 06:43:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:03.971282
• Title: CREDO: Variance-Guided Rubric Evolution for Replay-Corrected Credit Assignment
• Title（参考訳）: CREDO: Replay-Corrected Credit Assignmentのための可変ガイド型ルーブリック進化
• Abstract要約: セマンティックルーリックを選択的に実行ベースの信用補正と組み合わせたフレームワークであるCredoを提案する。 条件付き不偏性と2つの設計選択を結合する分散分解を導出する。 そこで本稿では,PPO実装のクリッピング化とトークン正規化を両立させ,その実装を理想的なポリシ・グラディエント推定器と区別する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-horizon language agents receive sparse terminal feedback, while intermediate rubrics provide structured but potentially misspecified assessments of progress. In resettable training environments, counterfactual continuation rollouts can measure local credit, but exhaustive replay is costly. We propose Credo, a framework that couples evolving semantic rubrics with selective, execution-based credit correction. A frozen judge maps visible transitions to rubric features, and a credit head predicts the change in expected terminal reward associated with the realized transition. Independently sampled two-sided replays correct prediction residuals using their recorded inclusion probabilities. We derive conditional unbiasedness and a variance decomposition that connects two design choices: which rubric features to retain, and where to allocate a fixed expected replay budget. The resulting criterion weights prediction errors by policy-score sensitivity and missing replay coverage; its allocation rule additionally accounts for continuation cost. We also describe a practical mixture with terminal leave-one-out advantages and distinguish its clipped, token-normalized PPO implementation from the ideal policy-gradient estimator. This preliminary report provides the method, proofs, an exact finite-model audit, and a controlled evaluation protocol. It makes no claim of empirical superiority on language-agent benchmarks.
• Abstract（参考訳）: ロングホライゾン言語エージェントはスパース終端フィードバックを受け、中間ルーリックは構造化されているが、潜在的に不特定な進捗評価を提供する。 リセット可能なトレーニング環境では、偽の継続ロールアウトはローカルクレジットを測定することができるが、徹底的なリプレイはコストがかかる。 セマンティックルーリックを選択的に実行ベースの信用補正と組み合わせたフレームワークであるCredoを提案する。 凍結判定器は、可視的な遷移をルーブリック特徴にマッピングし、クレジットヘッドは、実現された遷移に関連する期待端末報酬の変化を予測する。 個別にサンプル化した2面リプレイは、記録された包摂確率を用いて正確な予測残差を補正する。 条件付き不偏性と分散分解を導出し、どのルブリックな特徴を保持すべきか、どこで固定された再生予算を割り当てるかという2つの設計選択を接続する。 その結果の基準は、ポリシースコアの感度とリプレイカバレッジの欠如による予測エラーを重くし、アロケーションルールは継続コストも考慮している。 また, 終端残高の利点を併用して, クリッピングされたトークン正規化PPO実装を, 理想的な政策次数推定器と区別する。 本報告では,本手法,証明,厳密な有限モデル監査,および制御された評価プロトコルについて述べる。 言語エージェントベンチマークに対する経験的優位性は主張できない。

関連論文リスト

• CFR without Unbiasedness: Deterministic Guarantees for Persistent Public-Chance Schedules [1.0390646006106319]
  均一な非負の加法的公切断に対する決定論的目標移動定理を確立する。 定理のコンポーネント解決形式は、実行トレースを数値的なエクスプロイラビリティ証明に変換する。 ディープ・スタディでは、32から64のフルカットの成果予算が交差し、その後、完全なカバレッジが支配される。
  論文  参考訳（メタデータ） (2026-08-14T09:28:35Z)
• PAIR: Pairwise-Aware Inclusion Reweighting for Adaptive Rollout Allocation in RLVR [0.0]
  検証可能な報酬を伴う強化学習は、長い推論軌道の計算生成グループの大部分に費やしている。 最近のアロケータは、難易度やユーティリティのポイントワイズな概念に従って、プロンプト、ロールアウト、トークンに予算を割り当てることで、このコストを削減している。 グループ相対スコア勾配は、独立点寄与の総和ではなく、ロールアウト対に対する2次統計値である。
  論文  参考訳（メタデータ） (2026-08-11T19:24:59Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• Is Fairness Truly Fair? Towards Reliable Lipschitz Fairness in Multi-Task Learning via Fixed-\texorpdfstring{$δ$}{delta} Alignment [0.32792728203318305]
  リプシッツ様式の個人公正は、意味論的に類似した例が同様の予測を受けるべきだという考えを定式化する。 本稿では,各モデルの表現距離から監査耐性を導出した場合,異なるセマンティックしきい値の下で異なるアルゴリズムを比較する。 トレーニング時間制御正規化から評価時間固定値の監査を分離する信頼性対応フレームワークである textbfReLiF を提案する。
  論文  参考訳（メタデータ） (2026-06-09T09:36:54Z)
• Instance-Optimal Estimation with Multiple LLM Judges on a Budget [84.31744861038106]
  我々は、この問題を*予算付きヘテロスケダティックなマルチジャッジ推定*として定式化する。 K$のプロンプト-レスポンスペア、J$の既知のコストと未知のクエリ-ジャッジ分散が与えられた場合、目標は、$ell_p$-errorを最小化しながら、有界スコアベクトルを推定することである。 EST-IVWEは,予算の低次項までのオラクルIVWEレートと一致していることを示す。
  論文  参考訳（メタデータ） (2026-05-22T08:26:08Z)
• Distribution-informed Online Conformal Prediction [53.674678995825666]
  更新ルールに基礎となるデータパターンを組み込んだオンラインコンフォメーション予測アルゴリズムである Conformal Optimistic Prediction (COP) を提案する。 COPは予測可能なパターンが存在する場合により厳密な予測セットを生成し、見積もりが不正確な場合でも有効なカバレッジ保証を保持する。 我々は,COPが有効なカバレッジを実現し,他のベースラインよりも短い予測間隔を構築できることを証明した。
  論文  参考訳（メタデータ） (2025-12-08T17:51:49Z)
• Will My Robot Achieve My Goals? Predicting the Probability that an MDP Policy Reaches a User-Specified Behavior Target [56.99669411766284]
  自律的なシステムがタスクを実行する場合、ユーザの目標を達成する確率のキャリブレーションされた見積もりを維持する必要がある。 本稿では,ユーザの目標が目標間隔として指定される設定について検討する。 我々は、共形予測を反転させて確率推定を計算する。
  論文  参考訳（メタデータ） (2022-11-29T18:41:20Z)
• Universal Off-Policy Evaluation [64.02853483874334]
  ユニバーサルオフ政治推定器(UnO)への第一歩を踏み出す 我々は, 平均, 分散, 分位数/中間数, 分位数範囲, cvar, および累積分布全体の推定と同時結合に uno を用いる。
  論文  参考訳（メタデータ） (2021-04-26T18:54:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。