論文の概要: CASI: Credit Assignment via Set Intervention for Agentic Retrieval

• arxiv url: http://arxiv.org/abs/2610.20293v1
• Date: Wed, 14 Oct 2026 14:47:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.209718
• Title: CASI: Credit Assignment via Set Intervention for Agentic Retrieval
• Title（参考訳）: CASI: エージェント検索のためのセットインターベンションによるクレジットアサインメント
• Abstract要約: 本稿では,CASI (Credit Assignment via Set Intervention for Agentic Retrieval) を導入する。 シェアリー・アグリゲーション(Shapley aggregate)は、ゼロサム・アドバンテージ・シェーピングをポリシー最適化に組み込んだ、限界をインバーセット・クレジットに変換する。 独立した5つのトレーニングの実行中、CASIトレーニングされたポリシーはシングルトンまたはブロードキャストトレーニングされたポリシーよりも高い保持されたオークション-再生セット値を達成する。
• 参考スコア（独自算出の注目度）: 8.288174433701563
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models increasingly generate multiple retrieval actions jointly, while downstream systems often provide only one reward for the resulting set. Broadcasting this reward provides a valid score-function gradient estimator for the expected set-level objective, but does not determine a coalition-dependent within-set attribution. We introduce CASI (Credit Assignment via Set Intervention for Agentic Retrieval), which constructs the missing counterfactual information through snapshot-grounded set intervention: generate and retrieve once, hold replayable snapshot components fixed, and evaluate alternative subsets under common conditions. Shapley aggregation converts these marginals into within-set credit, which bounded zero-sum advantage shaping incorporates into policy optimization. For m >= 4, singleton, leave-one-out, and full-set endpoints do not generally determine the Shapley allocation; under additive set values, extra coalition evaluations are redundant. In a five-action sponsored-search setting, exhaustive auction replay over 1,200 requests reveals substantial coalition dependence. Under the training-time evaluator, CASI achieves the highest median cosine similarity to a replay-defined Shapley reference among evaluated credit rules; under a sensitivity backend, CASI does not outperform Singleton. Across five independent training runs, CASI-trained policies achieve higher held-out auction-replay set value than Singleton- or Broadcast-trained policies. In a randomized seven-day production A/B test on 10% of traffic, the CASI-trained policy yields an observed 3.51% lift in the primary advertiser-value metric over production control.
• Abstract（参考訳）: 大規模な言語モデルでは、複数の検索アクションを共同で生成するようになり、下流のシステムは結果の集合に対して1つの報酬しか提供しないことが多い。 この報酬を放送することで、期待される設定レベルの目標に対して有効なスコア関数勾配推定器を提供するが、連立依存の内的属性を決定することはできない。 そこで我々は,CASI (Credit Assignment via Set Intervention for Agentic Retrieval) を導入し,スナップショット・グラウンド・セット・インタプリタを通じて,欠落した反ファクト情報を構成する:一度生成して取得し,再生可能なスナップショットコンポーネントを固定し,共通の条件下で代替サブセットを評価する。 シェープ・アグリゲーション(Shapley aggregate)は、これらのラウンダルを、ゼロサム・アドバンス・シェーピングがポリシー最適化に組み込む、インバーセット・クレジットに変換する。 m >= 4 の場合、シングルトン、アウト・ワン・アウト、フルセットのエンドポイントは一般にシェープの割り当てを決定できない。 5つのアクションをスポンサーとする調査では、1200件以上の要求に対する徹底的なオークションリプレイが、実質的な連立依存を浮き彫りにしている。 トレーニング時間評価器の下では、CASIは評価されたクレジットルールの中で、リプレイ定義されたShapley参照と最も中央値のコサイン類似性を達成している。 独立した5つのトレーニングの実行中、CASIトレーニングされたポリシーはシングルトンまたはブロードキャストトレーニングされたポリシーよりも高い保持されたオークション-再生セット値を達成する。 トラフィックの10%におけるランダム化された7日間の生産A/Bテストでは、CASI訓練されたポリシーは、生産制御に対する広告値の一次測定値において3.51%の昇降を達成している。

関連論文リスト

• Hierarchical Time-aware Bootstrapping for Off-Policy Subgoal Value Learning [3.805976359799901]
  HIROは、サブゴールレバーベリングを通じてリプレイデータを適応するが、ラベルの変更後、値更新はサブゴールではなく、レバーベリングされたサブゴールをターゲットにする。 本稿では,タスク報酬の蓄積を維持しつつ,現在の低レベル政策の下で特定サブゴールを評価する階層型時間対応ブートストラッピングを提案する。
  論文  参考訳（メタデータ） (2026-10-04T18:33:23Z)
• MARCO: Multi-Round Agentic Reinforcement for Conditional Molecular Optimization [54.020314646710204]
  我々は分子エディターを訓練する評価器を用いた強化学習フレームワークであるMARCOを紹介する。 MARCOは、形をしたターン報酬を、グループ相対的なポリシー最適化のための未公表の軌道リターンに集約する。 このトレーニングの結果は,一応の予算でトレーニングされたポリシをテストし,同じポリシが検証者フィードバックを利用できるかどうかをSame-5でテストする,という2つの結果が得られた。
  論文  参考訳（メタデータ） (2026-09-29T04:21:05Z)
• On-Policy Self-Distillation in Diffusion Models [89.32656931795293]
  強化学習は、拡散モデルと人間の好みやタスク固有の目的とを一致させることができるが、エンドポイント報酬は、中間的偏見予測をどのように変更すべきかを規定していない。 そこで我々は、DiffusionOPSDを、画像レベルの報酬誘導を明示的なターゲットに変換して、サンプルクエリにおけるクリーンな出力予測を行うオンライン自己蒸留フレームワークとして導入する。 SD 3.5-Mとステップ蒸留したZ-Image-Turboを用いて、2つのバックボーンと10個の評価器で20の報酬マッチング設定のうち19のファイナルホールトアウトスコアを達成した。
  論文  参考訳（メタデータ） (2026-08-25T14:55:24Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• F-GRPO: Factorized Group-Relative Policy Optimization for Unified Candidate Generation and Ranking [79.49893545611779]
  大規模言語モデル(LLM)はサブセットを生成し、それを1つの自己回帰パス内で順序付けることができる。 この柔軟性は、新しい最適化課題をもたらす: モデルが出力空間を検索し、完全なランクリストが生成された後にのみユーティリティフィードバックを受けなければならない。 このクレジット割り当てギャップは、エンドツーエンドの最適化を不安定にし、サンプル非効率にする。 本稿では,単一自己回帰的ロールアウト内の両方を実行する統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-13T04:52:33Z)
• Breaking $\textit{Winner-Takes-All}$: Cooperative Policy Optimization Improves Diverse LLM Reasoning [53.42577591449649]
  グループ協力政策最適化は、トレーニングパラダイムをロールアウト競争からチーム協力へとシフトさせる。 GCPOは独立したロールアウトスコアをチームレベルのクレジット割り当てに置き換える。 チームへの平均的な限界貢献に従って、各ロールアウトに対して、グループチームの報酬を再分配する。
  論文  参考訳（メタデータ） (2026-05-12T03:20:24Z)
• Where to Spend Rollouts: Hit-Utility Optimal Rollout Allocation for Group-Based RLVR [25.35547462790362]
  グループベースのポリシー最適化手法は通常、各プロンプトに一定数のロールアウトを割り当てる。 我々は、ヒットユーティリティを導入し、提案されたプロンプトの追加アロケーションにおける少なくとも1つのロールアウトが正しいという後続の確率について紹介する。 本研究では,Hit-Utility Optimal Rollout Allocation (HORA)を提案する。
  論文  参考訳（メタデータ） (2026-05-08T01:42:25Z)
• Evaluate-as-Action: Self-Evaluated Process Rewards for Retrieval-Augmented Agents [24.080021799509847]
  textscEvalAct (Evaluate-as-Action) は暗黙的な検索品質評価を明示的なアクションに変換する。 textscEvalActは、マルチホップタスクにおいて最も高い平均精度を達成する。
  論文  参考訳（メタデータ） (2026-03-10T05:22:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。