論文の概要: CREDO: Evidence-Conditioned Credit Assignment for Temporal Reasoning Agents

• arxiv url: http://arxiv.org/abs/2611.01643v1
• Date: Sun, 01 Nov 2026 06:46:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.49
• Title: CREDO: Evidence-Conditioned Credit Assignment for Temporal Reasoning Agents
• Title（参考訳）: CREDO: 時間的推論エージェントのエビデンス・コンディション・クレジット・アサインメント
• Abstract要約: TKGQA (Temporal Knowledge Graph Question Answering) では、言語モデルエージェントが証拠を検索し、関連する事実を選択し、時間的推論を行う必要がある。 Evidence-Driven Opportunities (CREDO) を用いた信用再分配を提案する。 CREDOは、すべての障害のあるグループを含む局所的な監督を回復し、結果を監督する場所を決定するために中間的な証拠を使用する。
• 参考スコア（独自算出の注目度）: 37.61661876622622
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Temporal Knowledge Graph Question Answering (TKGQA) requires language model agents to retrieve evidence, select relevant facts, and perform multi-step temporal reasoning. However, the trajectory-level outcome signal in GRPO does not explicitly distinguish the quality of intermediate decisions: downstream failures can penalize useful evidence acquisition, while identical rewards in all-failed groups eliminate the relative outcome signal despite differences in intermediate progress. We propose Credit Redistribution with Evidence-Driven Opportunities (CREDO), which uses intermediate evidence to recover local supervision, including in all-failed groups, and determine where outcome supervision acts. CREDO assigns positive stage-level credit through comparisons among rollouts of the same question and uses retained answer overlap as an opportunity proxy to shift part of the outcome-policy weight toward reasoning and answering. The framework preserves terminal rewards and trajectory-level advantages, while redistribution conserves total outcome-policy weight per trajectory. Following the public evaluation protocol of prior work, CREDO raises Overall accuracy from 78.0% to 82.4% and Multiple accuracy from 55.0% to 65.6% on MultiTQ relative to the strongest published baseline in our comparison. On TimelineKGQA, it raises cross-KG accuracy from 30.9% to 36.4% relative to our reproduced baseline via direct transfer to ICEWS Actor under matched training and evaluation settings.
• Abstract（参考訳）: TKGQA(Temporal Knowledge Graph Question Answering)は、言語モデルエージェントが証拠を検索し、関連する事実を選択し、多段階の時間的推論を実行することを要求する。 しかし、GRPOにおける軌道レベルの結果信号は、中間的決定の質をはっきりと区別するものではなく、下流の障害は有効な証拠取得を罰し、一方、全ての障害群における同じ報酬は、中間的進行の違いにもかかわらず相対的な結果信号を排除する。 本報告では,すべての障害グループを含む地域監督の回復に中間的証拠を用いた信用再分配(Credit Redistribution with Evidence-Driven Opportunities,CREDO)を提案する。 CREDOは、同じ質問のロールアウトの比較を通じて、肯定的なステージレベルの信用を割り当て、継続された回答オーバーラップを機会プロキシとして、結果-ポリティクスの重みの一部を推論と回答にシフトさせる。 この枠組みは終末報酬と軌跡レベルの利点を保ち、再分配は軌跡ごとの総結果の重みを保っている。 前回の公開評価プロトコルに従って、CREDOは総合的精度を78.0%から82.4%に引き上げ、MultiTQでは55.0%から65.6%に引き上げた。 タイムラインKGQAでは、一致したトレーニングおよび評価設定下でICEWSアクターに直接転送することで、再生ベースラインに対して30.9%から36.4%のクロスKG精度を向上する。

関連論文リスト

• ProbePO: Sparse Probes, Redistributed Credit for Critic-Free LLM Reinforcement Learning [55.716259164434234]
  検証可能な報酬からの強化学習は、個々の推論ステップが結果にどのように貢献するかを解明し、すべての推論軌道に1つの終末報酬を割り当てる。 GRPOは、すべてのレスポンストークンに対してグループ正規化された利点をブロードキャストする一方、よりきめ細かいアプローチは、ポリシー更新に使用されるデータを変更可能な、高密度な補助的なロールアウトや分岐スキームに依存することが多い。 限定的なロールアウト予算で、どの部分的なソリューションを評価すべきで、どのように価値を評価すればよいのか。 ProbePOは報酬のない不確実性スコアで部分解法状態を選択し、上限条件下で期待された検証者報酬を推定する
  論文  参考訳（メタデータ） (2026-10-17T07:19:05Z)
• Targeting Pivotal Decisions for Credit Assignment in Agentic Reinforcement Learning [39.325308642396244]
  本稿では,エージェント強化学習におけるきめ細かなクレジット割り当てを,潜在的に重要な決定対象とするフレームワークであるProVerを紹介する。 ProVerは、モデル判定のみを使用して検証の場所を選択することで、すべての中間状態を徹底的に評価することなく、観察結果のローカルクレジットを根拠にします。 ALFWorld、WebShop、SearchQAを通じて、ProVerは両方のモデルスケールで最高の平均パフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-09-28T19:48:05Z)
• Beyond Teacher Likelihood: Group-Calibrated On-Policy Distillation for Long-Context Reasoning [19.29382518431932]
  GC-OPD (Group-Calibrated On-Policy Distillation) は、強力な教師から高濃度のトークンレベルガイダンスを用いて生徒に独自の反応を訓練する。 GC-OPD(Group-Calibrated On-Policy Distillation)は、各ロールアウトグループ内の検証報酬と軌道レベルのPDスコアを正規化する。 相対アドバンテージベースの信用割当(RACA)は、相対的なOPDの利点に応じてトークン間でこの軌道レベルの残差を分配する。
  論文  参考訳（メタデータ） (2026-08-19T17:54:58Z)
• Trajectory-Relative Hindsight Distillation for Agentic Reinforcement Learning [22.776663901175663]
  本稿では,一貫したターンアライメントプロトコルを備えたトラジェクトリ相対的ヒンドサイト蒸留フレームワークであるTRIALを紹介する。 各決定ターンに対して、TRIALは、その決定が実現した結果の結果を抽出し、通常および後向きの文脈下で同じ反応を評価する。 WebShopとALFWorldの異なるバックボーンによる実験では、TRIALは、バックボーン、環境、評価指標の8つの組み合わせでGRPOを上回っている。
  論文  参考訳（メタデータ） (2026-08-07T16:12:58Z)
• Cross-Fitted Residual Utility for Primary-Preserving Cognitive Decision Correction in Automatic Modulation Classification [1.547549252134621]
  本稿では,クロスフィット型残効ユーティリティとプライマリ保存型認知決定ポリシーを用いて,推論後の問題について検討する。 構造化されたkan-Fourier分類器はデフォルトの確率を提供し、ニューラルおよび非ニューラル候補は観測可能な証拠を提供する。 RMLA、RMLB、HISARでは、完全なシステムは全体の精度を63.632%から66.332%、65.161%から66.168%、77.769%から79.867%に改善している。
  論文  参考訳（メタデータ） (2026-08-03T11:07:37Z)
• Beyond Scalar Rewards by Internalizing Reasoning into Score Distributions [80.33276868889341]
  Z-Rewardは効率的な報酬展開から推論と重大な判断を分離する。 Z-Reward はテキスト・画像の最適化のための識別可能な報酬信号として機能することを示す。
  論文  参考訳（メタデータ） (2026-06-08T06:20:12Z)
• ARBOR: Online Process Rewards via a Reusable Rubric Buffer for Search Agents [48.80766702702854]
  LLMベースの検索エージェントは、主に結果のみの報酬で訓練され、検索プロセス自体は監督されていない。 この信号は、全てのサンプル軌跡が同じ正当性を共有する結果同質な群に対して退化し、群内の優位性はゼロとなり、勾配は得られない。 ARBOR(Adaptive Buffer for Online Reward)は,クエリ間で共有されるルーリックメモリを維持する再利用可能なプロセス・リワードフレームワークである。
  論文  参考訳（メタデータ） (2026-06-02T06:58:54Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。