論文の概要: SWE-Shepherd: Advancing PRMs for Reinforcing Code Agents

• arxiv url: http://arxiv.org/abs/2604.10493v1
• Date: Sun, 12 Apr 2026 06:51:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.049789
• Title: SWE-Shepherd: Advancing PRMs for Reinforcing Code Agents
• Title（参考訳）: SWE-Shepherd: コードエージェント強化のためのPRMの改善
• Authors: Mahir Labib Dihan, Md Ashrafur Rahman Khan,
• Abstract要約: 既存のアプローチは、コード編集、ファイルナビゲーション、テスト実行などのアクションを選択するための静的なプロンプト戦略や手作業に依存している。 本稿では,プロセス・リワード・モデル(Process Reward Models,PRM)を導入するフレームワークであるSWE-Shepherdを提案する。 SWE-Bench Verifiedの実験では、インタラクション効率とアクション品質の改善に加えて、中間報酬と最終タスク成功の整合性の課題も強調されている。
• 参考スコア（独自算出の注目度）: 0.31034395048547575
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automating real-world software engineering tasks remains challenging for large language model (LLM)-based agents due to the need for long-horizon reasoning over large, evolving codebases and making consistent decisions across interdependent actions. Existing approaches typically rely on static prompting strategies or handcrafted heuristics to select actions such as code editing, file navigation, and test execution, but they lack fine-grained feedback on intermediate decisions. This leads to inefficient exploration, error propagation, and brittle solution trajectories. To address this limitation, we propose SWE-Shepherd, a framework that introduces Process Reward Models (PRMs) to provide dense, step-level supervision for repository-level code agents. Using trajectories from SWE-Bench, we construct an action-level reward dataset and train a lightweight reward model on a base LLM to estimate the usefulness of intermediate actions. During inference, the PRM evaluates candidate actions and guides the agent toward higher-reward decisions without requiring full reinforcement learning. Experiments on SWE-Bench Verified demonstrate improved interaction efficiency and action quality, while also highlighting challenges in aligning intermediate rewards with final task success.
• Abstract（参考訳）: 大規模で進化しているコードベースに対する長期的推論が必要であり、相互依存的なアクションで一貫した決定を行うため、大規模言語モデル(LLM)ベースのエージェントでは、実際のソフトウェアエンジニアリングタスクの自動化は依然として困難なままである。 既存のアプローチは、コード編集、ファイルナビゲーション、テスト実行などのアクションを選択するために静的なプロンプト戦略や手作りのヒューリスティックに頼っているが、中間決定に対するきめ細かいフィードバックがない。 これにより、非効率な探索、エラー伝播、不安定な解軌道が導かれる。 この制限に対処するため、我々はSWE-Shepherdというプロセス・リワード・モデル(Process Reward Models, PRMs)を導入し、リポジトリレベルのコードエージェントに対して、密集したステップレベルの監視を提供するフレームワークを提案する。 SWE-Benchのトラジェクトリを用いて、アクションレベル報酬データセットを構築し、ベースLLM上で軽量報酬モデルを訓練し、中間動作の有用性を推定する。 推論中、PRMは候補行動を評価し、完全な強化学習を必要とせず、エージェントを高次回帰決定へと導く。 SWE-Bench Verifiedの実験では、インタラクション効率とアクション品質の改善に加えて、中間報酬と最終タスク成功の整合性の課題も強調されている。

関連論文リスト

• AgentPRM: Process Reward Models for LLM Agents via Step-Wise Promise and Progress [71.02263260394261]
  大規模言語モデル(LLM)は、マルチターン意思決定タスクにおいて依然として課題に直面している。 プロセス報酬モデル(PRM)を構築し、各意思決定を評価し、エージェントの意思決定プロセスを導く。 AgentPRMは、シーケンシャルな決定と最終的な目標への貢献の間の相互依存の両方をキャプチャする。
  論文  参考訳（メタデータ） (2025-11-11T14:57:54Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。