論文の概要: Beyond Binary Verifiable Rewards: Behavioral Self-Rewarding for SWE Agents

• arxiv url: http://arxiv.org/abs/2610.12598v1
• Date: Thu, 08 Oct 2026 18:21:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.246117
• Title: Beyond Binary Verifiable Rewards: Behavioral Self-Rewarding for SWE Agents
• Title（参考訳）: 2元的検証不能報酬を超えて:SWEエージェントの行動自己報酬化
• Abstract要約: 政策が自己の軌道を判断し、個別に訓練された報酬モデルなしでこれらの判断を用いてタスクパフォーマンスを向上させることができるかどうかを検討する。 行動自己回帰(BSR)は、ペアワイズ選好をタスクローカルスコアに集約し、それらを有界補助報酬に変換する。 BSRは、新しい環境相互作用を必要とせずに、既に収集された軌道からのさらなる監督を提供する。
• 参考スコア（独自算出の注目度）: 19.814575074905722
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) provides reliable supervision for software engineering agents through executable tests, but binary rewards fail to distinguish trajectories with substantially different debugging quality. We investigate whether the current policy can judge its own trajectories and use these judgments to improve task performance without a separately trained reward model. To this end, we introduce Behavioral Self-Rewarding (BSR), a reward-refinement method that reuses the policy to compare observable debugging behavior among trajectories from the same task with the same verifier outcome. BSR aggregates pairwise preferences into task-local scores and converts them into bounded auxiliary rewards, introducing reward contrast while preserving the verifier-defined pass/fail ordering. This provides additional supervision from already-collected trajectories without requiring new environment interactions. Experiments on SWE-bench Verified and SWE-bench-Live show consistent improvements across the evaluated Qwen3-14B and Qwen3-32B configurations, supporting using the policy's own comparative judgments as a complementary learning signal for training software engineering agents.
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は、実行可能なテストを通じて、ソフトウェアエンジニアリングエージェントの信頼性の高い監視を提供するが、バイナリ報酬は、デバッグ品質が著しく異なるトラジェクトリを区別することができない。 本研究では,現状の政策が自己の軌道を判断し,これらの判断を個別に訓練された報酬モデルなしでタスクパフォーマンスを向上させることができるかどうかを考察する。 そこで本研究では,同一タスクからのトラジェクトリ間での観測可能なデバッグ動作と同一検証結果とを比較するために,ポリシーを再利用した報奨補充手法である振舞い自己回帰(BSR)を導入する。 BSRは、ペアワイズ選好をタスクローカルスコアに集約し、それを有界補助報酬に変換し、検証者定義のパス/フェイル順序を保ちながら報酬コントラストを導入する。 これにより、新しい環境相互作用を必要とせずに、既に収集された軌道からのさらなる監視が可能になる。 SWE-bench VerifiedとSWE-bench-Liveの実験では、評価済みのQwen3-14BとQwen3-32B構成で一貫した改善が見られ、ソフトウェアエンジニアリングエージェントをトレーニングするための補完的な学習信号として、ポリシー自体の比較判断の使用をサポートする。

関連論文リスト

• SWE-MILE: Asynchronous Potential-Induced Milestone Credit Assignment for Long-Horizon Software Engineering Agents [52.92536111845184]
  SWE-MILEは、ワークフローランタイムからきめ細かいプロセス監視を導出するプロセス監視フレームワークである。 非同期シャドウプローブは、分離されたサンドボックス内のリポジトリ変更アクションを再生し、エージェントのプライマリインタラクションと並行して検証を実行する。 2つの代表的な長期SWEタスクの実験は、エージェント性能を大幅に改善したことを示している。
  論文  参考訳（メタデータ） (2026-09-26T13:49:14Z)
• S3Gym: Can LLMs Turn Self-Testing and Self-Judging into Self-Improvement? [66.17176838165994]
  大規模言語モデル(LLM)は、ますます外部環境と相互作用し、かなりの行動経験を蓄積する。 エージェントがその振る舞いを積極的にテストし、得られた経験を判断し、その経験を使って将来の意思決定を改善することができるかどうかは不明だ。 LLM自己改善評価のための対話型ベンチマークである textbfStextsuperscript3Gym を導入する。
  論文  参考訳（メタデータ） (2026-08-31T17:05:41Z)
• RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges [48.831446371402414]
  RecurSEは、訓練可能な裁判官と同期されたポリシーコピーチェッカーをペアにして、裁判官のメタルーブリックに対する推論を監査し、スカラープロセスの報酬を提供する。 本稿では,RecurSEが医療,ペアワイド,要約,プロフェッショナルベンチマークにおいて一貫した一般化を実現していることを示す。
  論文  参考訳（メタデータ） (2026-08-25T08:35:04Z)
• Utilizing and Calibrating Hindsight Process Rewards via Reinforcement with Mutual Information Self-Evaluation [50.696688705287755]
  我々は、強化学習におけるスパース報酬課題を克服するために、相互情報自己評価を提案する。 MISEにより、エージェントは、疎外的信号を補う高密度な内部報酬から自律的に学習することができる。 我々は、後見自己評価報酬を利用することは、政策と代行報酬政策の間のKL分散項と相互情報を組み合わせた目的を最小化することと等価であることを示す。
  論文  参考訳（メタデータ） (2026-04-13T15:18:51Z)
• Audited Skill-Graph Self-Improvement for Agentic LLMs via Verifiable Rewards, Experience Synthesis, and Continual Memory [3.7163033180152536]
  Audited Skill-Graph Self-Improvementは、自己改善をエージェントの反復的なコンパイルとしてスキルグラフに扱うフレームワークである。 本稿では,完全なシステムアーキテクチャ,脅威モデル,セキュリティ解析を提案し,完全に実行可能な参照実装を提供する。
  論文  参考訳（メタデータ） (2025-12-28T19:39:47Z)
• Rewarding the Journey, Not Just the Destination: A Composite Path and Answer Self-Scoring Reward Mechanism for Test-Time Reinforcement Learning [29.778703252962092]
  大規模言語モデル(LLM)の進化のための強力なパラダイムとして強化学習(RL)が登場した。 外部の監督なしに動作する新しいテストタイム報酬機構を開発した。
  論文  参考訳（メタデータ） (2025-10-20T07:53:51Z)
• Hybrid Reinforcement: When Reward Is Sparse, It's Better to Be Dense [36.71358559780692]
  HEROは、検証者信号と報酬モデルスコアを構造化された方法で統合する強化学習フレームワークである。 HEROはRMのみのベースラインと検証者のみのベースラインを一貫して上回り、検証可能なタスクと検証しにくいタスクの両方で大きな利益を上げている。
  論文  参考訳（メタデータ） (2025-10-08T17:09:41Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。