論文の概要: SWE-Critix: Post-Training Generalist Verifiers for Assessing Coding-Agent Trajectories

• arxiv url: http://arxiv.org/abs/2610.13356v2
• Date: Mon, 12 Oct 2026 08:45:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-14 23:39:49.951396
• Title: SWE-Critix: Post-Training Generalist Verifiers for Assessing Coding-Agent Trajectories
• Title（参考訳）: SWE-Critix:符号化軌道評価のための訓練後ジェネリスト検証器
• Abstract要約: 本稿では,SWE-Critixについて紹介する。 タスクとその実行軌跡が与えられた場合、学習された検証者は完了ラベルを予測し、その判断を説明する自然言語解析を生成する。 SWE-Critixは, ベースQwen3-30B-A3B推論モデルの分類精度を, SFT後66%, RL後78%に改善した。
• 参考スコア（独自算出の注目度）: 6.583588820375731
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Coding agents are increasingly deployed for end-to-end software engineering tasks, where a readily available oracle evaluator that defines the success criteria is often absent. This motivates verifications for coding agents that can reliably judge and explain their behavior. However, verification is non-trivial as coding agents are increasingly capable of solving long-horizon software engineering tasks. Their execution trajectories can be extremely long, containing hundreds of iterative interactions with code repositories and external tools. Existing verifiers either rely on general-purpose LLMs without specialized training or train dedicated critics that predominantly focus on producing scalar rewards, highlighting the relatively limited exploration of training-based generalist verification. We introduce SWE-Critix, a post-training pipeline for training generalist verifiers of coding-agent trajectories. Given a task and its execution trajectory, the learned verifier predicts the completion label and generates a natural-language analysis that explains its judgment. Our pipeline combines supervised fine-tuning (SFT) with reinforcement learning (RL) and trains a series of 30B models on trajectories from CodeForge-Preview. On a held-out test set, SWE-Critix improves classification accuracy from 57% for the base Qwen3-30B-A3B reasoning model to 66% after SFT and 78% after RL. We release our models, datasets, and training code to facilitate further research.
• Abstract（参考訳）: コーディングエージェントは、エンド・ツー・エンドのソフトウェアエンジニアリングタスクにますますデプロイされる。 これは、その振る舞いを確実に判断し、説明できるコーディングエージェントの検証を動機付けている。 しかし、コーディングエージェントが長期のソフトウェアエンジニアリングタスクを解く能力が高まっているため、検証は簡単ではない。 彼らの実行トラジェクトリは非常に長く、コードリポジトリや外部ツールとの数百の反復的なインタラクションを含んでいる。 既存の検証者は、専門訓練を受けずに汎用LLMを頼りにするか、主にスカラー報酬の制作に重点を置く専門的な批評家を訓練し、訓練に基づくジェネラリストの検証を比較的限定的に探究している。 本稿では,SWE-Critixについて紹介する。 タスクとその実行軌跡が与えられた場合、学習された検証者は完了ラベルを予測し、その判断を説明する自然言語解析を生成する。 我々のパイプラインは、教師付き微調整(SFT)と強化学習(RL)を組み合わせることで、CodeForge-Previewからのトラジェクトリ上で、一連の30Bモデルをトレーニングする。 SWE-Critixは, ベースQwen3-30B-A3B推論モデルの分類精度を, SFT後66%, RL後78%に改善した。 私たちは、さらなる研究を促進するために、モデル、データセット、トレーニングコードをリリースします。

関連論文リスト

• TRACE: Tackling Real-World Resource Assignment Problems via Agentic Heuristic Design [12.936419360138045]
  動的リソース割り当て — タスクストリームを異種処理ノードにリアルタイムに割り当てる — は、現代のコンピューティングインフラストラクチャのバックボーンである。 本稿では,進化的AHDループとエージェント知識抽出を結合したTRACEを提案する。 TRACEは、リソース割り当て問題において最先端のAHDメソッドを一貫して上回り、2%以上のオーバーヘッドで監査可能なリソースを得る。
  論文  参考訳（メタデータ） (2026-10-01T15:38:04Z)
• EngramBench: A Capability-Grounded Benchmark for Skill-Evolution Harnesses [50.93446596863591]
  EngramBenchは、ソリューションオーバーラップすることなく、厳密なオーバーラップの公理に支配される機能基底ベンチマークである。 人間の専門的検証によって裏付けられた48の複数時間実行軌跡に対する我々の評価は、手続き記憶に関する深い洞察を浮き彫りにしている。 破滅的なトークン重大な試行錯誤からエージェントを遠ざけることで、真の能力抽象化は冗長なコンテキストの肥大を削減し、全体的なコーディング時間を55%以上削減します。
  論文  参考訳（メタデータ） (2026-09-30T08:33:17Z)
• MTAC-IFBench: Benchmarking Instruction-Following in Multi-Turn Agentic Coding [83.0805548642958]
  MTAC-IFBenchは、ソフトウェア開発におけるインストラクションフォローのための包括的なベンチマークである。 6つのプライマリと18のセカンダリカテゴリにまたがるさまざまな制約を持つ、多ターンプログレッシブなソフトウェア開発指示が特徴である。 MTAC-IFBenchは、マルチターン命令フォローにおける既存のコードエージェントの重大な欠陥を認識し、インタラクションセッションが長くなるにつれてパフォーマンスが急速に低下する。
  論文  参考訳（メタデータ） (2026-09-14T03:57:37Z)
• TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
  TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。 ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。 純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
  論文  参考訳（メタデータ） (2026-07-15T16:16:42Z)
• ACC: Compiling Agent Trajectories for Long-Context Training [36.977301208747015]
  Agent Context Compilationは、検索、ソフトウェアエンジニアリング、データベースクエリエージェントからのトラジェクトリを、長いコンテキストのQAペアに変換する。 ACCはシンプルだが効果的なアプローチであり、既存のロングコンテキスト拡張やトレーニングメソッドと組み合わせることができる。
  論文  参考訳（メタデータ） (2026-05-21T00:47:03Z)
• IQuest-Coder-V1 Technical Report [56.045533451719905]
  IQuest-Coder-V1 シリーズ-(7B/14B/40B/40B-Loop) は、新しいコード大言語モデル(LLM)のファミリーである。 IQuest-Coder-V1は、コードインテリジェンスの重要な次元にわたる競合モデルの最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-03-17T16:15:31Z)
• SWE-QA-Pro: A Representative Benchmark and Scalable Training Recipe for Repository-Level Code Understanding [41.98672557723593]
  SWEQA-Proは,多種多様な長期リポジトリと実行可能な環境から構築されたベンチマークである。 さらに,2段階のトレーニングレシピであるSupervised Fine-Tuning(SFT)とReinforcement Learning from AI Feedback(RLAIF)という,スケーラブルな合成データパイプラインを提案する。 SWE-QA-ProのGPT-4oを2.3ポイント超え、最先端モデルとのギャップを大幅に狭める。
  論文  参考訳（メタデータ） (2026-03-17T05:12:48Z)
• Understanding by Reconstruction: Reversing the Software Development Process for LLM Pretraining [66.89012795621349]
  大規模言語モデル(LLM)は、複雑なソフトウェア工学に必要な、深く、長期にわたる推論に苦しむことが多い。 本稿では,再構築による理解という,新しいパラダイムを提案する。 マルチエージェントシミュレーションを用いて潜在エージェント軌道を合成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-11T09:23:20Z)
• Agent RL Scaling Law: Agent RL with Spontaneous Code Execution for Mathematical Problem Solving [26.413753656936688]
  大規模言語モデル(LLM)は、正確で検証可能な計算を必要とする数学的推論タスクに苦慮することが多い。 結果に基づく報酬から強化学習(RL)がテキストベースの推論を強化する一方で、エージェントがコード実行のような外部ツールを活用するために自律的に学習する方法を理解することは依然として重要である。
  論文  参考訳（メタデータ） (2025-05-12T17:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。