論文の概要: Arctic-SWE: Revisiting the Long Horizon Agent Training by Modeling-System Co-Design

• arxiv url: http://arxiv.org/abs/2610.24914v1
• Date: Sat, 17 Oct 2026 23:24:03 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:02:34.298948
• Title: Arctic-SWE: Revisiting the Long Horizon Agent Training by Modeling-System Co-Design
• Title（参考訳）: アークティックSWE:モデリング・システム共同設計による長距離エージェント訓練の再考
• Abstract要約: Arctic-SWEは、モデル・システムの共同設計を通じてベースラインを確立する、完全に非同期なRLフレームワークである。 単一のコンポーネントは新しいものではありませんが、それらが一緒に欠落した基盤を形成します。 比較により, キュレーションとテスト強化の両面において, ホールドアウト性能が向上したことが示された。
• 参考スコア（独自算出の注目度）: 25.27731358109685
• License:
• Abstract: Long-horizon agent training, including software engineering, is advancing rapidly, but the recipe and infrastructure needed for a strong reinforcement-learning baseline remain difficult to reproduce. This makes gains from new algorithms or data hard to distinguish from improvements to an under-tuned baseline. We present Arctic-SWE, a fully asynchronous RL framework that establishes such a baseline through model-system co-design, using overfitting on a small task pool as the testbed. This testbed exposes failures that early reward gains conceal and guides the integration of established components: gated reward, importance-weight control, aligned training and inference engines, and consistent state across policy updates. No single component is new, yet together they form the missing foundation. On raw R2E-Gym data, without new algorithms or data work, Arctic-SWE trains Qwen3.5-4B to 62.0% pass@1 on SWE-bench Verified. This is comparable to concurrent FrogNano (61.5%), which relies on online task synthesis, after about one-sixth as many training rollouts. Building on this foundation, we further filter and refine R2E-Gym, SWE-rebench V2, and Scale-SWE. With this curated subset, the 4B model improves from 47.4%/25.0%/37.9% to 65.0%/38.3%/59.7% on SWE-bench Verified/Pro-v1/Pro-v2, and the recipe also improves Qwen3.5-9B from 56.2%/31.9%/48.8% to 65.7%/39.6%/70.2% on Verified/Pro-v1/Pro-v2. Controlled comparisons show that both curation and test strengthening improve held-out performance, although stronger tests reduce apparent training-task mastery. Arctic-SWE provides a documented starting point for studying better algorithms, data and environments for asynchronous agent RL.
• Abstract（参考訳）: ソフトウェア工学を含むロングホライゾンエージェントトレーニングは急速に進んでいるが、強力な強化学習ベースラインに必要なレシピとインフラは再現が難しいままである。 これにより、新しいアルゴリズムやデータから得られる利益は、未調整のベースラインの改善と区別するのが困難になる。 テストベッドとして小さなタスクプールにオーバーフィッティングを施し,モデル-システム共設計によりそのようなベースラインを確立する,完全に非同期なRLフレームワークであるArctic-SWEを提案する。 このテストベッドは、早期報酬が隠蔽し、確立したコンポーネントの統合を誘導する障害を明らかにする。 単一のコンポーネントは新しいものではありませんが、それらが一緒に欠落した基盤を形成します。 生のR2E-Gymデータでは、新しいアルゴリズムやデータ処理なしで、Quarktic-SWEはQwen3.5-4Bから62.0% pass@1をSWE-bench Verifiedで実行している。 これはFrogNano(61.5%)と同等であり、オンラインタスク合成に依存している。 この基礎の上に構築されたR2E-Gym, SWE-rebench V2, Scale-SWEをさらにフィルタし, 精製する。 4Bモデルは47.4%/25.0%/37.9%から65.0%/38.3%/59.7%に改善され、Qwen3.5-9Bは56.2%/31.9%/48.8%から65.7%/39.6%/70.2%に改善された。 比較による比較では、キュレーションとテスト強化の両方がホールドアウト性能を改善するが、強いテストは明らかなトレーニングタスクの熟達を減少させる。 Arctic-SWEは、非同期エージェントRLのためのより良いアルゴリズム、データ、環境を研究するためのドキュメント化された出発点を提供する。

関連論文リスト

• SWE-RM: Execution-free Feedback For Software Engineering Agents [61.86380395896069]
  実行ベースフィードバックは、テストタイムスケーリング(TTS)と強化学習(RL)を通じて、コーディングエージェントの開発に広く利用されている。 対照的に、報酬モデルによる実行不要なフィードバックは、単体テストケースに依存することなく、よりきめ細かい信号を提供することができる。 SWE-RMは,30Bの合計パラメータと3Bのアクティベートされた3Bの混合実験アーキテクチャを採用した,正確で堅牢な報酬モデルである。
  論文  参考訳（メタデータ） (2025-12-26T08:26:18Z)
• Reinforcement Learning for Reasoning in Large Language Models with One Training Example [117.86853102104256]
  1つのトレーニング例(1ショットRLVR)を用いた強化学習は,大規模言語モデル(LLM)の算数推論能力の向上に有効であることを示す。 1ショットRLVRにおける興味深い現象として、クロスカテゴリの一般化、自己回帰の頻度の増加、テスト性能の向上の持続などを挙げる。
  論文  参考訳（メタデータ） (2025-04-29T09:24:30Z)
• ACECODER: Acing Coder RL via Automated Test-Case Synthesis [36.740393665032954]
  既存のコードデータから広範な(問い合わせ、テストケース)ペアを生成するパイプラインを設計します。 我々は,Bradley-Terry損失を伴う報酬モデルをトレーニングするために,サンプルプログラムのパスレートに基づいて選好ペアを構築した。 RLトレーニングは,80段階の最適化ステップにおいて,HumanEval+を25%以上,MBPP+を6%以上改善できることを示す。
  論文  参考訳（メタデータ） (2025-02-03T18:46:04Z)
• Kimi k1.5: Scaling Reinforcement Learning with LLMs [84.95584393629998]
  我々は、強化学習で訓練された最新のマルチモーダル言語モデル、Kimi k1.5の訓練実践について報告する。 長いコンテキストスケーリングと改善されたポリシー最適化手法が、我々のアプローチの鍵となる要素である。 本システムは,複数のベンチマークやモダリティに対して,最先端の推論性能を実現する。
  論文  参考訳（メタデータ） (2025-01-22T02:48:14Z)
• LOT: Layer-wise Orthogonal Training on Improving $\ell_2$ Certified Robustness [14.206377940235091]
  近年の研究では、リプシッツ制約によるディープニューラルネットワーク(DNN)のトレーニングは、対向的ロバスト性や安定性などのモデル特性を高めることができることが示されている。 本研究では,1-Lipschitz畳み込み層を効果的に学習するための層ワイド直交訓練法(LOT)を提案する。 LOTは、決定論的l2証明されたロバスト性に関して、ベースラインを著しく上回り、より深いニューラルネットワークにスケールすることを示す。
  論文  参考訳（メタデータ） (2022-10-20T22:31:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。