論文の概要: Robo-SWE: An Executable Issue-Resolution Dataset Mined from Robot Software Repositories
- arxiv url: http://arxiv.org/abs/2611.16116v1
- Date: Wed, 11 Nov 2026 23:51:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.292386
- Title: Robo-SWE: An Executable Issue-Resolution Dataset Mined from Robot Software Repositories
- Title(参考訳): Robo-SWE: ロボットソフトウェアリポジトリから抽出した課題解決データセット
- Abstract要約: Robo-SWEは28の公開ロボティクスリポジトリで、統合されたプルリクエストから抽出された236の実行可能な課題解決タスクのデータセットである。
各タスクには、オリジナルのイシューテキスト、修正前のコミットでのリポジトリのコンテナレシピ、開発者の修正、開発者のテストが含まれている。
データセットと公開リーダボードはオンラインで公開されている。
- 参考スコア(独自算出の注目度): 27.082302648704708
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Coding agents are evaluated mostly on general-purpose software, but domain-specific systems require domain-aware evaluation. Robot software is a particularly challenging case: Robot Operating System 2 (ROS 2) packages have their own build tools, simulators and learning frameworks are built on physics engines, and behavior that depends on timing and hardware is hard to test. We present Robo-SWE, a dataset of 236 executable issue-resolution tasks mined from merged pull requests in 28 public robotics repositories in four domains: ROS 2 systems, simulation and physics engines, robotics algorithm libraries, and robot-learning frameworks. Each task contains the original issue text, a container recipe for the repository at the commit before the fix, the developers' fix, and the developers' tests, which fail before the fix and pass after it in repeated offline runs. The dataset also keeps a provenance ledger of all 1,567 candidate pull requests, with the stage each reached and the reason for every rejection, and, as a first use, 3,540 graded attempts by five coding-agent setups with recorded patches and 3,529 available trajectories. Across three runs per primary setup, resolve rates range from 45.8% for Claude Sonnet 5.5 to 56.5% for Claude Opus 5.5; GPT-6.1 Sol reaches 54.1% at maximum effort and 52.5% at medium effort, and GPT-6 Astra 51.4%. GLM-5.3 resolves 46.2%, and Kimi K3.1 Pro 43.9%. The tasks are validated by execution; verification of their fairness by human reviewers is future work. The dataset and public leaderboard are available online.
- Abstract(参考訳): コーディングエージェントは、主に汎用ソフトウェアで評価されるが、ドメイン固有のシステムはドメイン認識評価を必要とする。
ロボット・オペレーティング・システム2(ROS2)パッケージには独自のビルドツールがあり、シミュレーターと学習フレームワークは物理エンジン上に構築されており、タイミングとハードウェアに依存する動作はテストが難しい。
ROS 2システム、シミュレーションと物理エンジン、ロボティクスアルゴリズムライブラリ、ロボット学習フレームワークの4つの領域において、28の公開ロボティクスリポジトリで統合されたプルリクエストから抽出された236の実行可能な課題解決タスクのデータセットであるRobo-SWEを提案する。
各タスクには、元のイシューテキスト、修正前のコミットでのリポジトリのコンテナレシピ、開発者の修正、開発者のテストが含まれており、修正前に失敗し、繰り返しオフライン実行でそれをパスする。
データセットは、すべての1,567のプルリクエストのプロファイランス台帳も保持しており、各ステージが到達し、各リジェクションの理由が示され、最初の使用として、記録されたパッチと3,529の利用可能なトラジェクトリを備えた5つのコーディングエージェントセットアップによる3,540のグレードの試行が行われた。
プライマリ・セットアップあたりの3回の走行では、クロード・ソネットの45.8%から、クロード・オプスの56.5%、GPT-6.1ソルの54.1%、中規模での52.5%、GPT-6アストラの51.4%となっている。
GLM-5.3は46.2%、Kim K3.1 Proは43.9%である。
タスクは実行によって検証される。人間レビュアーによる公平性の検証は将来の作業である。
データセットと公開リーダボードはオンラインで公開されている。
関連論文リスト
- ExpertCrowd-SWE: Measuring Frontier Coding Agents on Expert-Authored Engineering Tasks in Unfamiliar Codebases [0.4253810477898188]
ExpertCrowd-SWEは、100名の専門家によるマルチファイルソフトウェアエンジニアリングタスクのベンチマークである。
各タスクは、実際のリポジトリのピン留めされたコミットに対して、実践的なエンジニアによって書かれた変更要求である。
タスクは87のオープンソースプロジェクトと11の言語にまたがる。
論文 参考訳(メタデータ) (2026-11-09T21:20:57Z) - Embodied First Exam [174.26470416446247]
Embodied First Examは、物理世界に入る前に、コーディングエージェントの最初の試験として機能する。
47のロボットで35のスイートで1156のタスクをこなす。
456のコアタスクでは、最も強力な8つのエージェント、CodexのGPT-6 Astraが34%の成功率を達成した。
論文 参考訳(メタデータ) (2026-11-09T10:29:19Z) - Auriga Technical Report: A Task-Agnostic Agent Harness for Zero-Shot Embodied Manipulation [62.55752327741587]
RoboDojoでは、大きな計画と実行のギャップが、高レベルのタスク決定と物理的実行を分離します。
目標タスクやリセットを伴わないゼロショット操作において,このギャップの68.3%を埋めるタスク非依存のエージェントハーネスであるAurigaを紹介する。
論文 参考訳(メタデータ) (2026-10-31T16:59:05Z) - ROSTrans: Empirically Benchmarking LLMs for ROS1-to-ROS2 Migration [7.4655567977646795]
本稿では,ROS1-to-ROS2コードマイグレーションにおけるLLMの評価ベンチマークであるROSTransを提案する。
ROSTransは、70以上のオープンソースのROS1リポジトリから引き出された108の足場付き補完タスクで構成されている。
Pass@1は10.9%以下で、すべてのサンプルの56.5%が正常にビルドされ、実行時にフェールする。
論文 参考訳(メタデータ) (2026-10-30T02:44:28Z) - InfraDev: Can Coding Agents Develop AI Infrastructure, and How Can We Tell? [3.2714937600999687]
InfraDevは現実世界のプルリクエストからMegatron-LM, vLLM, verlに構築された36のタスクのベンチマークである。
各タスクはエージェントに、多くのファイルにまたがる真の変更を再実装するよう要求する。
タスク間の依存関係やアーティファクトを再利用し,ストレージを52~57%削減し,Megatron-LMとvLLMでビルド時間を13~14%短縮する共有実行環境を設計する。
論文 参考訳(メタデータ) (2026-10-27T03:47:47Z) - Robota-Embed: Unified VLA Embeddings for Robot In-Context Learning and Evolution [90.448613284096]
ロボット・エンベッド(Robota-Embed)を導入し、現在のクエリと記録された将来の継続の両方において、3つのモダリティを共同で符号化する最初の視覚言語アクション埋め込みモデルについて紹介する。
我々は,1,695,684個のトレーニングアンカーを複数ソースで構築し,4000のクエリと8000のギャラリーの共有を備えたRobota-Embed-Benchを紹介した。
Robota-Embedは47.33%のクリップレベルと81.77%のエピソードレベルのR@1を達成した。
論文 参考訳(メタデータ) (2026-10-14T03:15:23Z) - AutoEnvScaling: Automating the Data Flywheel with Terminal Agents [63.914438869241486]
本稿では,環境設計を端末タスクとして扱うAutoEnvScalingを導入し,エージェントを用いてデータフライホイールの自動化を行う。
環境生成を端末タスクにすることで、AutoEnvScalingは有効環境率を最大25倍に向上させる。
GPT-5.6-sol による AutoEnvScaling 環境上でのQwen3.5-35B-A3B のトレーニングにより,Tmax ベースライン上での Terminal-Bench 2.1 スコアが4.3 ポイント向上したことを示す。
論文 参考訳(メタデータ) (2026-10-09T17:51:50Z) - Reconstruct, Practice, Go Real: Guided Self-Improvement for Embodied Agents [50.03584684933779]
本稿では,ロボット実行システムの自律的改善のためのフレームワークであるReconstruct, Practice, Go Real(RPG)を紹介する。
RPGはオフラインデータセットの操作機能を特定し、シミュレーションで関連するプラクティスタスクを構築する。
新しい再利用可能なシンボリックスキルを開発し、既存のスキルを洗練させ、これらの診断に基づいてシステムプロンプトを改訂する。
論文 参考訳(メタデータ) (2026-10-01T17:59:50Z) - RHO: Your Coding Agent is Secretly a Roboticist [24.9798218503493]
コード・アズ・ポリシーズ(CaP)は、大きな言語モデル(LLM)が知覚、計画、制御プリミティブを構成することでロボットのタスクを解くコードを書くことができることを示した。
最近のCaPシステムは、テスト時に多ターンコード生成ループに依存しており、リアルタイムロボット制御では不可能であることが多い。
ロボットハーネス最適化(ロボティクス・ハーネス・オプティマイゼーション、英: Robotics Harness Optimization、RHO)は、ツール対応のコーディングエージェントがトレーニング時に、解釈可能な、ニューロシンボリックなマルチファイルポリシーリポジトリの提案と検索を行う新しいパラダイムである。
論文 参考訳(メタデータ) (2026-06-15T09:30:12Z) - Agentic AI in the Software Development Lifecycle: Architecture, Empirical Evidence, and the Reshaping of Software Engineering [0.0]
現代のエージェントシステムは、リポジトリ、機能、アルゴリズムの粒度で機能する。
本稿ではエージェントソフトウェア工学システムのための6層参照アーキテクチャを提案する。
調査の中心的な対象は、コード生成から人事監督下での委任執行へと移行したと論じる。
論文 参考訳(メタデータ) (2026-04-29T04:06:47Z) - RoboTwin 2.0: A Scalable Data Generator and Benchmark with Strong Domain Randomization for Robust Bimanual Robotic Manipulation [52.2244588424002]
我々は,多様かつ現実的なデータの自動生成のためのスケーラブルなフレームワークであるRoboTwin 2.0を紹介する。
コアとなるRoboTwin-ODは、セマンティックおよび操作関連アノテーションを備えた147カテゴリにわたる771インスタンスのオブジェクトライブラリである。
sim-to-real転送を改善するために、RoboTwin 2.0は5つの軸に沿って構造化された領域ランダム化を適用する。
論文 参考訳(メタデータ) (2025-06-22T16:26:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。