論文の概要: ROSTrans: Empirically Benchmarking LLMs for ROS1-to-ROS2 Migration

• arxiv url: http://arxiv.org/abs/2610.41168v1
• Date: Fri, 30 Oct 2026 02:44:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.594647
• Title: ROSTrans: Empirically Benchmarking LLMs for ROS1-to-ROS2 Migration
• Title（参考訳）: ROSTrans: ROS1-to-ROS2マイグレーションのためのLLMを実証的にベンチマークする
• Abstract要約: 本稿では,ROS1-to-ROS2コードマイグレーションにおけるLLMの評価ベンチマークであるROSTransを提案する。 ROSTransは、70以上のオープンソースのROS1リポジトリから引き出された108の足場付き補完タスクで構成されている。 Pass@1は10.9%以下で、すべてのサンプルの56.5%が正常にビルドされ、実行時にフェールする。
• 参考スコア（独自算出の注目度）: 7.4655567977646795
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although large language models have shown strong capabilities in domain-specific code generation, their performance in robotics software development, especially for the Robot Operating System (ROS), remains largely unexplored. ROS code generation presents distinctive challenges, including complex inter-node coordination, middleware configuration, and lifecycle semantics that go far beyond standard coding benchmarks, and many important correctness properties become observable only once migrated nodes are launched and communicate. We present ROSTrans, a benchmark for evaluating LLMs on ROS1-to-ROS2 code migration, a representative and practically important setting for ROS code generation. ROSTrans comprises 108 scaffolded completion tasks drawn from a diverse set of 70+ open-source ROS1 repositories and organized into a hierarchical taxonomy assessing interface-level, behavioral-level and system-level correctness. For every task we establish an executable reference: a verified ROS2 implementation, a runtime test suite that launches the nodes and exercises their topics, services, actions and parameters, and a container ensuring reproducibility. Candidates are scored by injecting only their target files into an otherwise fixed copy of the reference package, so a candidate can neither supply nor weaken the tests it is judged by. Evaluating six frontier LLMs over five stochastic generations per task, we find pass@1 below 10.9%, and that 56.5% of all samples build successfully and then fail at runtime,and 32.0% fail runtime assertions on the migrated interfaces, a class of error no compile-only oracle can detect. Execution-guided repair further improves task success, reaching 49.1% and 47.2% for Claude Opus 4.6 and GPT-5.5 after three rounds, respectively.
• Abstract（参考訳）: 大規模言語モデルはドメイン固有のコード生成において強力な能力を示しているが、ロボティクス・ソフトウェア開発、特にロボット・オペレーティング・システム(ROS)において、その性能はほとんど未解明のままである。 ROSコード生成は、複雑なノード間のコーディネーション、ミドルウェア構成、標準のコーディングベンチマークをはるかに越えるライフサイクルセマンティクスなど、独特な課題を呈している。 本稿では,ROS1-to-ROS2コードマイグレーションにおけるLLM評価のベンチマークであるROSTransについて述べる。 ROSTransは、70以上のオープンソースのROS1リポジトリから引き出された108の足場化された完了タスクで構成され、インターフェイスレベル、行動レベル、システムレベルの正確性を評価する階層的な分類に組織化されている。 検証済みのROS2実装、ノードを起動するランタイムテストスイート、トピック、サービス、アクション、パラメータ、再現性を保証するコンテナなどです。 候補は、対象のファイルのみを参照パッケージの固定されたコピーに注入することでスコア付けされるため、候補が判断したテストの供給や弱体化はできない。 タスク毎に5つの確率的世代で6つのフロンティアLDMを評価すると、pass@1が10.9%以下で、すべてのサンプルの56.5%が正常にビルドされ、実行時にフェールし、移行したインターフェース上で32.0%のフェール実行アサーションが検出できるエラーのクラスである。 クロード・オプス4.6では49.1%、GPT-5.5では47.2%に達した。

関連論文リスト

• Evaluating Local Language Model Agents for Reproducible Data Engineering: An Empirical Software Engineering Study of Mobility Workflows [74.39138492851343]
  大規模言語モデル(LLM)エージェントは、ソフトウェアやデータエンジニアリングアシスタントとしてますます使われている。 ローカルオープンウェイトエージェントが正しい再現可能なデータエンジニアリングアーティファクトを作成できるかどうかを評価する。
  論文  参考訳（メタデータ） (2026-10-08T08:26:46Z)
• A-SR: Self-Evolving Agentic LLMs for Symbolic Regression via Hierarchical Coordination [51.06539604709775]
  本稿では、制御ユニットを表現編集からロール条件のエビデンスビューへシフトさせる自己進化型エージェントフレームワークであるA-SRを提案する。 A-SRは、コーディネートプロトコル、オンライン評価器・リワードロールポリシー、および状態制御プロセスメモリ間のルーティングによる公式発見をコーディネートする。
  論文  参考訳（メタデータ） (2026-08-05T14:01:10Z)
• RuBench: A Repository-Level Agentic Coding Benchmark with Natively Authored Russian Task Specifications [0.0]
  RuBench 1.0は、5つのライブオープンソースリポジトリの最近の修正コミットから抽出された25のタスクのベンチマークである。 各タスクはロシア語で指定され、スクラッチから実際の顧客要求のスタイルで書かれ、翻訳されない。 25の修正コミットはすべて、評価されたモデル毎のトレーニングデータのカットオフを延期する。
  論文  参考訳（メタデータ） (2026-07-07T15:41:22Z)
• EngiAI: A Multi-Agent Framework and Benchmark Suite for LLM-Driven Engineering Design [0.4499833362998488]
  3つの評価次元を持つベンチマークスイートを導入する。 本稿では,LangGraph上に構築されたマルチエージェントシステム(MAS)の実装であるEngiAIを紹介する。
  論文  参考訳（メタデータ） (2026-05-19T12:12:09Z)
• RepoGenesis: Benchmarking End-to-End Microservice Generation from Readme to Repository [52.98970048197381]
  RepoGenesisは、リポジトリレベルのエンドツーエンドWebマイクロサービス生成のための、最初の多言語ベンチマークである。 18のドメインと11のフレームワークに106のリポジトリ(60のPython、46のJava)があり、1,258のAPIエンドポイントと2,335のテストケースが検証されている。 その結果、高いAC(最大73.91%)とDSR(最大100%)にもかかわらず、最高のパフォーマンスのシステムはPythonで23.67%のPass@1、Javaで21.45%しか達成していないことが明らかになった。
  論文  参考訳（メタデータ） (2026-01-20T13:19:20Z)
• RustRepoTrans: Repository-level Code Translation Benchmark Targeting Rust [50.65321080814249]
  RustRepoTransは、インクリメンタル翻訳をターゲットにした、最初のリポジトリレベルのコンテキストコード変換ベンチマークである。 複雑な翻訳シナリオの制約を評価するために, 7つの代表的なLLMを評価し, それらの誤差を分析した。
  論文  参考訳（メタデータ） (2024-11-21T10:00:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。