論文の概要: OS-Bench: Evaluating SWE Agents on Cross-OS Code Migration

• arxiv url: http://arxiv.org/abs/2610.19368v1
• Date: Wed, 14 Oct 2026 01:12:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.879586
• Title: OS-Bench: Evaluating SWE Agents on Cross-OS Code Migration
• Title（参考訳）: OS-Bench: クロスOSコードのマイグレーションにおけるSWEエージェントの評価
• Abstract要約: 我々は、LinuxとWindows間のクロスOSコードマイグレーションのための実行可能なベンチマークであるOS-Benchを紹介する。 OS-Benchは、両方のシステムで同じリポジトリから収集された実行カバレッジを比較することで、マイグレーションの機会を特定する。 SWE-agent, Claude Code, OpenHands, Win-agentの6つのモデルを評価する。
• 参考スコア（独自算出の注目度）: 31.650722718199138
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language-model (LM) agents are increasingly evaluated on repository-level software engineering (SWE) benchmarks derived from GitHub issues and pull requests. Although these benchmarks cover a broad range of development tasks, they provide limited insight into a common yet technically distinct challenge: migrating an existing implementation from one operating system (OS) to another while preserving behavior on both. We introduce OS-Bench, an executable benchmark for cross-OS code migration between Linux and Windows. Motivated by case studies showing that cross-platform features are frequently implemented on one OS before support is added for another, OS-Bench identifies migration opportunities by comparing execution coverage collected from the same repository on both systems. Platform-specific regions are then verified, organized into five migration scenarios, and transformed into repository-level tasks with target-platform tests and source-platform regression tests. The resulting benchmark contains 140 validated tasks from 111 repositories across C, C++, C#, Go, and Rust, comprising 91 Windows-to-Linux and 49 Linux-to-Windows migrations. We evaluate six models with SWE-agent, Claude Code, OpenHands, and Win-agent. The best configurations achieve only 26.4% success on Linux-target tasks and 20.4% on Windows-target tasks while preserving correctness across both systems. These results indicate that cross-OS migration is a challenging and underexplored capability, and OS-Bench is a testbed for improving platform-aware SWE agents.
• Abstract（参考訳）: 言語モデル(LM)エージェントは、GitHubの問題とプルリクエストから派生したリポジトリレベルのソフトウェアエンジニアリング(SWE)ベンチマークで、ますます評価されている。 これらのベンチマークは幅広い開発タスクをカバーしているが、既存の実装を1つのオペレーティングシステム(OS)から別のOSへ移行し、両方の動作を保存するという、技術的に異なる共通の課題についての限られた洞察を提供する。 我々は、LinuxとWindows間のクロスOSコードマイグレーションのための実行可能なベンチマークであるOS-Benchを紹介する。 サポートを追加する前に、クロスプラットフォーム機能がひとつのOSで頻繁に実装されていることを示すケーススタディによって、OS-Benchは、両方のシステムで同じリポジトリから収集された実行カバレッジを比較することで、移行の機会を特定する。 プラットフォーム固有のリージョンが検証され、5つの移行シナリオに編成され、ターゲットプラットフォームテストとソースプラットフォーム回帰テストを備えたリポジトリレベルのタスクに変換される。 結果として得られたベンチマークには、C、C++、C#、Go、Rustにまたがる111のリポジトリから140の検証済みタスクが含まれており、91のWindows-to-Linuxと49のLinux-to-Windowsマイグレーションが含まれている。 SWE-agent, Claude Code, OpenHands, Win-agentの6つのモデルを評価する。 最高の設定はLinuxターゲットタスクで26.4%、Windowsターゲットタスクで20.4%しか成功せず、両方のシステムで正確性を維持している。 これらの結果から,OS-Benchはプラットフォーム対応のSWEエージェントを改善するためのテストベッドである。

関連論文リスト

• HWE-Bench: Benchmarking LLM Agents on Real-World Hardware Bug Repair Tasks [3.958773019872771]
  既存のベンチマークは主に、孤立したコンポーネントレベルのタスクでLarge Language Models (LLM)を評価する。 HWE-Benchは,LLMエージェントを現実のハードウェアバグ修正タスクで評価するための,最初の大規模リポジトリレベルのベンチマークである。
  論文  参考訳（メタデータ） (2026-04-16T07:19:34Z)
• RepoGenesis: Benchmarking End-to-End Microservice Generation from Readme to Repository [52.98970048197381]
  RepoGenesisは、リポジトリレベルのエンドツーエンドWebマイクロサービス生成のための、最初の多言語ベンチマークである。 18のドメインと11のフレームワークに106のリポジトリ(60のPython、46のJava)があり、1,258のAPIエンドポイントと2,335のテストケースが検証されている。 その結果、高いAC(最大73.91%)とDSR(最大100%)にもかかわらず、最高のパフォーマンスのシステムはPythonで23.67%のPass@1、Javaで21.45%しか達成していないことが明らかになった。
  論文  参考訳（メタデータ） (2026-01-20T13:19:20Z)
• SWE-Bench++: A Framework for the Scalable Generation of Software Engineering Benchmarks from Open-Source Repositories [2.951332247539421]
  オープンソースGitHubプロジェクトからリポジトリレベルのコーディングタスクを生成する自動フレームワークであるSWE-Bench++を紹介します。 合成アプローチとは異なり、パイプラインは11言語にわたるバグ修正と機能要求の両方をカバーするために、ライブプルリクエストを収集します。 最初のベンチマークは11言語にわたる3,971リポジトリから11,133インスタンスで構成されています。
  論文  参考訳（メタデータ） (2025-12-19T10:16:51Z)
• Automated Benchmark Generation for Repository-Level Coding Tasks [7.305342793164905]
  SetUpAgentは、歴史的に正確な依存性の設定、テスト実行、結果解析が可能な完全に自動化されたシステムである。 i)SWEE-Benchは数百のリポジトリを含むSWE-Benchの拡張バージョンで、ii)SWA-Benchはライブラリではなくアプリケーションに焦点を当てたベンチマークです。
  論文  参考訳（メタデータ） (2025-03-10T17:42:49Z)
• CRAB: Cross-environment Agent Benchmark for Multimodal Language Model Agents [49.68117560675367]
  Crabは、クロス環境タスクをサポートするように設計された最初のベンチマークフレームワークである。 私たちのフレームワークは複数のデバイスをサポートし、Pythonインターフェースで簡単に任意の環境に拡張できます。 実験の結果、GPT-4oの1剤が38.01%の最高完成率を達成することが示された。
  論文  参考訳（メタデータ） (2024-07-01T17:55:04Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。