論文の概要: XStack: A Benchmark for ML Repo Migration
- arxiv url: http://arxiv.org/abs/2611.08472v1
- Date: Thu, 05 Nov 2026 18:55:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 04:55:13.630716
- Title: XStack: A Benchmark for ML Repo Migration
- Title（参考訳）: XStack: MLレポジトリのベンチマーク
- Abstract要約: 機械学習コードは、主にNVIDIA GPU上のPyTorchとGoogle TPU上のJAXの2つのエコシステムに存在している。
XStackは、これらの2つのエコシステム間でMLリポジトリを移行するエージェントを評価するベンチマークである。
クロードオプス5は75%、GPT-5.6-ゾル45%、その他の全てのエージェントは40%を超える。
- 参考スコア（独自算出の注目度）: 11.997414984660624
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: ML code should run where researchers choose, not where it was first written. Today, machine learning code mainly lives in two ecosystems, PyTorch on NVIDIA GPUs and JAX on Google TPUs. Migrating repositories between them means building and testing across frameworks and hardware. This migration is (1) a practical need, since it unlocks different hardware for researchers, and (2) a natural benchmark: it involves different frameworks and hardware, covers whole repositories, and is long-horizon and challenging. We introduce XStack, a benchmark that evaluates agents on migrating ML repositories between these two ecosystems. Each agent receives a PyTorch repository and a clean TPU machine and must deliver a JAX repository. Its output passes if it meets our grading criteria, based on the source repository's published result, authenticated and calibrated by us. Migration by agents remains unreliable: Claude Opus 5 passes 75%, GPT-5.6-sol 45%, and every other agent at most 40%. XStack is a step toward freeing ML code from its ecosystem. We release XStack to make progress toward reliable migration across frameworks and hardware measurable.
- Abstract（参考訳）: MLコードは、最初に書かれた場所ではなく、研究者が選んだ場所で実行されるべきである。
現在、機械学習コードは主として、NVIDIA GPU上のPyTorchとGoogle TPU上のJAXの2つのエコシステムに存在している。
リポジトリを移行することは、フレームワークとハードウェアをまたいだ開発とテストを意味する。
この移行は、(1)研究者のために異なるハードウェアをアンロックするため、そして(2)自然なベンチマークである: 異なるフレームワークとハードウェアを伴い、リポジトリ全体をカバーし、長期的かつ困難である。
これら2つのエコシステム間のMLリポジトリの移行に関するエージェントを評価するベンチマークであるXStackを紹介する。
各エージェントはPyTorchリポジトリとクリーンなTPUマシンを受け取り、JAXリポジトリを提供する必要がある。
その出力は、ソースリポジトリが公開した結果に基づいて、私たちの評価基準を満たしている場合、認証され、校正されます。
クロードオプス5は75%、GPT-5.6-ゾル45%、その他の全てのエージェントは40%を超える。
XStackは、そのエコシステムからMLコードを解放するステップである。
XStack をリリースして,フレームワーク間の信頼性の高いマイグレーションとハードウェア測定可能な移行を進めています。
関連論文リスト
- OS-Bench: Evaluating SWE Agents on Cross-OS Code Migration [31.650722718199138]
我々は、LinuxとWindows間のクロスOSコードマイグレーションのための実行可能なベンチマークであるOS-Benchを紹介する。
OS-Benchは、両方のシステムで同じリポジトリから収集された実行カバレッジを比較することで、マイグレーションの機会を特定する。
SWE-agent, Claude Code, OpenHands, Win-agentの6つのモデルを評価する。
論文 参考訳（メタデータ） (2026-10-14T01:12:46Z) - Agentic Hardware Design as Repository-Level Code Evolution [8.614736536216526]
HORIZONは、ハードウェア設計をリポジトリレベルのコード進化として扱うセルフ進化エージェントフレームワークである。
我々はChipBench, RTLLM, Verilog-Eval, 9つのCVDPカテゴリについて検討した。
論文 参考訳（メタデータ） (2026-06-26T17:21:06Z) - Learning Bug Context for PyTorch-to-JAX Translation with LLMs [9.947100398867653]
我々は、PyTorchをJAX翻訳に強化するプロンプト拡張フレームワークであるT2Jを紹介します。
我々のパイプラインは2つのPyTorchソースを組み立て、GPT-4o-miniを使って初期のJAXドラフトを生成します。
T2J CodeTrans Score、T2J FixCost Score、T2J Comparison Score。
論文 参考訳（メタデータ） (2025-10-10T22:22:36Z) - FreshStack: Building Realistic Benchmarks for Evaluating Retrieval on Technical Documents [53.5649975411777]
情報検索(IR)評価ベンチマークを自動構築するための総合的なフレームワークであるFreshStackを紹介する。
FreshStackでは、コードと技術ドキュメントからの自動コーパス収集、コミュニティに質問された質問と回答からのナゲット生成、ナゲットレベルのサポートが実施されている。
FreshStackを使って、急速に成長する、最近の、ニッチなトピックに関する5つのデータセットを構築し、タスクが十分に困難であることを保証しています。
論文 参考訳（メタデータ） (2025-04-17T17:44:06Z) - JaxMARL: Multi-Agent RL Environments and Algorithms in JAX [105.343918678781]
我々は、GPU対応の効率と多くの一般的なMARL環境のサポートを組み合わせた、最初のオープンソースPythonベースのライブラリであるJaxMARLを紹介します。
我々の実験は、壁時計時間の観点から、JAXベースのトレーニングパイプラインが既存のアプローチの約14倍高速であることを示している。
また、人気の高いStarCraft Multi-Agent ChallengeのJAXベースの近似的な再実装であるSMAXを紹介し、ベンチマークする。
論文 参考訳（メタデータ） (2023-11-16T18:58:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。