論文の概要: TimeMachine-bench: A Benchmark for Evaluating Model Capabilities in Repository-Level Migration Tasks

• arxiv url: http://arxiv.org/abs/2601.22597v1
• Date: Fri, 30 Jan 2026 05:42:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.257533
• Title: TimeMachine-bench: A Benchmark for Evaluating Model Capabilities in Repository-Level Migration Tasks
• Title（参考訳）: TimeMachine-bench: リポジトリレベルのマイグレーションタスクにおけるモデル機能評価ベンチマーク
• Authors: Ryo Fujii, Makoto Morishita, Kazuki Yano, Jun Suzuki,
• Abstract要約: TimeMachine-benchは、現実のPythonプロジェクトでソフトウェアマイグレーションを評価するために設計されたベンチマークである。 私たちのベンチマークは、依存関係の更新に応じてテストが失敗し始めるGitHubリポジトリで構成されています。
• 参考スコア（独自算出の注目度）: 12.573674060643787
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the advancement of automated software engineering, research focus is increasingly shifting toward practical tasks reflecting the day-to-day work of software engineers. Among these tasks, software migration, a critical process of adapting code to evolving environments, has been largely overlooked. In this study, we introduce TimeMachine-bench, a benchmark designed to evaluate software migration in real-world Python projects. Our benchmark consists of GitHub repositories whose tests begin to fail in response to dependency updates. The construction process is fully automated, enabling live updates of the benchmark. Furthermore, we curated a human-verified subset to ensure problem solvability. We evaluated agent-based baselines built on top of 11 models, including both strong open-weight and state-of-the-art LLMs on this verified subset. Our results indicated that, while LLMs show some promise for migration tasks, they continue to face substantial reliability challenges, including spurious solutions that exploit low test coverage and unnecessary edits stemming from suboptimal tool-use strategies. Our dataset and implementation are available at https://github.com/tohoku-nlp/timemachine-bench.
• Abstract（参考訳）: 自動化されたソフトウェアエンジニアリングの進歩により、研究の焦点は、ソフトウェアエンジニアの日々の業務を反映した実践的なタスクへとシフトしつつある。 これらのタスクの中で、進化する環境にコードを適用する重要なプロセスであるソフトウェアマイグレーションは、ほとんど見過ごされてきました。 本研究では,現実のPythonプロジェクトにおけるソフトウェアマイグレーションを評価するためのベンチマークであるTimeMachine-benchを紹介する。 私たちのベンチマークは、依存関係の更新に応じてテストが失敗し始めるGitHubリポジトリで構成されています。 ビルドプロセスは完全に自動化されており、ベンチマークのライブアップデートを可能にする。 さらに,問題解決性を確保するため,人間検証サブセットをキュレートした。 我々は,11モデル上に構築されたエージェントベースベースラインの評価を行った。 以上の結果から,LSMは移行作業の有望性を示す一方で,テストカバレッジの低さや,ツール使用下戦略による不要な編集など,信頼性の面での課題に直面することが示唆された。 データセットと実装はhttps://github.com/tohoku-nlp/timemachine-bench.comで公開しています。

関連論文リスト

• Using Copilot Agent Mode to Automate Library Migration: A Quantitative Assessment [0.5735035463793009]
  ソフトウェアシステムを最新の状態に保つことは、技術的負債、セキュリティ上の脆弱性、そしてレガシーシステムの典型的な剛性を避けるために不可欠である。 大規模言語モデル(LLM)やエージェントプログラミングシステムの最近の進歩は、そのような保守作業を自動化する新しい機会を提供する。
  論文  参考訳（メタデータ） (2025-10-30T17:05:13Z)
• MCP-Universe: Benchmarking Large Language Models with Real-World Model Context Protocol Servers [86.00932417210477]
  MCP-Universeは,実世界のMPPサーバとのインタラクションを通じて,現実的かつ困難なタスクにおいてLLMを評価するために設計された,初めての総合ベンチマークである。 私たちのベンチマークでは、ロケーションナビゲーション、リポジトリ管理、財務分析、3Dデザイン、ブラウザ自動化、Web検索という、11の異なるMSPサーバにまたがる6つのコアドメインを網羅しています。 GPT-5 (43.72%) やGrok-4 (33.33%) やClaude-4.0-Sonnet (29.44%) のようなSOTAモデルでさえ、大幅な性能制限がある。
  論文  参考訳（メタデータ） (2025-08-20T13:28:58Z)
• Automated Validation of LLM-based Evaluators for Software Engineering Artifacts [0.7548538278943616]
  REFINE(Ranking Evaluators for FIne grained Nuanced Evaluation)は、大規模言語モデル(LLM)をベンチマークする自動化フレームワークである。 REFINEは、徐々に品質が低下したアーティファクトを自動的に合成するために、新しい生成技術を適用している。 それぞれの候補評価器の構成を、そのランクが期待された順序にどの程度近いかを測定することで定量化する。
  論文  参考訳（メタデータ） (2025-08-04T18:52:01Z)
• ThinkGeo: Evaluating Tool-Augmented Agents for Remote Sensing Tasks [64.86209459039313]
  ThinkGeoは、構造化ツールの使用とマルチステップ計画を通じて、リモートセンシングタスクにおけるツール拡張エージェントを評価するために設計されたエージェントベンチマークである。 我々はReActスタイルの対話ループを実装し,486 個の構造化エージェントタスク上でのオープンソース LLM とクローズドソース LLM の両方を1,773 個の専門家が検証した推論ステップで評価する。 分析の結果、ツールの精度とモデル間の計画整合性に顕著な相違が明らかになった。
  論文  参考訳（メタデータ） (2025-05-29T17:59:38Z)
• Agentless: Demystifying LLM-based Software Engineering Agents [12.19683999553113]
  Agentless - ソフトウェア開発の問題を自動解決するためのエージェントレスアプローチです。 Agentlessはエージェントベースのアプローチの冗長で複雑な設定と比較すると、ローカライゼーション、修復、パッチ検証の3フェーズプロセスをシンプルに採用している。 人気の高いSWE-bench Liteベンチマークの結果から、Agentlessは驚くほど高いパフォーマンスと低コストを達成できることがわかった。
  論文  参考訳（メタデータ） (2024-07-01T17:24:45Z)
• Automated Program Repair: Emerging trends pose and expose problems for benchmarks [7.437224586066947]
  大規模言語モデル(LLM)はソフトウェアパッチの生成に使用される。 評価と比較は、結果が有効であり、一般化する可能性が高いことを保証するために注意する必要があります。 大規模かつしばしば開示されていないトレーニングデータセットには、評価される問題が含まれている可能性がある。
  論文  参考訳（メタデータ） (2024-05-08T23:09:43Z)
• Planning, Creation, Usage: Benchmarking LLMs for Comprehensive Tool Utilization in Real-World Complex Scenarios [93.68764280953624]
  UltraToolは、ツール利用におけるLarge Language Modelsの能力を改善し評価するために設計された、新しいベンチマークである。 現実の複雑さを強調し、効果的な問題解決のために正確で多段階の計画を必要とする。 UltraToolの重要な特徴は、ツールの使用前に発生する自然言語による計画の独立した評価である。
  論文  参考訳（メタデータ） (2024-01-30T16:52:56Z)
• TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
  タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。 具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。 提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
  論文  参考訳（メタデータ） (2023-11-30T18:02:44Z)
• MLAgentBench: Evaluating Language Agents on Machine Learning Experimentation [96.71370747681078]
  我々は,CIFAR-10におけるモデル性能の改善から,BabyLMのような最近の研究課題まで,13のタスクからなるMLAgentBenchを紹介した。 各タスクに対して、エージェントはファイルの読み書き、コードの実行、出力の検査などのアクションを実行することができる。 我々は、Claude v1.0、Claude v2.1、Claude v3 Opus、GPT-4、GPT-4-turbo、Gemini-Pro、Mixtralに基づいてベンチマークエージェントをベンチマークし、Claude v3 Opusエージェントが成功率の点で最高であることを示す。
  論文  参考訳（メタデータ） (2023-10-05T04:06:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。