論文の概要: RuBench: A Repository-Level Agentic Coding Benchmark with Natively Authored Russian Task Specifications
- arxiv url: http://arxiv.org/abs/2607.06411v1
- Date: Tue, 07 Jul 2026 15:41:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-08 21:24:51.578029
- Title: RuBench: A Repository-Level Agentic Coding Benchmark with Natively Authored Russian Task Specifications
- Title（参考訳）: RuBench: ネイティブにライセンスされたロシアのタスク仕様を備えたリポジトリレベルのエージェントコーディングベンチマーク
- Abstract要約: RuBench 1.0は、5つのライブオープンソースリポジトリの最近の修正コミットから抽出された25のタスクのベンチマークである。
各タスクはロシア語で指定され、スクラッチから実際の顧客要求のスタイルで書かれ、翻訳されない。
25の修正コミットはすべて、評価されたモデル毎のトレーニングデータのカットオフを延期する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Developers increasingly delegate real maintenance work to product-grade coding agents, and many state tasks in their native language, in the style of a customer request rather than a curated English issue. Existing repository-level agentic benchmarks do not measure this setting: their task statements are English by design. We introduce RuBench 1.0, a benchmark of 25 tasks mined from recent fix commits in five live open-source repositories (aiohttp, aiogram, Laravel, NestJS, Fastify; Python, PHP, TypeScript, JavaScript), where each task is specified natively in Russian -- written from scratch in the style of an actual customer request, not translated -- and judged by the upstream maintainer's regression tests, which we withhold from release. All 25 fix commits postdate the training-data cutoffs of every evaluated model, giving a contamination argument that holds task-by-task. We evaluate deployed product configurations (CLI agent + model + reasoning effort) -- Claude Code with Opus 4.8, Sonnet 5, and Haiku 4.5, and Codex CLI with GPT-5.5 -- with three independent runs each, reporting pass@1 with task-level confidence intervals, paired comparisons, dollar cost, and token usage. The best configuration resolves 78.7% of tasks; at N=25 only the gaps to the weakest model are statistically resolvable, which we state explicitly. Auditing full trajectories of a fifth, hors-concours configuration (Claude Code + Fable 5, July 2, 2026 release), we caught the product silently substituting the model: on 5 of 25 tasks (20%) an official safeguard fallback re-routed routine HTTP-protocol fixes to Opus 4.8 -- direct, reproducible evidence that the deployed product, not the model, is the unit actually measured. We release task statements, metadata, full agent trajectories, and diffs; grading oracles are withheld, with a SHA-256 manifest committed at publication time.
- Abstract（参考訳）: 開発者は、商品グレードのコーディングエージェント、およびネイティブ言語における多くの状態タスクに対して、英語のキュレートされた問題ではなく、顧客の要求のスタイルで、実際のメンテナンス作業を委譲する傾向にある。
既存のリポジトリレベルのエージェントベンチマークでは、この設定を計測していない。
RuBench 1.0は、最新の5つのオープンソースリポジトリ(aiohttp、aiogram、Laravel、NestJS、Fastify、Python、PHP、TypeScript、JavaScript)の修正コミットから抽出された25のタスクのベンチマークである。
25の修正はすべて、評価されたモデルのトレーニングデータカットオフを延期し、タスクバイタスクを保持する汚染引数を与えます。
デプロイされた製品構成(CLIエージェント+モデル+推論の取り組み) -- Opus 4.8、Sonnet 5、Haiku 4.5、Codex CLI -- GPT-5.5 -- を評価し、それぞれ3つの独立した実行、タスクレベルの信頼区間、ペア比較、ドル単位のコスト、トークン使用率を報告します。
最高の構成は78.7%のタスクを解決し、N=25では最も弱いモデルとのギャップだけが統計的に解決可能である。
5番目のhos-concours構成(Claude Code + Fable 5、2026年7月2日リリース)の完全なトラジェクトリを聴いて、モデルを静かに置き換えた。 25タスクのうち5つ(20%)では、公式なセーフガードのフォールバックがOpus 4.8に修正された。
私たちはタスクステートメント、メタデータ、フルエージェントトラジェクトリ、diffをリリースします。
関連論文リスト
- APIFlow-Bench: Measuring Whether Agents Survive Long, Dependent API Workflows [23.621239974604205]
APIFlow-Benchは、長期依存のREST-APIパフォーマンスのための、完全に監査可能なベンチマークである。
サブタスクによってサブタスクとして,合成APIの世界を前方に生成する。
すべての応答キーと44,362個の未修正実行書き起こしをリリースします。
論文 参考訳（メタデータ） (2026-08-29T08:12:11Z) - A Unified Issue Resolution Benchmark for Requirement Clarification, Planning, and Code Generation for Coding Agents [16.4855244145731]
SWE-RPGはリポジトリレベルのベンチマークで、実行可能パッチ評価と検証済みの地味な参照を組み合わせる。
SWE-RPGは、113のバグ修正と50の機能追加を含む、31のPythonとJavaリポジトリから163のタスクで構成されている。
Claude Code、Codex、OpenCodeを含む3つのコーディングエージェントを6つの大きな言語モデルバックエンドで評価します。
論文 参考訳（メタデータ） (2026-08-10T03:22:04Z) - Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。
本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
論文 参考訳（メタデータ） (2026-07-23T04:34:06Z) - DeepSWE: Measuring Frontier Coding Agents on Original, Long-Horizon Engineering Tasks [1.7623000586936592]
DeepSWEは、コーディングエージェントを評価するための、113のオリジナルで長期のソフトウェアエンジニアリングタスクのベンチマークである。
タスクは91のアクティブなオープンソースリポジトリと5つの言語でスクラッチから書かれており、上流にコントリビュートされることはない。
SWE-Bench Proのプロンプトの約半分の長さにもかかわらず、DeepSWEのプロンプトは参照ソリューションが5.5倍のコードに触れるタスクを記述する。
論文 参考訳（メタデータ） (2026-07-08T21:45:34Z) - Push Your Agent: Measuring and Enforcing Quantitative Goal Persistence in Long-Horizon LLM Agents [7.058932007120959]
ロングホライズン言語エージェントは、要求されたカウントが実際に完了するまで多くの有効なローカルツールコールを行うことができるが、持続しない。
本稿では,このギャップを定量的ゴールパーシステンス(QGP)として検討する。
PushBenchはこれを、リポジトリアーティファクトコレクションと検証済みのワークユニットのベンチマークにする。
論文 参考訳（メタデータ） (2026-05-22T12:44:01Z) - WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation [88.10947115397971]
この研究でWildClawBenchは、6つのテーマのカテゴリにまたがる60の人間によるバイリンガルなマルチモーダルタスクのネイティブランタイムベンチマークである。
各タスクは、約8分間のウォールクロック時間と20以上のツールコールで実行されます。
グラディングはハイブリッドであり、決定論的ルールベースのチェック、副作用の環境状態監査、意味的検証のためのLLM/VLM判定を組み合わせている。
論文 参考訳（メタデータ） (2026-05-11T17:49:43Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳（メタデータ） (2026-04-26T16:05:02Z) - From Translation to Superset: Benchmark-Driven Evolution of a Production AI Agent from Rust to Python [2.7324157162184157]
本稿では,大規模な言語モデルでRustの目的をPythonに翻訳するLLM支援型連続コード翻訳手法を提案する。
我々は、Pythonポートが59/80 SWE-bench検証タスク(73.8%)をRustの56/80(70.0%)に対して解決し、現実世界のエージェントタスクでほぼ同等であることを実証した。
評価の結果,APIレイテンシが支配的な LLM ベースのエージェントでは,Python の表現性が 15.9 倍のコード削減を実現している。
論文 参考訳（メタデータ） (2026-04-13T14:21:44Z) - ClawsBench: Evaluating Capability and Safety of LLM Productivity Agents in Simulated Workspaces [17.202580606345666]
生産性タスクを自動化するために、大規模言語モデル(LLM)エージェントがますますデプロイされる。
既存のベンチマークは単純化された環境に依存しており、現実的なマルチサービス環境をキャプチャできない。
我々は,現実的な生産性設定におけるLCMエージェントの評価と改善のためのベンチマークであるClawsBenchを紹介する。
論文 参考訳（メタデータ） (2026-04-06T21:09:06Z) - ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。
それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。
評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
論文 参考訳（メタデータ） (2026-04-05T17:55:23Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳（メタデータ） (2025-03-11T17:53:02Z) - ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。
LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
論文 参考訳（メタデータ） (2023-11-16T12:03:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。