論文の概要: Longtail-SWE: High-Quality SWE Tasks for Underrepresented Languages
- arxiv url: http://arxiv.org/abs/2611.10304v2
- Date: Wed, 11 Nov 2026 13:29:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.867206
- Title: Longtail-SWE: High-Quality SWE Tasks for Underrepresented Languages
- Title(参考訳): Longtail-SWE:未表現言語のための高品質SWEタスク
- Abstract要約: Longtail-SWEは、13言語にわたる202の課題解決タスクのベンチマークである。
建設にはソルバ・ジャッジ・リペア・パイプラインが使用されている。
これらのリビジョンは、有効な代替実装を拒絶したり、不正なソリューションを受け入れるテストを修正することを目的としている。
- 参考スコア(独自算出の注目度): 42.343431945815766
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Challenging repository-level benchmarks remain limited for many programming language ecosystems, where filtering scarce candidates with ambiguous descriptions or defective tests can discard valuable engineering problems. We introduce Longtail-SWE, a benchmark of 202 issue-resolution tasks across 13 languages with limited coverage in existing repository-level benchmarks: Clojure, Dart, Elixir, Erlang, F#, Haskell, Julia, Kotlin, Lua, OCaml, R, Scala, and Swift. Its construction uses a solver-judge-repairer pipeline: a solver attempts each candidate task, and a judge reviews the task together with the solver's trajectory and test results to guide revisions to tests and task descriptions. These revisions aim to correct tests that reject valid alternative implementations or accept incorrect solutions while retaining challenging tasks and preserving their intended requirements. We evaluate nine model configurations, including frontier models, and analyze task-solving performance, consistency across repeated attempts, and resource usage. We release all benchmark instances, executable environments, complete construction and evaluation tooling, and agent trajectories, together with an additional set of easier tasks to support evaluation of smaller models.
- Abstract(参考訳): 多くのプログラミング言語エコシステムにおいて、リポジトリレベルのベンチマークは依然として限定的であり、曖昧な記述や欠陥のあるテストで不足した候補をフィルタリングすることで、貴重なエンジニアリング問題を排除できる。
既存のリポジトリレベルのベンチマーク – Clojure, Dart, Elixir, Erlang, F#, Haskell, Julia, Kotlin, Lua, OCaml, R, Scala, Swift – に限定した,13言語にわたる202のイシュー解決タスクのベンチマークであるLongtail-SWEを紹介した。
その構成はソルバ・ジャッジ・リペア・パイプラインを使用し、ソルバは各候補タスクを試行し、裁判官はソルバの軌道とテスト結果と共にタスクをレビューし、テストとタスク記述のリビジョンをガイドする。
これらのリビジョンは、有効な代替実装を拒否するテストの修正や、不正な解決策を受け入れながら、困難なタスクを維持し、意図した要件を維持することを目的としている。
我々は、フロンティアモデルを含む9つのモデル構成を評価し、タスク解決性能、繰り返し試み間の一貫性、リソース使用量を分析した。
我々は、全てのベンチマークインスタンス、実行環境、完全な構築および評価ツール、エージェントトラジェクトリを、より小さなモデルの評価をサポートするための、より簡単なタスクセットとともにリリースする。
関連論文リスト
- Multi-SWT-Bench: A Multilingual Benchmark for Reproduction Test Generation [5.700741359240872]
8つのプログラミング言語にまたがる1,963インスタンスからなる再生テスト生成のベンチマークであるMulti-SWT-BENCHを紹介する。
我々は,4つの代表的手法で最先端のLLMを実証研究し,プログラム言語間の故障解析を行う。
評価されたすべてのメソッドとLLMで、Pythonでの成功率は全言語での総成功率を超え、C++は特に低い成功率を示している。
論文 参考訳(メタデータ) (2026-09-28T09:41:43Z) - SWE-Bench ProMax: Benchmarking Agents on Large-Scale Multilingual Code Refactoring [31.684059339633013]
SWE-Bench ProMax(SWE-Bench ProMax)は、実際のコミットから170のインスタンスを抽出した、専門家による多言語コードベンチマークである。
各インスタンスは厳格で多段階的なキュレーションを実行し、以前のベンチマークで特定された品質問題に対処する。
2つのエージェント足場下でのフロンティアモデルによる実験では、最良のモデルは41.2%しか解決できない。
論文 参考訳(メタデータ) (2026-08-10T16:23:19Z) - RepoReasoner: Evaluating Repository-Level Code Reasoning Ability of Long-Context Language Models [54.53236295237077]
リポジトリレベルのコード推論を評価するベンチマークであるRepoReasonerを紹介します。
出力予測は、ファイル間でのきめ細かいステートフルな実行推論を計測します。
Call Chain Predictionは、ノイズの多いコンテキスト下での高レベルのアーキテクチャ依存性の理解を評価する。
論文 参考訳(メタデータ) (2026-07-28T17:12:41Z) - Understanding Axes of Difficulty For Long Context Tasks Via PredicateLongBench [6.490490294075993]
大規模言語モデル評価のためのベンチマークとしてPredicateLongBenchを提案する。
それは、与えられた述語/制約を満たす長い入力において、最も長い連続した単語列を特定するようモデルに求める。
私たちは、フロンティアモデルが、軸に沿ったタスクの難しさをスケールアップする上で、パフォーマンスに苦労していることに気付きました。
論文 参考訳(メタデータ) (2026-07-09T09:28:06Z) - Evaluating Prompting and Execution-Based Methods for Deterministic Computation in LLMs [1.2957535240267326]
大規模言語モデル(LLM)は、自然言語の理解と推論において強力な能力を示している。
CoT(Chain-of-Thought)、Last-to-Most(Least-to-Most)、Program-of-Thought(PoT)、Self-Consistency(SC)など、複数のプロンプト戦略を体系的に評価する。
提案手法は, 逐次的タスクにおいて, 適度な精度しか達成できないことを示す。
論文 参考訳(メタデータ) (2026-05-04T23:32:37Z) - SWE-rebench V2: Language-Agnostic SWE Task Collection at Scale [39.33317467753191]
SWE-rebench V2は、実行可能な実世界のSWEタスクを回収し、大規模にRLトレーニング環境を構築するための自動パイプラインである。
20の言語と3,600以上のリポジトリにまたがる32,000以上のタスクのデータセットを構築し、再現可能な画像を生成する。
トレーニングデータをさらにスケールするために、インストール命令、フェール・ツー・パステスト、豊富なメタデータを備えた12000以上のタスクもリリースしています。
論文 参考訳(メタデータ) (2026-02-27T10:06:10Z) - CLOVER: A Test Case Generation Benchmark with Coverage, Long-Context, and Verification [71.34070740261072]
本稿では,テストケースの生成と完成におけるモデルの能力を評価するためのベンチマークCLOVERを提案する。
ベンチマークはタスク間でのコード実行のためにコンテナ化されています。
論文 参考訳(メタデータ) (2025-02-12T21:42:56Z) - Generative Judge for Evaluating Alignment [84.09815387884753]
本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。
我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。
実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
論文 参考訳(メタデータ) (2023-10-09T07:27:15Z) - Rethinking End-to-End Evaluation of Decomposable Tasks: A Case Study on
Spoken Language Understanding [101.24748444126982]
分解可能なタスクは複雑で、サブタスクの階層から構成される。
しかし、既存のベンチマークでは、通常は表面レベルのサブタスクのみの例が示される。
サブタスク固有のユーティリティ関数上の座標アセントを用いて、ロバストなテストセットを構築するためのフレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-29T02:53:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。