論文の概要: OdinEval: A Reproducible Benchmark for LLM-Based Program Repair in the Odin Programming Language
- arxiv url: http://arxiv.org/abs/2608.18595v1
- Date: Wed, 19 Aug 2026 06:38:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.309628
- Title: OdinEval: A Reproducible Benchmark for LLM-Based Program Repair in the Odin Programming Language
- Title（参考訳）: OdinEval: プログラミング言語OdinにおけるLLMベースのプログラム修復のための再現可能なベンチマーク
- Abstract要約: OdinEvalは、公開Odinリポジトリの文書化された欠陥から構築された再現可能なベンチマークである。
各インスタンスは、コミットのベースとフィックス、ゴールドパッチ、イシュー固有の回帰テスト、履歴ツールチェーン、実行レコードにイシューをバインドする。
1つの共有プロトコルで168個のフィルタインスタンス上で6つの言語モデルを評価する。
- 参考スコア（独自算出の注目度）: 23.087917984474156
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Repository-level repair benchmarks still center on a few mainstream languages, leaving systems languages such as Odin largely untested. We present OdinEval, a reproducible benchmark built from documented defects in public Odin repositories. Each instance binds an issue to base and fix commits, a gold patch, an issue-specific regression test, a historical toolchain, and execution records. Admission requires the test to fail on the base revision and pass after the gold fix. When no usable developer test exists, a black-box test is reviewed independently by three instances of the same model, executed in both historical states, and revised from recorded feedback under a versioned Test Writing Skill. We evaluate six language models on 168 filtered instances under one shared protocol. Kimi-K3 records the highest Resolved score at 66.7%, while Qwen3.8-Max has the highest Repro score at 96.4%. The release includes frozen data, source archives, containers, validators, model patches, and audit manifests.
- Abstract（参考訳）: リポジトリレベルの修復ベンチマークは依然としていくつかの主流言語を中心に行われており、Odinのようなシステム言語はほとんどテストされていない。
OdinEvalは、公開Odinリポジトリの文書化された欠陥から構築された再現可能なベンチマークである。
各インスタンスは、コミットのベースとフィックス、ゴールドパッチ、イシュー固有の回帰テスト、履歴ツールチェーン、実行レコードにイシューをバインドする。
入場許可は、ベースリビジョンでテストが失敗し、金の修正後に合格することを要求する。
使用可能な開発者テストが存在しない場合、ブラックボックステストは、同じモデルの3つのインスタンスによって独立してレビューされ、両方の履歴状態で実行され、バージョン付きテスト記述スキルの下で記録されたフィードバックから修正される。
1つの共有プロトコルで168個のフィルタインスタンス上で6つの言語モデルを評価する。
キミ-K3は66.7%、Qwen3.8-Maxは96.4%である。
リリースには、凍結データ、ソースアーカイブ、コンテナ、バリデータ、モデルパッチ、監査マニフェストが含まれている。
関連論文リスト
- ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。
ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。
テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
論文 参考訳（メタデータ） (2026-09-08T17:53:37Z) - Security Tests as Executable Specifications for LLM Code Generation: Benefits, Trade-offs, and Coverage Limits [14.44743150931186]
テストが事前に表示されるか、失敗した実行がリビジョンを引き起こすか、失敗が選択され、どのように表現されるかの3つの要素を分離する、制御されたテストフィードバックの足場を開発する。
2,705の軌道、31のタスクインスタンス、3つのセキュアコードベンチマーク、16のCWEカテゴリ、2つのモデルファミリがあり、すべての目に見えるテストが前もって隠れた機能とセキュリティのジョイントの成功を平均19.3%増加させている。
共有候補比較では、構造化されたフィードバック修復は、当初、共同回帰のない80の候補が失敗し、固定された生フィードバック修復83は3つの回帰を引き起こす。
論文 参考訳（メタデータ） (2026-08-10T15:37:09Z) - Breaking, Stale, or Missing? Benchmarking Coding Agents on Project-Level Test Evolution [20.606877071567958]
テスト進化のための最初のプロジェクトレベルのベンチマークであるTEBenchを紹介します。
TEBenchをDefects4Jプロジェクト上で4段階のパイプラインで構築する。
3つの産業エージェントフレームワークにまたがる7つの構成を評価する。
論文 参考訳（メタデータ） (2026-05-07T12:31:09Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳（メタデータ） (2026-04-26T16:05:02Z) - An Iterative Test-and-Repair Framework for Competitive Code Generation [9.137158235106943]
大規模言語モデル(LLM)はコード生成において顕著な進歩を遂げているが、競争力のあるプログラミングは依然として課題である。
近年,強化学習(RL)と実行フィードバックによるコード生成が改良されている。
より最近のフレームワークCUREでは、テスト生成をトレーニングプロセスに組み込んで、CoderとTesterを1つのモデルで共同でトレーニングしている。
論文 参考訳（メタデータ） (2026-04-07T08:00:54Z) - Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。
STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。
STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
論文 参考訳（メタデータ） (2026-04-02T01:13:40Z) - Outrunning LLM Cutoffs: A Live Kernel Crash Resolution Benchmark for All [57.23434868678603]
Live-kBenchは、新たに発見されたカーネルバグのエージェントをスクラップし、評価するセルフ進化ベンチマークの評価フレームワークである。
kEnvは、カーネルのコンパイル、実行、フィードバックのためのエージェントに依存しないクラッシュ解決環境である。
kEnvを用いて3つの最先端エージェントをベンチマークし、最初の試行で74%のクラッシュを解決したことを示す。
論文 参考訳（メタデータ） (2026-02-02T19:06:15Z) - Nexus: Execution-Grounded Multi-Agent Test Oracle Synthesis [57.40527331817245]
非回帰テストにおけるテストオラクル生成は、ソフトウェア工学における長年の課題である。
この課題に対処するための新しいマルチエージェントフレームワークであるNexusを紹介します。
論文 参考訳（メタデータ） (2025-10-30T12:20:25Z) - Do Large Language Model Benchmarks Test Reliability? [66.1783478365998]
モデル信頼性の定量化について検討する。
信頼性評価におけるこのギャップにより、我々はいわゆるプラチナベンチマークの概念を提案する。
我々は、これらのプラチナベンチマークにおいて、幅広いモデルを評価し、実際、フロンティアLSMは、単純なタスクで失敗を示す。
論文 参考訳（メタデータ） (2025-02-05T18:58:19Z) - TestGenEval: A Real World Unit Test Generation and Test Completion Benchmark [24.14654309612826]
TestGenEvalは、1,210のコードから68,647のテストと、11の保守されたPythonリポジトリにまたがるテストファイルペアで構成されている。
初期テストのオーサリング、テストスイートの補完、コードカバレッジの改善をカバーしている。
パラメータは7Bから405Bまで様々である。
論文 参考訳（メタデータ） (2024-10-01T14:47:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。