論文の概要: Automated Validation of LLM-based Evaluators for Software Engineering Artifacts
- arxiv url: http://arxiv.org/abs/2508.02827v1
- Date: Mon, 04 Aug 2025 18:52:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-06 18:18:55.646885
- Title: Automated Validation of LLM-based Evaluators for Software Engineering Artifacts
- Title（参考訳）: ソフトウェア・エンジニアリング・アーティファクトのためのLCMに基づく評価器の自動検証
- Authors: Ora Nova Fandina, Eitan Farchi, Shmulik Froimovich, Rami Katan, Alice Podolsky, Orna Raz, Avi Ziv,
- Abstract要約: REFINE(Ranking Evaluators for FIne grained Nuanced Evaluation)は、大規模言語モデル(LLM)をベンチマークする自動化フレームワークである。
REFINEは、徐々に品質が低下したアーティファクトを自動的に合成するために、新しい生成技術を適用している。
それぞれの候補評価器の構成を、そのランクが期待された順序にどの程度近いかを測定することで定量化する。
- 参考スコア（独自算出の注目度）: 0.7548538278943616
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automation in software engineering increasingly relies on large language models (LLMs) to generate, review, and assess code artifacts. However, establishing LLMs as reliable evaluators remains an open challenge: human evaluations are costly, subjective and non scalable, while existing automated methods fail to discern fine grained variations in artifact quality. We introduce REFINE (Ranking Evaluators for FIne grained Nuanced Evaluation), an automated framework for benchmarking LLM based evaluators across software engineering tasks. REFINE comprises of two modules: Hierarchy Dataset Builder applies novel generation techniques to automatically synthesize artifacts with progressively reduced quality, and Evaluator Tester quantifies each candidate evaluator configuration by measuring how closely its rankings align with expected ordering. A key feature of REFINE is controllability: users can tune the granularity of degradation to progressively refine evaluator configurations, from coarse filtering to stress testing on subtle quality gaps. While the methodology is general, we focus on coding tasks reflecting the practical demands in our production setting. REFINE was integrated into IBM's internal development workflows and applied to code generation, translation, and summarization for COBOL, an enterprise critical programming language, using industrial data. It was used to identify LLM as a Judge configurations that lifted alignment scores from below $0.7$ to above $0.9$ in some coding tasks. These nuance sensitive evaluators are now actively used by model training teams to support model release decisions.
- Abstract（参考訳）: ソフトウェアエンジニアリングにおける自動化は、コードアーティファクトの生成、レビュー、評価に、大規模言語モデル(LLM)に依存している。
人間の評価はコストが高く、主観的で、拡張性がないが、既存の自動化された手法では、人工物の品質のきめ細かいばらつきを識別できない。
ソフトウェア工学のタスクにまたがってLCMベースの評価器をベンチマークする自動化フレームワークであるREFINE(Ranking Evaluators for FIne grained Nuanced Evaluation)を紹介する。
ReFINEは2つのモジュールから構成される: 階層データセットビルダーは、徐々に品質が低下したアーティファクトを自動的に合成するために、新しい生成技術を適用している。
ユーザーは分解の粒度を調整して、粗いフィルタリングから微妙な品質ギャップでのストレステストまで、段階的に評価器の構成を洗練することができる。
方法論は一般的なものですが、本番環境での実践的な要求を反映したコーディングタスクに重点を置いています。
REFINEはIBMの内部開発ワークフローに統合され、産業データを使用した企業クリティカルプログラミング言語COBOLのコード生成、翻訳、要約に応用された。
LLMは、アライメントスコアを0.7ドル未満から0.9ドル以上に引き上げるジャッジの設定として識別するために使用された。
これらのニュアンスに敏感な評価器は、モデルリリース決定をサポートするために、モデルトレーニングチームによって積極的に使用されている。
関連論文リスト
- MCPEval: Automatic MCP-based Deep Evaluation for AI Agent Models [76.72220653705679]
我々は、エンドツーエンドタスク生成とインテリジェントエージェントの深い評価を自動化するオープンソースのフレームワークであるMCPEvalを紹介する。
MCPEvalはメトリクスを標準化し、ネイティブエージェントツールとシームレスに統合し、評価パイプラインを構築するための手作業を排除する。
実世界の5つのドメインにまたがる実証的な結果から、ニュアンスのある、ドメイン固有のパフォーマンスを明らかにする効果が示された。
論文 参考訳（メタデータ） (2025-07-17T05:46:27Z) - MERA Code: A Unified Framework for Evaluating Code Generation Across Tasks [56.34018316319873]
我々は,最新のLLMをロシア語で評価するためのベンチマークであるMERA Codeを提案する。
このベンチマークには、8つのプログラミング言語にまたがる11の評価タスクが含まれている。
我々はオープンなLLMとフロンティアAPIモデルを評価し、非英語言語における実用的なコーディングタスクの観点からそれらの制限を分析した。
論文 参考訳（メタデータ） (2025-07-16T14:31:33Z) - Training Language Models to Generate Quality Code with Program Analysis Feedback [66.0854002147103]
大規模言語モデル(LLM)によるコード生成は、ますます本番環境で採用されているが、コード品質の保証には失敗している。
実運用品質のコードを生成するためにLLMにインセンティブを与える強化学習フレームワークであるREALを提案する。
論文 参考訳（メタデータ） (2025-05-28T17:57:47Z) - Synthetic Code Surgery: Repairing Bugs and Vulnerabilities with LLMs and Synthetic Data [0.0]
本稿では,Large Language Models(LLMs)を用いた合成データ生成によるAPR(Automated Program repair)の向上手法を提案する。
提案手法は, 合成試料生成と厳密な品質評価という2段階のプロセスを通じて, この制限に対処する。
VulRepairテストセットデータセットの実験評価では、完全予測率の統計的に有意な改善が見られた。
論文 参考訳（メタデータ） (2025-05-12T09:14:20Z) - LLM Benchmarking with LLaMA2: Evaluating Code Development Performance Across Multiple Programming Languages [0.1906498126334485]
本稿では,Llama 2-70Bモデルがプログラミング言語で書かれた科学アプリケーションを自動化する能力について述べる。
コード、ドキュメンテーション、ユニットテストを生成するためのモデルの能力と、既存のコードをプログラミング言語間で翻訳する能力を評価します。
以上の結果から,Llama 2-70Bは,より単純な数値処理のために,構文的に正しい関数コードを生成することが多いが,より複雑で並列化された,あるいは分散計算ではかなりの困難に直面することが示唆された。
論文 参考訳（メタデータ） (2025-03-24T23:46:14Z) - CodeArena: A Collective Evaluation Platform for LLM Code Generation [46.800918377886184]
CodeArenaは、LLM(Large Language Models)コード生成に適したオンライン評価フレームワークである。
鍵となる革新は、総合的な評価メカニズムであり、それは、個々のモデルのスコアを、すべての参加モデルの全体的パフォーマンスに基づいて再分類するものである。
CodeArenaは、提出されたすべてのソリューションとテストケースへのオープンアクセスを保証し、コード評価ワークフローを合理化するための自動化フレンドリなAPIを提供する。
論文 参考訳（メタデータ） (2025-03-03T08:31:16Z) - BitsAI-CR: Automated Code Review via LLM in Practice [16.569842114384233]
BitsAI-CRは、2段階のアプローチを通じてコードレビューを強化する革新的なフレームワークである。
システムはレビュールールの包括的な分類に基づいて構築され、データフライホイール機構を実装している。
実証評価はBitsAI-CRの有効性を示し、レビューコメント生成において75.0%の精度を達成した。
論文 参考訳（メタデータ） (2025-01-25T08:39:50Z) - Re-evaluating Automatic LLM System Ranking for Alignment with Human Preference [63.03859517284341]
自動評価フレームワークは、人間の嗜好との整合性に基づいてLLMをランク付けすることを目的としている。
自動LLMベンチラは、入力セット、評価モデル、評価タイプ、集約方法の4つのコンポーネントから構成される。
論文 参考訳（メタデータ） (2024-12-31T17:46:51Z) - Automatic Evaluation for Text-to-image Generation: Task-decomposed Framework, Distilled Training, and Meta-evaluation Benchmark [62.58869921806019]
GPT-4oに基づくタスク分解評価フレームワークを提案し、新しいトレーニングデータセットを自動構築する。
我々は、GPT-4oの評価能力を7BオープンソースMLLM、MiniCPM-V-2.6に効果的に蒸留するための革新的なトレーニング戦略を設計する。
実験結果から,我々の蒸留したオープンソースMLLMは,現在のGPT-4oベースラインよりも有意に優れていた。
論文 参考訳（メタデータ） (2024-11-23T08:06:06Z) - FVEval: Understanding Language Model Capabilities in Formal Verification of Digital Hardware [4.480157114854711]
FVEvalは,形式的検証(FV)に関わるタスクにおいて,大規模言語モデル(LLM)のパフォーマンスを特徴付ける最初の総合ベンチマークである。
ベンチマークは3つのサブタスクで構成され、異なるレベルでLLM能力を測定する。
本稿では,FVに整合した合成例を生成するための,専門家による検証手法と手法のコレクションについて述べる。
論文 参考訳（メタデータ） (2024-10-15T21:48:57Z) - CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。
このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。
LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
論文 参考訳（メタデータ） (2023-11-29T08:29:54Z) - Calibrating LLM-Based Evaluator [92.17397504834825]
マルチステージで勾配のないアプローチであるAutoCalibrateを提案し,LLMに基づく評価器を人間の好みに合わせて調整・調整する。
人間の嗜好を明示的にモデル化する代わりに、まず暗黙的に人間のラベルに含めます。
複数のテキスト品質評価データセットに関する実験は、校正による専門家評価との相関性を大幅に改善したことを示す。
論文 参考訳（メタデータ） (2023-09-23T08:46:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。