論文の概要: An LLM-as-Judge Metric for Bridging the Gap with Human Evaluation in SE Tasks

• arxiv url: http://arxiv.org/abs/2505.20854v2
• Date: Fri, 10 Oct 2025 09:54:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 00:38:45.493677
• Title: An LLM-as-Judge Metric for Bridging the Gap with Human Evaluation in SE Tasks
• Title（参考訳）: SEタスクにおける人的評価によるギャップブリッジ用LCM-as-Judge Metric
• Authors: Xin Zhou, Kisub Kim, Ting Zhang, Martin Weyssow, Luis F. Gomes, Guang Yang, Kui Liu, Xin Xia, David Lo,
• Abstract要約: SE-JuryはLLM-as-Ensemble-Judgeの最初の評価基準である。 さまざまなソフトウェアエンジニアリング(SE)ベンチマークでSE-Juryを評価します。
• 参考スコア（独自算出の注目度）: 15.820416019287622
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) and other automated techniques have been increasingly used to support software developers by generating software artifacts such as code snippets, patches, and comments. However, accurately assessing the correctness of these generated artifacts remains a significant challenge. On one hand, human evaluation provides high accuracy but is labor-intensive and lacks scalability. On the other hand, many automatic evaluation metrics are scalable and require minimal human effort, but they often fail to accurately reflect the actual correctness of generated software artifacts. In this paper, we present SE-Jury, the first evaluation metric for LLM-as-Ensemble-Judge specifically designed to accurately assess the correctness of generated software artifacts. SE-Jury first defines five distinct evaluation strategies, each implemented by an independent judge. A dynamic team selection mechanism then identifies the most appropriate subset of judges as a team to produce a final correctness score through ensembling. We evaluate SE-Jury across a diverse set of software engineering (SE) benchmarks that span three popular SE tasks: code generation, automated program repair, and code summarization. Results demonstrate that SE-Jury consistently achieves a higher correlation with human judgments, with improvements ranging from 29.6% to 140.8% over existing automatic metrics. SE-Jury reaches agreement levels with human annotators that are close to inter-annotator agreement in code generation and program repair. These findings underscore SE-Jury's potential as a scalable and reliable alternative to human evaluation in these SE tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)やその他の自動化技術は、コードスニペットやパッチ、コメントなどのソフトウェアアーチファクトを生成することで、ソフトウェア開発者をサポートするためにますます使われています。 しかし、これらの生成したアーティファクトの正確さを正確に評価することは重要な課題である。 一方、人間の評価は高い精度を提供するが、労働集約的でスケーラビリティに欠ける。 一方、多くの自動評価指標はスケーラブルであり、人間の労力を最小限に抑える必要があるが、生成されたソフトウェアアーチファクトの実際の正しさを正確に反映することができないことが多い。 本稿では,LLM-as-Ensemble-Judgeの最初の評価基準であるSE-Juryについて述べる。 SE-Juryはまず5つの異なる評価戦略を定義し、それぞれが独立した裁判官によって実施される。 動的チームの選択メカニズムは、審査員の最も適切なサブセットをチームとして特定し、アンサンブルを通じて最終的な正当性スコアを生成する。 私たちはSE-Juryを、コード生成、自動プログラム修復、コード要約という3つの人気のあるSEタスクにまたがる、様々なソフトウェアエンジニアリング(SE)ベンチマークで評価します。 結果は、SE-Juryが、既存の自動測定値よりも29.6%から140.8%の改善で、人間の判断と常に高い相関を達成していることを示している。 SE-Juryは、コード生成とプログラムの修復においてアノテータ間の合意に近い人間のアノテータとの合意レベルに達する。 これらの結果から,SE-Juryは,これらのSEタスクにおける人的評価に代わる,スケーラブルで信頼性の高い代替手段としての可能性を示している。

関連論文リスト

• AXIOM: Benchmarking LLM-as-a-Judge for Code via Rule-Based Perturbation and Multisource Quality Calibration [28.117814524373667]
  AXIOMは、大規模なコード評価ベンチマークを合成するための新しい摂動ベースのフレームワークである。 プログラムスコアをデプロイメントに必要な改善作業として再設定する。
  論文  参考訳（メタデータ） (2025-12-23T08:39:22Z)
• COMPASS: A Multi-Dimensional Benchmark for Evaluating Code Generation in Large Language Models [0.0]
  我々は3次元にわたるコード生成を評価する包括的な評価フレームワーク、すなわち正確性、効率、品質を紹介します。 Anthropic Claude Opus 4、Google Gemini 2.5 Pro、OpenAI O4-Mini-Highの3つの主要な推論モデルの評価結果から、高い正確性スコアを達成するモデルは必ずしも効率的なアルゴリズムや保守可能なコードを生成するとは限らないことが判明した。
  論文  参考訳（メタデータ） (2025-08-19T11:55:07Z)
• Automated Validation of LLM-based Evaluators for Software Engineering Artifacts [0.7548538278943616]
  REFINE(Ranking Evaluators for FIne grained Nuanced Evaluation)は、大規模言語モデル(LLM)をベンチマークする自動化フレームワークである。 REFINEは、徐々に品質が低下したアーティファクトを自動的に合成するために、新しい生成技術を適用している。 それぞれの候補評価器の構成を、そのランクが期待された順序にどの程度近いかを測定することで定量化する。
  論文  参考訳（メタデータ） (2025-08-04T18:52:01Z)
• ArtifactsBench: Bridging the Visual-Interactive Gap in LLM Code Generation Evaluation [48.24550684610705]
  ArtifactsBenchは自動ビジュアルコード生成評価のためのフレームワークである。 我々のフレームワークは、生成した各アーティファクトをレンダリングし、時間的スクリーンショットを通してその動的な振る舞いをキャプチャする。 我々は1,825の多様なタスクの新しいベンチマークを構築し、30以上の主要な大規模言語モデルを評価する。
  論文  参考訳（メタデータ） (2025-07-07T12:53:00Z)
• J1: Incentivizing Thinking in LLM-as-a-Judge via Reinforcement Learning [54.85131761693927]
  意思決定前にLLM審査員に思考を教えるための強化学習フレームワークであるJ1を紹介する。 私たちのコアコントリビューションは、検証不可能で検証可能なプロンプトのすべての判断タスクを、検証可能な報酬を持った統一フォーマットに変換することです。 次に、RLを用いて8B、32B、70Bのスケールで思考判断を訓練し、彼らが最先端のパフォーマンスを得ることを示す。
  論文  参考訳（メタデータ） (2025-05-15T14:05:15Z)
• AIvaluateXR: An Evaluation Framework for on-Device AI in XR with Benchmarking Results [55.33807002543901]
  我々は,XRデバイス上で動作する大規模言語モデル(LLM)をベンチマークするための総合評価フレームワークであるAIvaluateXRを提案する。 我々はMagic Leap 2、Meta Quest 3、Vivo X100s Pro、Apple Vision Proという4つのXRプラットフォームに17個の選択されたLSMをデプロイし、広範囲な評価を行います。 本稿では,3次元最適性理論に基づく統一評価手法を提案する。
  論文  参考訳（メタデータ） (2025-02-13T20:55:48Z)
• Can LLMs Replace Human Evaluators? An Empirical Study of LLM-as-a-Judge in Software Engineering [18.766132076075365]
  大規模言語モデル(LLM)は、コード生成のような様々なソフトウェアエンジニアリング(SE)タスクに取り組むためにデプロイされている。 Pass@kメトリックは、広範囲なユニットテストと設定された環境を必要とし、LLM生成したテキストの評価には適していない。 BLEUのような従来のメトリクスは、意味的類似性ではなく語彙のみを測定するが、精査されている。
  論文  参考訳（メタデータ） (2025-02-10T06:49:29Z)
• SedarEval: Automated Evaluation using Self-Adaptive Rubrics [4.97150240417381]
  本稿では,自己適応型ルーブリックに基づく新しい評価パラダイムを提案する。 SedarEvalは、細心の注意を払って1,000の質問から成り、それぞれが独自の自己適応型ルーリックを持っている。 我々は、人間の学級に取って代わるために、特殊評価器言語モデル(評価器LM)を訓練する。
  論文  参考訳（メタデータ） (2025-01-26T16:45:09Z)
• CompassJudger-1: All-in-one Judge Model Helps Model Evaluation and Evolution [74.41064280094064]
  textbfJudger-1は、最初のオープンソースのtextbfall-in-one judge LLMである。 CompassJudger-1は、優れた汎用性を示す汎用LLMである。 textbfJudgerBenchは、様々な主観評価タスクを含む新しいベンチマークである。
  論文  参考訳（メタデータ） (2024-10-21T17:56:51Z)
• AIME: AI System Optimization via Multiple LLM Evaluators [79.03422337674664]
  AIME は複数の LLM を利用した評価プロトコルであり、それぞれが独立した基準で評価を生成し、結合を通してそれらを結合する。 コード生成タスクにおける AIME のベースラインメソッドのパフォーマンスは,LeetCodeHard と HumanEval データセットの単一 LLM 評価プロトコルよりも最大 62% 高いエラー検出率,最大 16% 高い成功率で向上している。
  論文  参考訳（メタデータ） (2024-10-04T04:03:24Z)
• Self-Training with Pseudo-Label Scorer for Aspect Sentiment Quad Prediction [54.23208041792073]
  Aspect Sentiment Quad Prediction (ASQP) は、与えられたレビューに対して全てのクワッド(アスペクト項、アスペクトカテゴリー、意見項、感情極性)を予測することを目的としている。 ASQPタスクにおける重要な課題はラベル付きデータの不足であり、既存のメソッドのパフォーマンスを制限している。 そこで我々は,擬似ラベルスコアラーを用いた自己学習フレームワークを提案し,レビューと擬似ラベルの一致をスコアラーが評価する。
  論文  参考訳（メタデータ） (2024-06-26T05:30:21Z)
• Evaluating Mathematical Reasoning Beyond Accuracy [50.09931172314218]
  推論ステップの品質を評価するための新しい方法論であるReasonEvalを紹介します。 ReasonEvalはメタ評価データセットのベースライン手法よりも一貫して優れていることを示す。 我々は、ReasonEvalがデータ選択において重要な役割を果たすことを観察する。
  論文  参考訳（メタデータ） (2024-04-08T17:18:04Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Calibrating LLM-Based Evaluator [92.17397504834825]
  マルチステージで勾配のないアプローチであるAutoCalibrateを提案し,LLMに基づく評価器を人間の好みに合わせて調整・調整する。 人間の嗜好を明示的にモデル化する代わりに、まず暗黙的に人間のラベルに含めます。 複数のテキスト品質評価データセットに関する実験は、校正による専門家評価との相関性を大幅に改善したことを示す。
  論文  参考訳（メタデータ） (2023-09-23T08:46:11Z)
• ICE-Score: Instructing Large Language Models to Evaluate Code [7.556444391696562]
  コードアセスメントのための大規模言語モデルに基づく新しい評価指標であるtextttICE-Score を提案する。 提案手法は,機能的正しさと人的嗜好との相関性に優れ,既存のアプローチの限界に対処する。 以上の結果から,コード生成の最先端の指標を超越した結果が得られた。
  論文  参考訳（メタデータ） (2023-04-27T16:38:17Z)
• ROSCOE: A Suite of Metrics for Scoring Step-by-Step Reasoning [63.77667876176978]
  大規模言語モデルでは、最終回答を正当化するためにステップバイステップの推論を生成するように促された場合、ダウンストリームタスクの解釈可能性が改善されている。 これらの推論ステップは、モデルの解釈可能性と検証を大幅に改善するが、客観的にそれらの正確性を研究することは困難である。 本稿では、従来のテキスト生成評価指標を改善し拡張する、解釈可能な教師なし自動スコアのスイートであるROSを提案する。
  論文  参考訳（メタデータ） (2022-12-15T15:52:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。