論文の概要: From Code to Courtroom: LLMs as the New Software Judges

• arxiv url: http://arxiv.org/abs/2503.02246v1
• Date: Tue, 04 Mar 2025 03:48:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:22:30.306826
• Title: From Code to Courtroom: LLMs as the New Software Judges
• Title（参考訳）: コードから法廷へ - 新しいソフトウェア審査員としてのLLM
• Authors: Junda He, Jieke Shi, Terry Yue Zhuo, Christoph Treude, Jiamou Sun, Zhenchang Xing, Xiaoning Du, David Lo,
• Abstract要約: 大規模言語モデル(LLM)は、コード生成や要約といったソフトウェアエンジニアリングタスクを自動化するために、ますます使われています。 人間の評価は効果的だが、非常にコストと時間を要する。 LLMを自動評価に用いるLLM-as-a-Judgeパラダイムが登場した。
• 参考スコア（独自算出の注目度）: 29.77858458399232
• License:
• Abstract: Recently, Large Language Models (LLMs) have been increasingly used to automate SE tasks such as code generation and summarization. However, evaluating the quality of LLM-generated software artifacts remains challenging. Human evaluation, while effective, is very costly and time-consuming. Traditional automated metrics like BLEU rely on high-quality references and struggle to capture nuanced aspects of software quality, such as readability and usefulness. In response, the LLM-as-a-Judge paradigm, which employs LLMs for automated evaluation, has emerged. Given that LLMs are typically trained to align with human judgment and possess strong coding abilities and reasoning skills, they hold promise as cost-effective and scalable surrogates for human evaluators. Nevertheless, LLM-as-a-Judge research in the SE community is still in its early stages, with many breakthroughs needed. This forward-looking SE 2030 paper aims to steer the research community toward advancing LLM-as-a-Judge for evaluating LLMgenerated software artifacts, while also sharing potential research paths to achieve this goal. We provide a literature review of existing SE studies on LLM-as-a-Judge and envision these frameworks as reliable, robust, and scalable human surrogates capable of evaluating software artifacts with consistent, multi-faceted assessments by 2030 and beyond. To validate this vision, we analyze the limitations of current studies, identify key research gaps, and outline a detailed roadmap to guide future developments of LLM-as-a-Judge in software engineering. While not intended to be a definitive guide, our work aims to foster further research and adoption of LLM-as-a-Judge frameworks within the SE community, ultimately improving the effectiveness and scalability of software artifact evaluation methods.
• Abstract（参考訳）: 最近、コード生成や要約といったSEタスクを自動化するために、LLM(Large Language Models)がますます使われています。 しかし、LCM生成したソフトウェアアーティファクトの品質を評価することは依然として困難である。 人間の評価は効果的だが、非常にコストと時間を要する。 BLEUのような従来の自動メトリクスは、高品質な参照に依存しており、可読性や有用性など、ソフトウェア品質の微妙な側面を捉えるのに苦労している。 自動評価にLLMを用いるLLM-as-a-Judgeパラダイムが出現した。 通常、LLMは人間の判断と整合し、強力なコーディング能力と推論スキルを持つように訓練されているため、人間の評価者にとってコスト効率とスケーラブルなサロゲートとして約束される。 それでも、SEコミュニティにおけるLCM-as-a-Judge研究は、まだ初期段階にあり、多くのブレークスルーが必要です。 この先見的なSE 2030論文は、LSM生成ソフトウェアアーティファクトを評価するためのLSM-as-a-Judgeの推進と、この目標を達成するための潜在的研究パスを共有することを目的としている。 LLM-as-a-Judgeに関する既存のSE研究の文献レビューを行い、2030年以降のソフトウェアアーチファクトを一貫性のある多面的評価で評価できる信頼性、堅牢、スケーラブルなヒューマンサロゲートとして、これらのフレームワークを構想する。 このビジョンを検証するために、我々は現在の研究の限界を分析し、主要な研究ギャップを特定し、ソフトウェア工学におけるLCM-as-a-Judgeの今後の発展を導くための詳細なロードマップを概説する。 決定的なガイドになることは意図していませんが、私たちの研究は、SEコミュニティにおけるLLM-as-a-Judgeフレームワークのさらなる研究と採用を促進し、最終的にソフトウェアアーチファクト評価手法の有効性とスケーラビリティを向上させることを目的としています。

関連論文リスト

• A Survey on LLM-as-a-Judge [20.228675148114245]
  大規模言語モデル(LLM)は、様々な領域で大きな成功を収めています。 LLMは、従来の専門家主導の評価に代わる魅力的な代替手段である。 LLM-as-a-Judgeシステムはどうやって構築できるのか?
  論文  参考訳（メタデータ） (2024-11-23T16:03:35Z)
• From LLMs to LLM-based Agents for Software Engineering: A Survey of Current, Challenges and Future [15.568939568441317]
  本稿では,大規模言語モデル (LLM) と LLM をベースとしたソフトウェア工学エージェントの実践とソリューションについて検討する。 特に、要件エンジニアリング、コード生成、自律的な意思決定、ソフトウェア設計、テスト生成、ソフトウェアメンテナンスの6つの主要なトピックを要約します。 我々は、使用するモデルとベンチマークについて論じ、ソフトウェア工学におけるそれらの応用と有効性について包括的に分析する。
  論文  参考訳（メタデータ） (2024-08-05T14:01:15Z)
• CIBench: Evaluating Your LLMs with a Code Interpreter Plugin [68.95137938214862]
  データサイエンスタスクにコードインタプリタを利用するLLMの能力を総合的に評価する,CIBenchという対話型評価フレームワークを提案する。 評価データセットは,LLM-人的協調手法を用いて構築され,連続的かつ対話的なIPythonセッションを活用することによって,実際のワークフローをシミュレートする。 コードインタプリタの利用において, CIBench 上で 24 個の LLM の能力を解析し, 将来の LLM に対する貴重な洞察を提供するため, 広範囲にわたる実験を行った。
  論文  参考訳（メタデータ） (2024-07-15T07:43:55Z)
• DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• An Empirical Study on Usage and Perceptions of LLMs in a Software Engineering Project [1.433758865948252]
  大規模言語モデル(LLM)は人工知能の飛躍であり、人間の言語を用いたタスクに優れる。 本稿では、AI生成したコードを分析し、コード生成に使用するプロンプトと人間の介入レベルを分析し、コードをコードベースに統合する。 ソフトウェア開発の初期段階において,LSMが重要な役割を担っていることが示唆された。
  論文  参考訳（メタデータ） (2024-01-29T14:32:32Z)
• Evaluating Large Language Models at Evaluating Instruction Following [54.49567482594617]
  我々は,命令追従出力の識別におけるLLM評価器の能力をテストするために,挑戦的なメタ評価ベンチマーク LLMBar を導入する。 異なる評価器がLLMBarに対して異なる性能を示し、最高の評価器でさえ改善の余地があることが判明した。
  論文  参考訳（メタデータ） (2023-10-11T16:38:11Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)
• Through the Lens of Core Competency: Survey on Evaluation of Large Language Models [27.271533306818732]
  大規模言語モデル(LLM)は優れた性能と幅広い実用性を持っている。 既存の評価タスクは、現実世界のシナリオにおける幅広いアプリケーションに追いつくのは難しい。 LLMの4つのコア能力は、推論、知識、信頼性、安全性などである。 この能力アーキテクチャの下では、類似したタスクを組み合わせて対応する能力を反映し、新しいタスクをシステムに簡単に追加することができる。
  論文  参考訳（メタデータ） (2023-08-15T17:40:34Z)
• Aligning Large Language Models with Human: A Survey [53.6014921995006]
  広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。 その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。 本調査では,これらのアライメント技術の概要について概観する。
  論文  参考訳（メタデータ） (2023-07-24T17:44:58Z)
• A Survey on Evaluation of Large Language Models [87.60417393701331]
  大規模言語モデル(LLM)は、学術と産業の両方で人気が高まっている。 本稿では,評価方法,評価方法,評価方法の3つの重要な側面に焦点をあてる。
  論文  参考訳（メタデータ） (2023-07-06T16:28:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。