論文の概要: The RealHumanEval: Evaluating Large Language Models' Abilities to Support Programmers
- arxiv url: http://arxiv.org/abs/2404.02806v1
- Date: Wed, 3 Apr 2024 15:20:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 17:01:36.467273
- Title: The RealHumanEval: Evaluating Large Language Models' Abilities to Support Programmers
- Title(参考訳): RealHumanEval:大規模言語モデルのプログラマサポート能力の評価
- Authors: Hussein Mozannar, Valerie Chen, Mohammed Alsobay, Subhro Das, Sebastian Zhao, Dennis Wei, Manish Nagireddy, Prasanna Sattigeri, Ameet Talwalkar, David Sontag,
- Abstract要約: 大規模言語モデル(LLM)を用いたコーディングにおいて,既存のベンチマークのゲインがプログラマの生産性向上に寄与するかどうかを検討する。
本稿では,プログラマを支援するためのLLMの能力を測定するためのWebインターフェースであるRealHumanEvalについて,オートコンプリートあるいはチャットサポートを通じて紹介する。
プログラマの好みは実際のパフォーマンスと相関せず、より優れた人間中心のプロキシ信号の必要性を動機付けている。
- 参考スコア(独自算出の注目度): 44.28269395385471
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Evaluation of large language models (LLMs) for code has primarily relied on static benchmarks, including HumanEval (Chen et al., 2021), which measure the ability of LLMs to generate complete code that passes unit tests. As LLMs are increasingly used as programmer assistants, we study whether gains on existing benchmarks translate to gains in programmer productivity when coding with LLMs, including time spent coding. In addition to static benchmarks, we investigate the utility of preference metrics that might be used as proxies to measure LLM helpfulness, such as code acceptance or copy rates. To do so, we introduce RealHumanEval, a web interface to measure the ability of LLMs to assist programmers, through either autocomplete or chat support. We conducted a user study (N=213) using RealHumanEval in which users interacted with six LLMs of varying base model performance. Despite static benchmarks not incorporating humans-in-the-loop, we find that improvements in benchmark performance lead to increased programmer productivity; however gaps in benchmark versus human performance are not proportional -- a trend that holds across both forms of LLM support. In contrast, we find that programmer preferences do not correlate with their actual performance, motivating the need for better, human-centric proxy signals. We also open-source RealHumanEval to enable human-centric evaluation of new models and the study data to facilitate efforts to improve code models.
- Abstract(参考訳): コードのための大規模言語モデル (LLM) の評価は主にHumanEval (Chen et al , 2021) など静的なベンチマークに依存している。
LLMがプログラマのアシスタントとして使われるようになるにつれて、既存のベンチマークの利得が、LLMでコーディングする際のプログラマの生産性向上に繋がるかどうか、そしてコーディングに費やした時間などについて調べる。
静的なベンチマークに加えて、コード受け入れやコピーレートなどのLCMの有用性を測定するために、プロキシとして使用されるであろう選好指標の有用性について検討する。
そこで我々は,プログラマを支援するためのLLMの能力を測定するためのWebインターフェースであるRealHumanEvalを紹介した。
本研究では,RealHumanEvalを用いたユーザスタディ(N=213)を行い,異なるベースモデル性能の6つのLLMと対話した。
人間をループに組み込まない静的ベンチマークにもかかわらず、ベンチマークパフォーマンスの改善によってプログラマの生産性が向上することがわかった。
対照的に、プログラマの好みは実際のパフォーマンスと相関せず、より優れた人間中心のプロキシ信号の必要性を動機付けている。
我々はまた、RealHumanEvalをオープンソースにして、新しいモデルと研究データの人間中心の評価を可能にし、コードモデルを改善する努力を促進する。
関連論文リスト
- Top Leaderboard Ranking = Top Coding Proficiency, Always? EvoEval: Evolving Coding Benchmarks via LLM [13.324171480106715]
EvoEvalは、既存のベンチマークを異なるターゲットドメインに進化させたプログラム合成ベンチマークスイートである。
我々の研究では、HumanEvalのような標準ベンチマークで得られたハイパフォーマンスと比較して、パフォーマンスが大幅に低下していることが示されている。
本稿では,リワードや微妙な変化に遭遇した場合の命令追従モデルの脆さなど,様々な知見を紹介する。
論文 参考訳(メタデータ) (2024-03-28T03:10:39Z) - Copilot Evaluation Harness: Evaluating LLM-Guided Software Programming [12.355284125578342]
大規模言語モデル(LLM)は、現代のソフトウェア開発の焦点となっている。
LLMは、インテリジェントでチャット駆動のプログラミングアシスタントとして機能することで、開発者の生産性を大幅に向上する可能性がある。
しかし、それぞれのシステムは、最高のパフォーマンスを確保するために、LLMをそのワークスペースに向ける必要がある。
論文 参考訳(メタデータ) (2024-02-22T03:51:34Z) - Evaluation of ChatGPT Usability as A Code Generation Tool [2.8115477071897788]
本稿では,この手法をR言語用コード生成ツールとしてのChatGPTユーザビリティ評価に適用する。
ユーザエクスペリエンスは、全体の平均試行回数 1.61 であり、平均完了時間は 47.02 秒である。
実験の結果、ユーザビリティの最も弱い側面は簡潔さであり、スコアは5.80点中3.80点であることがわかった。
論文 参考訳(メタデータ) (2024-02-05T15:56:19Z) - Human-Instruction-Free LLM Self-Alignment with Limited Samples [64.69906311787055]
本研究では,人間の関与なしに,大規模言語モデル(LLM)を反復的に自己調整するアルゴリズムを提案する。
既存の研究と異なり、我々のアルゴリズムは人造指示にも報酬にも依存せず、人間の関与を著しく減らしている。
提案手法は,LLMの自己一般化能力を解き明かし,ほぼゼロに近い人的監督と整合性を持たせることができることを示す。
論文 参考訳(メタデータ) (2024-01-06T14:00:12Z) - Self-Play Fine-Tuning Converts Weak Language Models to Strong Language
Models [56.84735912476625]
本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。
SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。
このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
論文 参考訳(メタデータ) (2024-01-02T18:53:13Z) - CLOMO: Counterfactual Logical Modification with Large Language Models [113.72984199026094]
本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。
生成モデルのカウンターファクトの能力を効果的に評価するために,革新的な評価指標であるLogicAware Counterfactual Scoreを提案する。
分析の結果,提案手法は人間の好みとよく一致していることがわかった。
論文 参考訳(メタデータ) (2023-11-29T08:29:54Z) - CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large
Language Models for Data Annotation [94.59630161324013]
本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。
我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
論文 参考訳(メタデータ) (2023-10-24T08:56:49Z) - MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。
各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。
ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。
品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
論文 参考訳(メタデータ) (2023-08-25T01:41:04Z) - Is Model Attention Aligned with Human Attention? An Empirical Study on
Large Language Models for Code Generation [9.411002482110957]
本稿では,Large Language Models (LLMs) が,コード生成中に人間のプログラマと同じ自然言語記述に関わっているかを検討する。
LLMのコード生成精度と人間のプログラマとの整合性には相関がないことがわかった。
この結果から,人間によるLLMの理解性向上とプログラマの信頼度向上の必要性が浮き彫りになった。
論文 参考訳(メタデータ) (2023-06-02T00:57:03Z) - Is Your Code Generated by ChatGPT Really Correct? Rigorous Evaluation of
Large Language Models for Code Generation [20.45045253933097]
LLM合成コードの機能的正しさを厳格に評価するコード合成評価フレームワークであるEvalPlusを提案する。
EvalPlusは、自動テスト入力ジェネレータによって新たに生成された大量のテストケースで、所定の評価データセットを拡張する。
我々は、HumanEval+が、これまで検出されていなかった大量の間違ったコードをキャッチできることを示します。
論文 参考訳(メタデータ) (2023-05-02T05:46:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。