論文の概要: CodeIF-Bench: Evaluating Instruction-Following Capabilities of Large Language Models in Interactive Code Generation

• arxiv url: http://arxiv.org/abs/2503.22688v1
• Date: Wed, 05 Mar 2025 09:47:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-06 08:26:15.226928
• Title: CodeIF-Bench: Evaluating Instruction-Following Capabilities of Large Language Models in Interactive Code Generation
• Title（参考訳）: CodeIF-Bench:対話型コード生成における大規模言語モデルの命令追跡機能の評価
• Authors: Peiding Wang, Li Zhang, Fang Liu, Lin Shi, Minxiao Li, Bo Shen, An Fu,
• Abstract要約: 大規模言語モデルの命令追従能力を評価するためのベンチマークであるベンチを紹介する。 ベンチには、現実世界のソフトウェア開発要件に沿った9つの検証可能な命令が組み込まれています。 ベンチを用いた9つの顕著なLCMの評価を行い, 実験結果から, 基本プログラミング能力と命令追従能力の相違が明らかとなった。
• 参考スコア（独自算出の注目度）: 10.438717413104062
• License:
• Abstract: Large Language Models (LLMs) have demonstrated exceptional performance in code generation tasks and have become indispensable programming assistants for developers. However, existing code generation benchmarks primarily assess the functional correctness of code generated by LLMs in single-turn interactions, offering limited insight into their capabilities to generate code that strictly follows users' instructions, especially in multi-turn interaction scenarios. In this paper, we introduce \bench, a benchmark for evaluating LLMs' instruction-following capabilities in interactive code generation. Specifically, \bench incorporates nine types of verifiable instructions aligned with the real-world software development requirements, which can be independently and objectively validated through specified test cases, facilitating the evaluation of instruction-following capability in multi-turn interactions. We evaluate nine prominent LLMs using \bench, and the experimental results reveal a significant disparity between their basic programming capability and instruction-following capability, particularly as task complexity, context length, and the number of dialogue rounds increase.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、コード生成タスクにおいて例外的なパフォーマンスを示しており、開発者にとっては必須のプログラミングアシスタントになっている。 しかし、既存のコード生成ベンチマークは、主にシングルターンインタラクションにおいてLLMが生成するコードの機能的正当性を評価し、特にマルチターンインタラクションシナリオにおいて、ユーザーの指示に厳格に従うコードを生成する能力について限定的な洞察を提供する。 本稿では,対話型コード生成における LLM の命令追従能力を評価するベンチマークである \bench を紹介する。 具体的には,9種類の検証可能な命令を実世界のソフトウェア開発要件に適合させ,特定のテストケースを通じて独立して客観的に検証し,マルチターンインタラクションにおける命令フォロー機能の評価を容易にする。 実験の結果,特にタスクの複雑性,コンテキスト長,対話ラウンド数の増加など,基本的なプログラミング能力と命令追従能力の相違が明らかとなった。

関連論文リスト

• SURGE: On the Potential of Large Language Models as General-Purpose Surrogate Code Executors [5.247363735860479]
  大規模言語モデル(LLM)は、コードに関連するタスクにおいて顕著な機能を示した。 LLMが多様なプログラムを理解し処理する能力を考えると、汎用的なサロゲートモデルを構築する上で有望な方向性を示す。 SURGEは、1160ドル(約1万1000円)の価格問題で、8ドル(約8万3000円)の鍵となる側面をカバーしたベンチマークです。 オープンソースおよびプロプライエタリ LLM の実証分析を通じて,スケーリング法則,データ効率,予測精度を検討した。
  論文  参考訳（メタデータ） (2025-02-16T15:38:19Z)
• Guided Code Generation with LLMs: A Multi-Agent Framework for Complex Code Tasks [1.9198713957364215]
  大規模言語モデル(LLM)は、コード生成タスクにおいて顕著な機能を示している。 複雑な、長いコンテキストプログラミングの課題に対処する上で、それらは重大な制限に直面します。 「案内コード生成のための新しいエージェント・フレームワーク」について紹介する。
  論文  参考訳（メタデータ） (2025-01-11T19:21:53Z)
• INDICT: Code Generation with Internal Dialogues of Critiques for Both Security and Helpfulness [110.6921470281479]
  INDICTは、安全性と有用性の両方のガイダンスのために、批評家の内的対話で大きな言語モデルを強化する新しいフレームワークである。 内部対話は、安全主導の批評家と役に立つ主導の批評家の二重協調システムである。 提案手法は,安全性と有用性解析の両面において,高度な批判のレベルを提供し,出力コードの品質を著しく向上させる。
  論文  参考訳（メタデータ） (2024-06-23T15:55:07Z)
• BigCodeBench: Benchmarking Code Generation with Diverse Function Calls and Complex Instructions [72.56339136017759]
  BigCodeBenchは、大規模言語モデル(LLM)に対して、139のライブラリと7つのドメインから1140のきめ細かいタスクに対して、複数の関数呼び出しをツールとして呼び出すためのベンチマークである。 評価の結果,LLMは機能コールを正確に使用するための複雑な指示に従うことができず,スコアは最大60%,人的性能は97%と極めて低いことがわかった。 そこで本研究では,BigCodeBench-Instructという自然言語指向の変種を提案する。
  論文  参考訳（メタデータ） (2024-06-22T15:52:04Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language Models [56.25156596019168]
  本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。 我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
  論文  参考訳（メタデータ） (2023-11-30T03:59:31Z)
• CodeScope: An Execution-based Multilingual Multitask Multidimensional Benchmark for Evaluating LLMs on Code Understanding and Generation [18.354576598908448]
  LLM(Large Language Models)は、人間のプログラミング支援に優れた性能を発揮している。 LLMのコード理解と生成能力を評価するための既存のベンチマークは、厳しい制限に悩まされている。 実行ベース,多言語,マルチタスク,多次元評価ベンチマークであるCodeScopeを紹介する。
  論文  参考訳（メタデータ） (2023-11-14T23:18:52Z)
• Exploring Large Language Models for Code Explanation [3.2570216147409514]
  大規模言語モデル(LLM)は自然言語処理において顕著な進歩を遂げている。 本研究では,様々なLLMを用いて,コードスニペットの自然言語要約を生成するタスクについて検討する。
  論文  参考訳（メタデータ） (2023-10-25T14:38:40Z)
• MINT: Evaluating LLMs in Multi-turn Interaction with Tools and Language Feedback [78.60644407028022]
  我々は,大規模言語モデルのマルチターンインタラクションによる課題解決能力を評価するベンチマークであるMINTを紹介する。 LLMは一般的に、ツールと言語フィードバックの恩恵を受けます。 LLMの評価、教師あり指導ファインタニング(SIFT)、人間からのフィードバックからの強化学習(RLHF)は、一般的にマルチターン能力を損なう。
  論文  参考訳（メタデータ） (2023-09-19T15:25:42Z)
• Can Large Language Models Understand Real-World Complex Instructions? [54.86632921036983]
  大型言語モデル(LLM)は人間の指示を理解することができるが、複雑な命令には耐えられない。 既存のベンチマークでは、LLMが複雑な命令を理解する能力を評価するには不十分である。 複雑な命令を体系的に追従するLSMの能力を評価するためのベンチマークであるCellOを提案する。
  論文  参考訳（メタデータ） (2023-09-17T04:18:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。