論文の概要: Unseen Horizons: Unveiling the Real Capability of LLM Code Generation Beyond the Familiar

• arxiv url: http://arxiv.org/abs/2412.08109v2
• Date: Wed, 15 Jan 2025 11:57:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-16 15:51:03.520463
• Title: Unseen Horizons: Unveiling the Real Capability of LLM Code Generation Beyond the Familiar
• Title（参考訳）: 未知のホライズンズ - LLMコード生成の実用性について
• Authors: Yuanliang Zhang, Yifan Xie, Shanshan Li, Ke Liu, Chong Wang, Zhouyang Jia, Xiangbing Huang, Jie Song, Chaopeng Luo, Zhizheng Zheng, Rulin Xu, Yitong Liu, Si Zheng, Xiangke Liao,
• Abstract要約: 我々は,大規模な言語モデルを評価するために,コード難読化ベースのベンチマークOBFUSEVALを構築した。 私たちは3段階の戦略を使って、記述やコード、コンテキストの依存関係を曖昧にしています。 その結果, 難燃後, 試験合格率の平均低下率は62.5%に達することがわかった。
• 参考スコア（独自算出の注目度）: 15.421030528350212
• License:
• Abstract: Recently, large language models (LLMs) have shown strong potential in code generation tasks. However, there are still gaps before they can be fully applied in actual software development processes. Accurately assessing the code generation capabilities of large language models has become an important basis for evaluating and improving the models. Some existing works have constructed datasets to evaluate the capabilities of these models. However, the current evaluation process may encounter the illusion of "Specialist in Familiarity", primarily due to three gaps: the exposure of target code, case timeliness, and dependency availability. The fundamental reason for these gaps is that the code in current datasets may have been extensively exposed and exercised during the training phase, and due to the continuous training and development of LLM, their timeliness has been severely compromised. The key to solve the problem is to, as much as possible, evaluate the LLMs using code that they have not encountered before. Thus, the fundamental idea in this paper is to draw on the concept of code obfuscation, changing code at different levels while ensuring the functionality and output. To this end, we build a code-obfuscation based benchmark OBFUSEVAL. We first collect 1,354 raw cases from five real-world projects, including function description and code. Then we use three-level strategy (symbol, structure and semantic) to obfuscate descriptions, code and context dependencies. We evaluate four LLMs on OBFU- SEVAL and compared the effectiveness of different obfuscation strategy. We use official test suites of these projects to evaluate the generated code. The results show that after obfuscation, the average decrease ratio of test pass rate can up to 62.5%.
• Abstract（参考訳）: 近年,大規模言語モデル (LLM) はコード生成タスクにおいて大きな可能性を示している。 しかし、実際のソフトウェア開発プロセスに完全に適用できるようになるまでにはまだギャップがある。 大規模言語モデルのコード生成能力の正確な評価は、モデルの評価と改善の重要な基盤となっている。 既存のいくつかの研究は、これらのモデルの能力を評価するためにデータセットを構築している。 しかし、現在の評価プロセスは、主にターゲットコードの露出、ケースタイムライン、依存性の可用性の3つのギャップによって、"Familiarityのスペシャリスト"という幻想に遭遇する可能性がある。 これらのギャップの根本的な理由は、現在のデータセットのコードがトレーニングフェーズ中に広範囲に公開され、実行された可能性があるためであり、LLMの継続的なトレーニングと開発のため、彼らのタイムラインは深刻な妥協を受けています。 この問題を解決するための鍵は、可能な限り、彼らがこれまで遭遇したことのないコードを使ってLLMを評価することである。 したがって,本論文の基本的な考え方は,コード難読化の概念を,機能と出力を確保しつつ,異なるレベルでコードを変更することである。 この目的のために、コード難読化ベースのベンチマークOBFUSEVALを構築した。 まず、関数記述とコードを含む5つの実世界のプロジェクトから、1,354の生のケースを収集します。 そして、3段階の戦略(シンボル、構造、意味)を使って記述、コード、コンテキストの依存関係を曖昧にします。 OBFU-SEVALの4つのLCMを評価し,異なる難治性戦略の有効性を比較した。 これらのプロジェクトの公式テストスイートを使用して、生成されたコードを評価します。 その結果, 難燃後, 試験合格率の平均低下率は62.5%に達することがわかった。

関連論文リスト

• Prompting and Fine-tuning Large Language Models for Automated Code Review Comment Generation [5.6001617185032595]
  プログラムデータと自然言語データの両方で事前訓練された大きな言語モデルは、コード指向のタスクでうまく機能する傾向にある。 我々は,パラメータ効率,量子化低ランクのオープンソースLarge Language Model (LLM) をコンシューマグレードハードウェア上で微調整し,レビューコメント生成を改善する。
  論文  参考訳（メタデータ） (2024-11-15T12:01:38Z)
• CodeJudge: Evaluating Code Generation with Large Language Models [6.867043179943195]
  大規模言語モデル(LLM)は、コード生成において有望なパフォーマンスを示している。 LLMが生成したコードを確実に評価する方法は未解決の問題である。 本稿では,LLMを利用したコード評価フレームワークであるCodeJudgeについて,テストケースを必要とせずに生成したコードの意味的正当性を評価する。
  論文  参考訳（メタデータ） (2024-10-03T03:58:03Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• VersiCode: Towards Version-controllable Code Generation [58.82709231906735]
  大規模言語モデル(LLM)は、コード生成において大きな進歩を遂げていますが、既存の研究は、ソフトウェア開発の動的な性質を説明できません。 バージョン別コード補完(VSCC)とバージョン別コードマイグレーション(VACM)の2つの新しいタスクを提案する。 VersiCodeについて広範な評価を行い、バージョン管理可能なコード生成が確かに重要な課題であることを示した。
  論文  参考訳（メタデータ） (2024-06-11T16:15:06Z)
• Comments as Natural Logic Pivots: Improve Code Generation via Comment Perspective [85.48043537327258]
  本稿では, MANGO (comMents As Natural loGic pivOts) を提案する。 その結果、MANGOは強いベースラインに基づいてコードパス率を大幅に改善することがわかった。 論理的なコメントの復号化戦略の堅牢性は、考えの連鎖よりも顕著に高い。
  論文  参考訳（メタデータ） (2024-04-11T08:30:46Z)
• Reasoning Runtime Behavior of a Program with LLM: How Far Are We? [25.451857140926943]
  コードのための大規模な言語モデル(LLM)は、強力なコード理解と生成能力を示している。 コード推論は、コードLLMの最も重要な能力の1つである。 本稿では,プログラム実行によるLLMのコード推論能力と一貫性を評価するためのフレームワークであるRevalを提案する。
  論文  参考訳（メタデータ） (2024-03-25T05:37:16Z)
• InfiBench: Evaluating the Question-Answering Capabilities of Code Large Language Models [56.723509505549536]
  InfiBenchは、私たちの知識に合ったコードのための、最初の大規模フリーフォーム質問回答(QA)ベンチマークです。 慎重に選択された234の高品質なStack Overflow質問で構成されており、15のプログラミング言語にまたがっている。 InfiBench上で100以上の最新のコードLLMに対して,系統的評価を行い,新しい知見と洞察に富んだ結果を得た。
  論文  参考訳（メタデータ） (2024-03-11T02:06:30Z)
• Code Prompting Elicits Conditional Reasoning Abilities in Text+Code LLMs [65.2379940117181]
  自然言語の問題をコードに変換する一連のプロンプトであるコードプロンプトを導入します。 コードプロンプトは複数のLLMに対して高速に向上することがわかった。 GPT 3.5を解析した結果,入力問題のコードフォーマッティングが性能向上に不可欠であることが判明した。
  論文  参考訳（メタデータ） (2024-01-18T15:32:24Z)
• CodeT5+: Open Code Large Language Models for Code Understanding and Generation [72.1638273937025]
  大きな言語モデル (LLM) は膨大なソースコードで事前訓練されており、コードインテリジェンスにおいて顕著な進歩を遂げている。 CodeT5+は、コンポーネントモジュールを柔軟に組み合わせて、幅広い下流のコードタスクに適合させることができるコードのためのエンコーダ-デコーダLLMのファミリーである。 我々は、ゼロショット、微調整、命令調整を含む20以上のコード関連ベンチマークでCodeT5+を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-05-13T14:23:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。