論文の概要: Comparative Analysis of Large Language Models for Context-Aware Code Completion using SAFIM Framework

• arxiv url: http://arxiv.org/abs/2502.15243v1
• Date: Fri, 21 Feb 2025 06:32:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:11:33.545565
• Title: Comparative Analysis of Large Language Models for Context-Aware Code Completion using SAFIM Framework
• Title（参考訳）: SAFIMフレームワークを用いた文脈対応コード補完のための大規模言語モデルの比較解析
• Authors: Hang Zhang, Yanxin Shen, Lun Wang, Chuanqi Shi, Shaoshuai Du, Yiyi Tao, Yixian Shen,
• Abstract要約: 大規模言語モデル(LLM)はコード補完に革命をもたらし、よりインテリジェントでコンテキスト対応な機能へと変貌を遂げた。 本稿では,Gemini 1.5 Flash, Gemini 1.5 Pro, GPT-4o, GPT-4o-mini, GPT-4 Turboなど,チャットベースのLLMの性能を評価する。
• 参考スコア（独自算出の注目度）: 5.312946761836463
• License:
• Abstract: The advent of Large Language Models (LLMs) has revolutionized code completion, transforming it into a more intelligent and context-aware feature in modern integrated development environments. These advancements have significantly enhanced developers' ability to write efficient and error-free code. This study evaluates the performance of several chat-based LLMs, including Gemini 1.5 Flash, Gemini 1.5 Pro, GPT-4o, GPT-4o-mini, and GPT-4 Turbo, using the Syntax-Aware Fill-in-the-Middle (SAFIM) dataset. This benchmark is specifically designed to assess models' capabilities in syntax-sensitive code generation. Performance metrics, such as cosine similarity with ground-truth completions and latency, were employed to measure both accuracy and efficiency. The findings reveal substantial differences in the models' code completion abilities, offering valuable insights into their respective strengths and weaknesses. This work provides a comparative analysis that underscores the trade-offs between accuracy and speed, establishing a benchmark for future advancements in LLM-based code completion.
• Abstract（参考訳）: LLM(Large Language Models)の出現は、コード補完に革命をもたらし、現代の統合開発環境において、よりインテリジェントでコンテキスト対応の機能へと変貌を遂げた。 これらの進歩は、効率的でエラーのないコードを書く開発者の能力を著しく向上させた。 本研究では,SAFIMデータセットを用いて,Gemini 1.5 Flash,Gemini 1.5 Pro,GPT-4o,GPT-4o-mini,GPT-4 Turboなどのチャット型LLMの性能を評価する。 このベンチマークは、構文に敏感なコード生成におけるモデルの能力を評価するように設計されている。 精度と効率の両面を測るために,コサインの類似性や接地構造完了,遅延といったパフォーマンス指標が用いられた。 この結果は、モデルのコード補完能力に大きな違いを示し、それぞれの長所と短所について貴重な洞察を提供する。 この研究は、精度と速度のトレードオフを裏付ける比較分析を提供し、LLMベースのコード補完の今後の進歩のベンチマークを確立する。

関連論文リスト

• Guided Code Generation with LLMs: A Multi-Agent Framework for Complex Code Tasks [1.9198713957364215]
  大規模言語モデル(LLM)は、コード生成タスクにおいて顕著な機能を示している。 複雑な、長いコンテキストプログラミングの課題に対処する上で、それらは重大な制限に直面します。 「案内コード生成のための新しいエージェント・フレームワーク」について紹介する。
  論文  参考訳（メタデータ） (2025-01-11T19:21:53Z)
• Prompting and Fine-tuning Large Language Models for Automated Code Review Comment Generation [5.6001617185032595]
  プログラムデータと自然言語データの両方で事前訓練された大きな言語モデルは、コード指向のタスクでうまく機能する傾向にある。 我々は,パラメータ効率,量子化低ランクのオープンソースLarge Language Model (LLM) をコンシューマグレードハードウェア上で微調整し,レビューコメント生成を改善する。
  論文  参考訳（メタデータ） (2024-11-15T12:01:38Z)
• COAST: Enhancing the Code Debugging Ability of LLMs through Communicative Agent Based Data Synthesis [29.667170755786508]
  大規模言語モデルの能力を評価するためのベンチマークであるEVALを紹介する。 我々は,マルチエージェントシステムを用いて高品質な学習データを生成する,コミュニケーティブエージェントベースのデータ合成フレームワークを提案する。 以上の結果から,COAST生成データは人為的・GPT-4生成データよりも優れていた。
  論文  参考訳（メタデータ） (2024-08-09T11:35:44Z)
• M2CVD: Enhancing Vulnerability Semantic through Multi-Model Collaboration for Code Vulnerability Detection [52.4455893010468]
  大規模言語モデル(LLM)は、コード理解において強力な能力を持つが、微調整コストとセマンティックアライメントの問題により、プロジェクト固有の最適化が制限される。 CodeBERTのようなコードモデルは微調整が容易であるが、複雑なコード言語から脆弱性のセマンティクスを学ぶことはしばしば困難である。 本稿では,M2CVD(Multi-Model Collaborative Vulnerability Detection)手法を提案する。
  論文  参考訳（メタデータ） (2024-06-10T00:05:49Z)
• Prompting Large Language Models to Tackle the Full Software Development Lifecycle: A Case Study [72.24266814625685]
  DevEvalでソフトウェア開発ライフサイクル全体にわたって、大きな言語モデル(LLM)のパフォーマンスを調査します。 DevEvalは4つのプログラミング言語、複数のドメイン、高品質なデータ収集、各タスクに対して慎重に設計および検証されたメトリクスを備えている。 GPT-4を含む現在のLLMは、DevEvalで提示される課題を解決できないことが実証研究によって示されている。
  論文  参考訳（メタデータ） (2024-03-13T15:13:44Z)
• Evaluation of LLMs on Syntax-Aware Code Fill-in-the-Middle Tasks [12.629516072317331]
  Syntax-Aware Fill-in-the-Middle (SAFIM)は、コードFill-in-the-Middle(FIM)タスク上でLLM(Large Language Models)を評価するための新しいベンチマークである。 このベンチマークは、コードブロックや条件式などのプログラム構造の構文対応補完に焦点を当てている。
  論文  参考訳（メタデータ） (2024-03-07T05:05:56Z)
• PPTC-R benchmark: Towards Evaluating the Robustness of Large Language Models for PowerPoint Task Completion [96.47420221442397]
  文,意味,多言語レベルでユーザ命令を攻撃することにより,逆ユーザ命令を構築する。 我々は、ロバストネス設定を組み込んだベンチマークを用いて、3つのクローズドソースと4つのオープンソースLCMをテストする。 GPT-4は我々のベンチマークで最も高い性能と強靭性を示す。
  論文  参考訳（メタデータ） (2024-03-06T15:33:32Z)
• Code Needs Comments: Enhancing Code LLMs with Comment Augmentation [91.52444946362547]
  本稿では、既存のコードに対するコメントを生成する新しいデータ拡張手法と、自然言語と相関の低いコードデータをフィルタリングするデータフィルタリング戦略を導入する。 我々は3つのコード中心の大規模言語モデルの実験を行い、2つの広く使われているプログラミングスキルベンチマークで一貫した性能向上を観察した。
  論文  参考訳（メタデータ） (2024-02-20T13:56:38Z)
• Leveraging Reinforcement Learning and Large Language Models for Code Optimization [14.602997316032706]
  本稿では,コード最適化の複雑さを低減するための新しいフレームワークを提案する。 提案するフレームワークは,大規模言語モデル(LLM)と強化学習(RL)に基づく。 我々は,新しい強化学習アルゴリズムであるCodeT5言語モデルとRRHFを用いて,PIEデータセット上でいくつかの実験を行った。
  論文  参考訳（メタデータ） (2023-12-09T19:50:23Z)
• Speculative Contrastive Decoding [55.378200871224074]
  大規模言語モデル(LLM)は、言語タスクにおいて例外的な性能を示すが、その自動回帰推論は高い計算要求のために制限され、露出バイアスにより準最適である。 投機的復号法とコントラスト的復号法に着想を得て, 単純かつ強力な復号法である投機的コントラスト的復号法(SCD)を導入する。
  論文  参考訳（メタデータ） (2023-11-15T14:15:30Z)
• CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large Language Models for Data Annotation [94.59630161324013]
  本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。 我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2023-10-24T08:56:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。