論文の概要: CodeHalu: Code Hallucinations in LLMs Driven by Execution-based Verification

• arxiv url: http://arxiv.org/abs/2405.00253v1
• Date: Tue, 30 Apr 2024 23:56:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-02 16:47:02.569160
• Title: CodeHalu: Code Hallucinations in LLMs Driven by Execution-based Verification
• Title（参考訳）: CodeHalu: 実行ベースの検証によるLLMのコード幻覚
• Authors: Yuchen Tian, Weixiang Yan, Qian Yang, Qian Chen, Wen Wang, Ziyang Luo, Lei Ma,
• Abstract要約: 大規模言語モデル(LLM)はコード生成の分野で大きな進歩を遂げた。 LLMは時に、もっともらしいように見えるコードを生成するが、期待される要件を満たすことができず、正しく実行されないことがある。 本研究では,コード幻覚の概念を初めて紹介する。
• 参考スコア（独自算出の注目度）: 27.67210769524277
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have made significant advancements in the field of code generation, offering unprecedented support for automated programming and assisting developers. However, LLMs sometimes generate code that appears plausible but fails to meet the expected requirements or executes incorrectly. This phenomenon of hallucinations in the coding field has not been explored. To advance the community's understanding and research on code hallucinations in LLMs, we propose a definition method for these hallucinations based on execution verification and introduce the concept of code hallucinations for the first time. We categorize code hallucinations into four main types: mapping, naming, resource, and logic hallucinations, each further divided into different subcategories to better understand and address the unique challenges faced by LLMs during code generation. To systematically evaluate code hallucinations, we propose a dynamic detection algorithm for code hallucinations and construct the CodeHalu benchmark, which includes 8,883 samples from 699 tasks, to actively detect hallucination phenomena in LLMs during programming. We tested 16 popular LLMs on this benchmark to evaluate the frequency and nature of their hallucinations during code generation. The findings reveal significant variations in the accuracy and reliability of LLMs in generating code, highlighting the urgent need to improve models and training methods to ensure the functional correctness and safety of automatically generated code. This study not only classifies and quantifies code hallucinations but also provides insights for future improvements in LLM-based code generation research. The CodeHalu benchmark and code are publicly available at https://github.com/yuchen814/CodeHalu.
• Abstract（参考訳）: 大規模言語モデル(LLM)はコード生成の分野で大きな進歩を遂げており、自動プログラミングと開発者の支援に前例のないサポートを提供している。 しかし、LCMは時々、もっともらしいように見えるコードを生成するが、期待されている要件を満たすことができず、正しく実行されないことがある。 符号化分野におけるこの幻覚の現象は研究されていない。 LLMにおけるコード幻覚に関するコミュニティの理解と研究を進めるために,実行検証に基づくこれらの幻覚の定義手法を提案し,コード幻覚の概念を初めて紹介する。 コード幻覚は、マッピング、命名、リソース、論理幻覚の4つの主なタイプに分類します。 コード幻覚を系統的に評価するために,コード幻覚の動的検出アルゴリズムを提案し,プログラム中のLLMの幻覚現象を積極的に検出するために699タスクから8,883個のサンプルを含むCodeHaluベンチマークを構築した。 コード生成時の幻覚の頻度と性質を評価するため,このベンチマークで16種類のLLMを検証した。 この結果から,自動生成コードの機能的正しさと安全性を確保するために,モデルやトレーニング方法の改善が急務であることが明らかとなった。 本研究は, コード幻覚の分類と定量化だけでなく, LLMに基づくコード生成研究における今後の改善への洞察を提供する。 CodeHaluベンチマークとコードはhttps://github.com/yuchen814/CodeHaluで公開されている。

関連論文リスト

• MLLM can see? Dynamic Correction Decoding for Hallucination Mitigation [50.73561815838431]
  MLLM(Multimodal Large Language Models)はしばしば幻覚現象を示す。 MLLM(DeCo)の新しい動的補正復号法を提案する。 広範に使用されているベンチマークでDeCoを評価し、ベースラインと比較して幻覚率を大きなマージンで削減できることを実証した。
  論文  参考訳（メタデータ） (2024-10-15T16:57:44Z)
• Collu-Bench: A Benchmark for Predicting Language Model Hallucinations in Code [20.736888384234273]
  大規模言語モデル(LLM)のコード幻覚を予測するベンチマークであるColru-Benchを紹介する。 Collu-Benchには、オープンソースモデルから商用モデルまで、5つのデータセットから収集された13,234のコード幻覚インスタンスと11のさまざまなLSMが含まれている。 我々は、従来の機械学習技術とニューラルネットワークの両方を用いて、Colru-Benchの幻覚を予測する実験を行い、22.03 -- 33.15%の精度を達成した。
  論文  参考訳（メタデータ） (2024-10-13T20:41:47Z)
• LongHalQA: Long-Context Hallucination Evaluation for MultiModal Large Language Models [96.64960606650115]
  LongHalQA (LongHalQA) は、6Kの長い複雑な幻覚テキストからなるLLMフリー幻覚ベンチマークである。 LongHalQA は GPT4V の生成した幻覚データによって特徴付けられる。
  論文  参考訳（メタデータ） (2024-10-13T18:59:58Z)
• LLM Hallucinations in Practical Code Generation: Phenomena, Mechanism, and Mitigation [33.46342144822026]
  コード生成は、入力要求からコードを自動的に生成することを目的としており、開発効率を大幅に向上させる。 最近の大規模言語モデル(LLM)ベースのアプローチは、有望な結果を示し、コード生成タスクに革命をもたらした。 有望な性能にもかかわらず、LLMは、特にコード生成のシナリオにおいて、幻覚を伴うコンテンツを生成することが多い。
  論文  参考訳（メタデータ） (2024-09-30T17:51:15Z)
• CodeMirage: Hallucinations in Code Generated by Large Language Models [6.063525456640463]
  大規模言語モデル(LLM)は、プログラム生成とコードの自動化において有望な可能性を示している。 LLMは幻覚を生成する傾向があり、すなわち、可塑性に聞こえるが誤りであるテキストを生成する。 コード幻覚のための最初のベンチマークであるCodeMirageデータセットを提案する。
  論文  参考訳（メタデータ） (2024-08-14T22:53:07Z)
• Uncovering LLM-Generated Code: A Zero-Shot Synthetic Code Detector via Code Rewriting [78.48355455324688]
  そこで本研究では,コードと書き直された変種との類似性に基づいて,ゼロショット合成符号検出器を提案する。 以上の結果から,既存のテキスト用合成コンテンツ検出装置よりも顕著な向上が見られた。
  論文  参考訳（メタデータ） (2024-05-25T08:57:28Z)
• Exploring and Evaluating Hallucinations in LLM-Powered Code Generation [14.438161741833687]
  LLM(Large Language Models)は、ユーザの意図から逸脱した出力を生成し、内部的不整合を示すか、事実的知識と不整合を示す。 既存の研究は主に、自然言語生成の分野における幻覚の投資に重点を置いている。 我々は,LLM生成コードのテーマ解析を行い,その内に存在する幻覚を要約し,分類する。 幻覚認識におけるLLMの性能評価のためのベンチマークであるHaluCodeを提案する。
  論文  参考訳（メタデータ） (2024-04-01T07:31:45Z)
• InfiBench: Evaluating the Question-Answering Capabilities of Code Large Language Models [56.723509505549536]
  InfiBenchは、私たちの知識に合ったコードのための、最初の大規模フリーフォーム質問回答(QA)ベンチマークです。 慎重に選択された234の高品質なStack Overflow質問で構成されており、15のプログラミング言語にまたがっている。 InfiBench上で100以上の最新のコードLLMに対して,系統的評価を行い,新しい知見と洞察に富んだ結果を得た。
  論文  参考訳（メタデータ） (2024-03-11T02:06:30Z)
• Code Prompting Elicits Conditional Reasoning Abilities in Text+Code LLMs [65.2379940117181]
  自然言語の問題をコードに変換する一連のプロンプトであるコードプロンプトを導入します。 コードプロンプトは複数のLLMに対して高速に向上することがわかった。 GPT 3.5を解析した結果,入力問題のコードフォーマッティングが性能向上に不可欠であることが判明した。
  論文  参考訳（メタデータ） (2024-01-18T15:32:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。