論文の概要: CodeMirage: Hallucinations in Code Generated by Large Language Models

• arxiv url: http://arxiv.org/abs/2408.08333v1
• Date: Wed, 14 Aug 2024 22:53:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 17:39:31.728904
• Title: CodeMirage: Hallucinations in Code Generated by Large Language Models
• Title（参考訳）: CodeMirage: 大規模言語モデルによって生成されたコードの幻覚
• Authors: Vibhor Agarwal, Yulong Pei, Salwa Alamir, Xiaomo Liu,
• Abstract要約: 大規模言語モデル(LLM)は、プログラム生成とコードの自動化において有望な可能性を示している。 LLMは幻覚を生成する傾向があり、すなわち、可塑性に聞こえるが誤りであるテキストを生成する。 コード幻覚のための最初のベンチマークであるCodeMirageデータセットを提案する。
• 参考スコア（独自算出の注目度）: 6.063525456640463
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) have shown promising potentials in program generation and no-code automation. However, LLMs are prone to generate hallucinations, i.e., they generate text which sounds plausible but is incorrect. Although there has been a recent surge in research on LLM hallucinations for text generation, similar hallucination phenomenon can happen in code generation. Sometimes the generated code can have syntactical or logical errors as well as more advanced issues like security vulnerabilities, memory leaks, etc. Given the wide adaptation of LLMs to enhance efficiency in code generation and development in general, it becomes imperative to investigate hallucinations in code generation. To the best of our knowledge, this is the first attempt at studying hallucinations in the code generated by LLMs. We start by introducing the code hallucination definition and a comprehensive taxonomy of code hallucination types. We propose the first benchmark CodeMirage dataset for code hallucinations. The benchmark contains 1,137 GPT-3.5 generated hallucinated code snippets for Python programming problems from two base datasets - HumanEval and MBPP. We then propose the methodology for code hallucination detection and experiment with open source LLMs such as CodeLLaMA as well as OpenAI's GPT-3.5 and GPT-4 models using one-shot prompt. We find that GPT-4 performs the best on HumanEval dataset and gives comparable results to the fine-tuned CodeBERT baseline on MBPP dataset. Towards the end, we discuss various mitigation strategies for code hallucinations and conclude our work.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、プログラム生成とコードの自動化において有望な可能性を示している。 しかし、LLMは幻覚を生成する傾向があり、すなわち、可塑性に聞こえるが誤りであるテキストを生成する。 近年、テキスト生成のためのLLM幻覚の研究が急増しているが、コード生成において同様の幻覚現象が発生する可能性がある。 時に生成されたコードは、構文的または論理的エラーや、セキュリティの脆弱性やメモリリークといったより高度な問題を抱えることがある。 コード生成および開発における効率性を高めるため,LLMの広範な適応を考えると,コード生成における幻覚を調査することが不可欠となる。 我々の知る限りでは、LLMが生成したコードの幻覚を研究する最初の試みである。 まず、コード幻覚の定義とコード幻覚の包括分類の導入から始めます。 コード幻覚のための最初のベンチマークであるCodeMirageデータセットを提案する。 ベンチマークには、HumanEvalとMBPPという2つのベースデータセットから、Pythonプログラミング問題に対する1,137 GPT-3.5生成の幻覚コードスニペットが含まれている。 次に,CodeLLaMAやOpenAIのGPT-3.5,GPT-4といったオープンソースのLCMをワンショットプロンプトで検出し,実験する手法を提案する。 GPT-4はHumanEvalデータセット上で最高の性能を示し、MBPPデータセット上の細調整されたCodeBERTベースラインに匹敵する結果を与える。 最後に,コード幻覚の緩和戦略について論じ,研究をまとめる。

関連論文リスト

• ETF: An Entity Tracing Framework for Hallucination Detection in Code Summaries [29.561699707926056]
  大型言語モデル(LLM)は、意図した意味から逸脱する幻覚出力の傾向にある。 コード要約における幻覚検出に特化してキュレートされた$sim$10Kのサンプルを用いたファースト・オブ・ザ・キンドデータセットを提案する。
  論文  参考訳（メタデータ） (2024-10-17T19:38:55Z)
• MLLM can see? Dynamic Correction Decoding for Hallucination Mitigation [50.73561815838431]
  MLLM(Multimodal Large Language Models)はしばしば幻覚現象を示す。 MLLM(DeCo)の新しい動的補正復号法を提案する。 広範に使用されているベンチマークでDeCoを評価し、ベースラインと比較して幻覚率を大きなマージンで削減できることを実証した。
  論文  参考訳（メタデータ） (2024-10-15T16:57:44Z)
• Collu-Bench: A Benchmark for Predicting Language Model Hallucinations in Code [20.736888384234273]
  大規模言語モデル(LLM)のコード幻覚を予測するベンチマークであるColru-Benchを紹介する。 Collu-Benchには、オープンソースモデルから商用モデルまで、5つのデータセットから収集された13,234のコード幻覚インスタンスと11のさまざまなLSMが含まれている。 我々は、従来の機械学習技術とニューラルネットワークの両方を用いて、Colru-Benchの幻覚を予測する実験を行い、22.03 -- 33.15%の精度を達成した。
  論文  参考訳（メタデータ） (2024-10-13T20:41:47Z)
• Code Hallucination [0.07366405857677226]
  コード幻覚にはいくつかの種類がある。 大規模な言語モデルを用いて手動でこのような幻覚コードを生成する。 任意のコード幻覚を生成する効率的な方法を示すために,HalTriggerというテクニックも提案する。
  論文  参考訳（メタデータ） (2024-07-05T19:37:37Z)
• Data-augmented phrase-level alignment for mitigating object hallucination [52.43197107069751]
  MLLM(Multimodal Large Language Models)はしばしば幻覚と呼ばれる事実的不正確な情報を生成する。 そこで,本研究では,MLLMの命令調整による幻覚の緩和に応用可能な新しい損失であるData-augmented Phrase-level Alignment(DPA)を提案する。
  論文  参考訳（メタデータ） (2024-05-28T23:36:00Z)
• CodeHalu: Investigating Code Hallucinations in LLMs via Execution-based Verification [73.66920648926161]
  本稿では,コード幻覚の概念を導入し,実行検証に基づくコード幻覚の分類法を提案する。 本稿では,コード幻覚の検出と定量化を目的とした,CodeHaluと呼ばれる動的検出アルゴリズムを提案する。 また、699のタスクから8,883のサンプルを含むCodeHaluEvalベンチマークを導入し、コードの幻覚を体系的に定量的に評価する。
  論文  参考訳（メタデータ） (2024-04-30T23:56:38Z)
• Exploring and Evaluating Hallucinations in LLM-Powered Code Generation [14.438161741833687]
  LLM(Large Language Models)は、ユーザの意図から逸脱した出力を生成し、内部的不整合を示すか、事実的知識と不整合を示す。 既存の研究は主に、自然言語生成の分野における幻覚の投資に重点を置いている。 我々は,LLM生成コードのテーマ解析を行い,その内に存在する幻覚を要約し,分類する。 幻覚認識におけるLLMの性能評価のためのベンチマークであるHaluCodeを提案する。
  論文  参考訳（メタデータ） (2024-04-01T07:31:45Z)
• The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models [134.6697160940223]
  幻覚は、大きな言語モデルの信頼できるデプロイには大きな課題となります。 幻覚(検出)の検出方法、LLMが幻覚(ソース)をなぜ検出するのか、そしてそれを緩和するために何ができるか、という3つの重要な疑問がよく研究されるべきである。 本研究は, 幻覚検出, 発生源, 緩和の3つの側面に着目した, LLM幻覚の系統的研究である。
  論文  参考訳（メタデータ） (2024-01-06T12:40:45Z)
• Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
  大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。 幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-25T12:32:49Z)
• HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large Language Models [146.87696738011712]
  大型言語モデル(LLM)は幻覚を生成する傾向があり、すなわち、ソースと矛盾したり、事実の知識によって検証できないコンテンツである。 言語モデル(HaluEval)のための幻覚評価ベンチマーク(Halucination Evaluation benchmark)を導入する。
  論文  参考訳（メタデータ） (2023-05-19T15:36:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。