Fugu-MT 論文翻訳(概要): LLM Hallucinations in Practical Code Generation: Phenomena, Mechanism, and Mitigation

論文の概要: LLM Hallucinations in Practical Code Generation: Phenomena, Mechanism, and Mitigation

arxiv url: http://arxiv.org/abs/2409.20550v1
Date: Mon, 30 Sep 2024 17:51:15 GMT
ステータス: 処理完了
システム内更新日: 2024-10-02 01:35:17.324933
Title: LLM Hallucinations in Practical Code Generation: Phenomena, Mechanism, and Mitigation
Title（参考訳）: 実践的コード生成におけるLLM幻覚--現象,メカニズム,緩和
Authors: Ziyao Zhang, Yanlin Wang, Chong Wang, Jiachi Chen, Zibin Zheng,
Abstract要約: コード生成は、入力要求からコードを自動的に生成することを目的としており、開発効率を大幅に向上させる。最近の大規模言語モデル(LLM)ベースのアプローチは、有望な結果を示し、コード生成タスクに革命をもたらした。有望な性能にもかかわらず、LLMは、特にコード生成のシナリオにおいて、幻覚を伴うコンテンツを生成することが多い。
参考スコア（独自算出の注目度）: 33.46342144822026
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Code generation aims to automatically generate code from input requirements, significantly enhancing development efficiency. Recent large language models (LLMs) based approaches have shown promising results and revolutionized code generation task. Despite the promising performance, LLMs often generate contents with hallucinations, especially for the code generation scenario requiring the handling of complex contextual dependencies in practical development process. Although previous study has analyzed hallucinations in LLM-powered code generation, the study is limited to standalone function generation. In this paper, we conduct an empirical study to study the phenomena, mechanism, and mitigation of LLM hallucinations within more practical and complex development contexts in repository-level generation scenario. First, we manually examine the code generation results from six mainstream LLMs to establish a hallucination taxonomy of LLM-generated code. Next, we elaborate on the phenomenon of hallucinations, analyze their distribution across different models. We then analyze causes of hallucinations and identify four potential factors contributing to hallucinations. Finally, we propose an RAG-based mitigation method, which demonstrates consistent effectiveness in all studied LLMs. The replication package including code, data, and experimental results is available at https://github.com/DeepSoftwareAnalytics/LLMCodingHallucination
Abstract（参考訳）: コード生成は、入力要求からコードを自動的に生成することを目的としており、開発効率を大幅に向上させる。最近の大規模言語モデル(LLM)ベースのアプローチは、有望な結果を示し、コード生成タスクに革命をもたらした。有望な性能にもかかわらず、LLMは幻覚のあるコンテンツを生成することが多い。前回の研究はLCMによるコード生成における幻覚を解析しているが、本研究はスタンドアロン機能生成に限られている。本稿では,レポジトリレベルの生成シナリオにおいて,より実用的で複雑な開発状況下でのLLM幻覚の現象,メカニズム,緩和に関する実証的研究を行う。まず,6つのLLMのコード生成結果を手作業で検証し,LLM生成コードの幻覚分類を確立させる。次に,幻覚現象を詳述し,その分布を異なるモデルで解析する。次に、幻覚の原因を分析し、幻覚に寄与する4つの潜在的要因を同定する。最後に,全てのLLMにおいて一貫した有効性を示すRAGに基づく緩和法を提案する。コード、データ、実験結果を含むレプリケーションパッケージはhttps://github.com/DeepSoftwareAnalytics/LLMCodingHallucinationで入手できる。

関連論文リスト

Investigating the Role of Prompting and External Tools in Hallucination Rates of Large Language Models [0.0]
LLM(Large Language Models)は、人間の可読テキストの広範なコーパスに基づいて訓練された強力な計算モデルであり、汎用的な言語理解と生成を可能にする。これらの成功にもかかわらず、LLMは幻覚と呼ばれる不正確さをしばしば生み出す。本稿では,LLMにおける幻覚の低減を目的とした,異なるプロンプト戦略とフレームワークの実証評価を行う。
論文参考訳（メタデータ） (2024-10-25T08:34:53Z)
MLLM can see? Dynamic Correction Decoding for Hallucination Mitigation [50.73561815838431]
MLLM(Multimodal Large Language Models)はしばしば幻覚現象を示す。 MLLM(DeCo)の新しい動的補正復号法を提案する。広範に使用されているベンチマークでDeCoを評価し、ベースラインと比較して幻覚率を大きなマージンで削減できることを実証した。
論文参考訳（メタデータ） (2024-10-15T16:57:44Z)
Collu-Bench: A Benchmark for Predicting Language Model Hallucinations in Code [20.736888384234273]
大規模言語モデル(LLM)のコード幻覚を予測するベンチマークであるColru-Benchを紹介する。 Collu-Benchには、オープンソースモデルから商用モデルまで、5つのデータセットから収集された13,234のコード幻覚インスタンスと11のさまざまなLSMが含まれている。我々は、従来の機械学習技術とニューラルネットワークの両方を用いて、Colru-Benchの幻覚を予測する実験を行い、22.03 -- 33.15%の精度を達成した。
論文参考訳（メタデータ） (2024-10-13T20:41:47Z)
LongHalQA: Long-Context Hallucination Evaluation for MultiModal Large Language Models [96.64960606650115]
LongHalQA (LongHalQA) は、6Kの長い複雑な幻覚テキストからなるLLMフリー幻覚ベンチマークである。 LongHalQA は GPT4V の生成した幻覚データによって特徴付けられる。
論文参考訳（メタデータ） (2024-10-13T18:59:58Z)
Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models [70.19081534515371]
大規模言語モデル(LLM)は様々な自然言語処理タスクで広く採用されている。それらは、入力源から逸脱する不信または矛盾したコンテンツを生成し、深刻な結果をもたらす。本稿では,LLMの生成した回答の幻覚を効果的に検出するために,RelDという頑健な識別器を提案する。
論文参考訳（メタデータ） (2024-07-04T18:47:42Z)
CodeHalu: Investigating Code Hallucinations in LLMs via Execution-based Verification [73.66920648926161]
本稿では,コード幻覚の概念を導入し,実行検証に基づくコード幻覚の分類法を提案する。本稿では,コード幻覚の検出と定量化を目的とした,CodeHaluと呼ばれる動的検出アルゴリズムを提案する。また、699のタスクから8,883のサンプルを含むCodeHaluEvalベンチマークを導入し、コードの幻覚を体系的に定量的に評価する。
論文参考訳（メタデータ） (2024-04-30T23:56:38Z)
Exploring and Evaluating Hallucinations in LLM-Powered Code Generation [14.438161741833687]
LLM(Large Language Models)は、ユーザの意図から逸脱した出力を生成し、内部的不整合を示すか、事実的知識と不整合を示す。既存の研究は主に、自然言語生成の分野における幻覚の投資に重点を置いている。我々は,LLM生成コードのテーマ解析を行い,その内に存在する幻覚を要約し,分類する。幻覚認識におけるLLMの性能評価のためのベンチマークであるHaluCodeを提案する。
論文参考訳（メタデータ） (2024-04-01T07:31:45Z)
Retrieve Only When It Needs: Adaptive Retrieval Augmentation for Hallucination Mitigation in Large Language Models [68.91592125175787]
幻覚は、大規模言語モデル(LLM)の実践的実装において重要な課題となる。本稿では,幻覚に対処するための選択的検索拡張プロセスにより,Lowenを改良する新しいアプローチを提案する。
論文参考訳（メタデータ） (2024-02-16T11:55:40Z)
A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions [40.79317187623401]
大規模言語モデル(LLM)の出現は、自然言語処理(NLP)において大きなブレークスルーとなった。 LLMは幻覚を起こす傾向があり、可視だが非現実的な内容を生成する。この現象は、実世界の情報検索システムにおけるLCMの信頼性に対する重大な懸念を引き起こす。
論文参考訳（メタデータ） (2023-11-09T09:25:37Z)
Siren's Song in the AI Ocean: A Survey on Hallucination in Large Language Models [116.01843550398183]
大規模言語モデル(LLM)は、様々な下流タスクで顕著な機能を示している。 LLMは時折、ユーザ入力から分岐するコンテンツを生成し、以前生成されたコンテキストと矛盾する。
論文参考訳（メタデータ） (2023-09-03T16:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。