Fugu-MT 論文翻訳(概要): We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs

論文の概要: We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs

arxiv url: http://arxiv.org/abs/2406.10279v1
Date: Wed, 12 Jun 2024 03:29:06 GMT
ステータス: 処理完了
システム内更新日: 2024-06-19 01:21:32.616780
Title: We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs
Title（参考訳）: LLMのコード生成によるパッケージ幻覚の包括的解析
Authors: Joseph Spracklen, Raveen Wijewickrama, A H M Nazmus Sakib, Anindya Maiti, Murtuza Jadliwala,
Abstract要約: 大規模言語モデル(LLM)を用いたコード生成におけるファクトコンプレッションエラーによるパッケージ幻覚本稿では,プログラム言語間のパッケージ幻覚を厳密かつ包括的に評価し,データセットのプロンプトを行う。その結果,全LLMの19.7%が幻覚的であり,205,474種類の幻覚的パッケージ名が含まれていることがわかった。
参考スコア（独自算出の注目度）: 2.114013890646406
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: The reliance of popular programming languages such as Python and JavaScript on centralized package repositories and open-source software, combined with the emergence of code-generating Large Language Models (LLMs), has created a new type of threat to the software supply chain: package hallucinations. These hallucinations, which arise from fact-conflicting errors when generating code using LLMs, represent a novel form of package confusion attack that poses a critical threat to the integrity of the software supply chain. This paper conducts a rigorous and comprehensive evaluation of package hallucinations across different programming languages, settings, and parameters, exploring how different configurations of LLMs affect the likelihood of generating erroneous package recommendations and identifying the root causes of this phenomena. Using 16 different popular code generation models, across two programming languages and two unique prompt datasets, we collect 576,000 code samples which we analyze for package hallucinations. Our findings reveal that 19.7% of generated packages across all the tested LLMs are hallucinated, including a staggering 205,474 unique examples of hallucinated package names, further underscoring the severity and pervasiveness of this threat. We also implemented and evaluated mitigation strategies based on Retrieval Augmented Generation (RAG), self-detected feedback, and supervised fine-tuning. These techniques demonstrably reduced package hallucinations, with hallucination rates for one model dropping below 3%. While the mitigation efforts were effective in reducing hallucination rates, our study reveals that package hallucinations are a systemic and persistent phenomenon that pose a significant challenge for code generating LLMs.
Abstract（参考訳）: PythonやJavaScriptのような人気のあるプログラミング言語が、中央集権的なパッケージリポジトリやオープンソースソフトウェアに依存していることと、コード生成の大規模言語モデル(LLM)の出現が組み合わさって、ソフトウェアサプライチェーンに対する新たなタイプの脅威、すなわちパッケージ幻覚を生み出した。これらの幻覚は、LCMを使ってコードを生成する際に、事実に紛らわしいエラーから生じるもので、ソフトウェアサプライチェーンの整合性に重大な脅威をもたらす、新しい形のパッケージ混乱攻撃を表している。本稿では,異なるプログラミング言語,設定,パラメータ間でパッケージの幻覚を厳密かつ包括的に評価し,LLMの異なる構成が誤ってパッケージのレコメンデーションを生成し,この現象の根本原因を特定する可能性について検討する。 2つのプログラミング言語と2つのユニークなプロンプトデータセットにまたがる16種類の人気コード生成モデルを使用して、576,000のコードサンプルを収集し、パッケージの幻覚を解析します。その結果,全LSMで発生したパッケージの19.7%が幻覚的であり,205,474件の幻覚的パッケージ名の特異な例が報告されている。また,RAG(Retrieval Augmented Generation)に基づく緩和戦略,自己検出フィードバック,教師付き微調整を実施・評価した。これらの手法により、パッケージの幻覚は明らかに減少し、1モデルでの幻覚率は3%以下に低下した。緩和努力は幻覚率の低減に有効であったが,本研究では,パッケージ幻覚は体系的かつ永続的な現象であり,LLMを生成する上で重要な課題であることを明らかにした。

関連論文リスト

Collu-Bench: A Benchmark for Predicting Language Model Hallucinations in Code [20.736888384234273]
大規模言語モデル(LLM)のコード幻覚を予測するベンチマークであるColru-Benchを紹介する。 Collu-Benchには、オープンソースモデルから商用モデルまで、5つのデータセットから収集された13,234のコード幻覚インスタンスと11のさまざまなLSMが含まれている。我々は、従来の機械学習技術とニューラルネットワークの両方を用いて、Colru-Benchの幻覚を予測する実験を行い、22.03 -- 33.15%の精度を達成した。
論文参考訳（メタデータ） (2024-10-13T20:41:47Z)
LLM Hallucinations in Practical Code Generation: Phenomena, Mechanism, and Mitigation [33.46342144822026]
コード生成は、入力要求からコードを自動的に生成することを目的としており、開発効率を大幅に向上させる。最近の大規模言語モデル(LLM)ベースのアプローチは、有望な結果を示し、コード生成タスクに革命をもたらした。有望な性能にもかかわらず、LLMは、特にコード生成のシナリオにおいて、幻覚を伴うコンテンツを生成することが多い。
論文参考訳（メタデータ） (2024-09-30T17:51:15Z)
$\mathbb{USCD}$: Improving Code Generation of LLMs by Uncertainty-Aware Selective Contrastive Decoding [64.00025564372095]
大規模言語モデル(LLM)は、コード生成において顕著な能力を示している。幻覚の影響(例えば出力ノイズ)は、LLMが1パスで高品質なコードを生成するのを難しくする。単純かつ効果的なtextbfuncertainty-aware textbf select textbfcontrastive textbfdecodingを提案する。
論文参考訳（メタデータ） (2024-09-09T02:07:41Z)
CodeMirage: Hallucinations in Code Generated by Large Language Models [6.063525456640463]
大規模言語モデル(LLM)は、プログラム生成とコードの自動化において有望な可能性を示している。 LLMは幻覚を生成する傾向があり、すなわち、可塑性に聞こえるが誤りであるテキストを生成する。コード幻覚のための最初のベンチマークであるCodeMirageデータセットを提案する。
論文参考訳（メタデータ） (2024-08-14T22:53:07Z)
Hallu-PI: Evaluating Hallucination in Multi-modal Large Language Models within Perturbed Inputs [54.50483041708911]
Hallu-PIは、Perturbed Inputs内のMLLMの幻覚を評価するために設計された最初のベンチマークである。 Hallu-PIは7つの摂動シナリオで構成され、11種類のオブジェクトから1,260の摂動イメージを含んでいる。我々の研究は、MLLMが様々な種類の幻覚を処理できる能力に深刻なバイアスがあることを明らかにした。
論文参考訳（メタデータ） (2024-08-02T16:07:15Z)
What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
論文参考訳（メタデータ） (2024-07-08T17:27:17Z)
Code Hallucination [0.07366405857677226]
コード幻覚にはいくつかの種類がある。大規模な言語モデルを用いて手動でこのような幻覚コードを生成する。任意のコード幻覚を生成する効率的な方法を示すために,HalTriggerというテクニックも提案する。
論文参考訳（メタデータ） (2024-07-05T19:37:37Z)
CodeHalu: Investigating Code Hallucinations in LLMs via Execution-based Verification [73.66920648926161]
本稿では,コード幻覚の概念を導入し,実行検証に基づくコード幻覚の分類法を提案する。本稿では,コード幻覚の検出と定量化を目的とした,CodeHaluと呼ばれる動的検出アルゴリズムを提案する。また、699のタスクから8,883のサンプルを含むCodeHaluEvalベンチマークを導入し、コードの幻覚を体系的に定量的に評価する。
論文参考訳（メタデータ） (2024-04-30T23:56:38Z)
DONAPI: Malicious NPM Packages Detector using Behavior Sequence Knowledge Mapping [28.852274185512236]
npmは最も広範なパッケージマネージャであり、200万人以上のサードパーティのオープンソースパッケージをホストしている。本稿では,340万以上のパッケージを含むローカルパッケージキャッシュをほぼリアルタイムで同期させ,より詳細なパッケージコードにアクセスできるようにする。静的解析と動的解析を組み合わせた自動悪質npmパッケージ検出器であるDONAPIを提案する。
論文参考訳（メタデータ） (2024-03-13T08:38:21Z)
Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
論文参考訳（メタデータ） (2023-12-25T12:32:49Z)
Mutual Information Alleviates Hallucinations in Abstractive Summarization [73.48162198041884]
モデルが生成中の幻覚コンテンツにより多くの確率を割り当てる可能性が著しく高いという単純な基準を見いだす。この発見は幻覚の潜在的な説明を提供する:モデルは、継続について不確実な場合には、高い限界確率のテキストを好むことをデフォルトとする。そこで本研究では,ターゲットトークンの正当性ではなく,ソースとターゲットトークンのポイントワイドな相互情報の最適化に切り替える復号手法を提案する。
論文参考訳（メタデータ） (2022-10-24T13:30:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。