論文の概要: Evaluating Inference-Time Defenses Against Package Hallucination in LLM-Generated Code
- arxiv url: http://arxiv.org/abs/2608.22652v1
- Date: Sun, 23 Aug 2026 23:17:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.821482
- Title: Evaluating Inference-Time Defenses Against Package Hallucination in LLM-Generated Code
- Title（参考訳）: LLM生成符号におけるパッケージ幻覚に対する推定時間防御の評価
- Abstract要約: 先行評価手法は,標準ライブラリモジュールを幻覚として誤分類することにより幻覚率を低下させることを示した。
本研究は,パッケージ幻覚を緩和するための7つの推論時防御効果を評価する。
- 参考スコア（独自算出の注目度）: 11.355909766945045
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLMs are increasingly used for code generation, yet they frequently hallucinate non-existent software packages, creating exploitable entry points into the software supply chain. We make four contributions to this problem. First, we show that prior evaluation methodologies systematically inflate hallucination rates by misclassifying standard-library modules as hallucinations in some languages. For Python, the overestimation reaches 9.4 percentage points. Second, we evaluate seven inference-time defenses for mitigating package hallucinations, including five guided decoding strategies (Greedy, Contrastive, DoLa, Nudging, and Active Layer-Contrastive Decoding), an iterative self-refinement approach (Self-Refine), and a Retrieval-Augmented Generation (RAG)-based defense.. Across eight models spanning five families and four programming languages (Python, JavaScript, Ruby, Rust), RAG reduces the package hallucination rate (PHR) in 18 of 32 model--language configurations. Third, we introduce Package Utility (PU) to assess whether defenses preserve valid and task-relevant recommendations. Among strategies evaluated, Greedy decoding provides the strongest average mitigation--utility trade-off. Fourth, we stress-test all strategies under adversarial prompts seeded with fabricated package names and find that PHR surges by up to 45 percentage points relative to standard prompts, with Ruby consistently the most vulnerable language (80.9--95.2\%). Under adversarial conditions, RAG and Self-Refine outperform all decoding-only strategies, indicating that robust defense requires either external grounding or iterative self-verification when prompts are actively hostile. Our results recast package hallucination as both a measurement problem and a decoding-time control problem, and they demonstrate that the choice of defense must be matched to the threat model and recommendation utility.
- Abstract（参考訳）: LLMはコード生成にますます使われていますが、既存のソフトウェアパッケージを幻覚させ、ソフトウェアサプライチェーンへの侵入ポイントを生み出します。
私たちはこの問題に4つの貢献をしている。
まず,いくつかの言語において,標準ライブラリモジュールを幻覚として誤分類することにより,先行評価手法が幻覚率を体系的に向上させることを示す。
Pythonの場合、過大評価は9.4ポイントに達する。
第2に、パッケージ幻覚を緩和するための7つの推論時防御策(Greedy、Contrastive、DoLa、Nudging、Active Layer-Contrastive Decoding)、反復的自己抑制アプローチ(Self-Refine)、Retrieval-Augmented Generation(RAG)ベースの防御を含む5つの誘導的復号戦略(Greedy、Contrastive、DoLa、Nudging、Active Layer-Contrastive Decoding)を評価した。
と。
5つのファミリーと4つのプログラミング言語(Python、JavaScript、Ruby、Rust)にまたがる8つのモデルにおいて、RAGは32のモデル言語構成のうち18のパッケージ幻覚率(PHR)を減らす。
第3に,防衛が有効かつタスク関連レコメンデーションを保持するかどうかを評価するために,パッケージユーティリティ(PU)を導入する。
評価された戦略の中で、Greedyデコーディングは最強の緩和、ユーティリティトレードオフを提供する。
そして、PHRは標準のプロンプトと比較して最大45パーセント上昇し、Rubyは一貫して最も脆弱な言語(80.9--95.2\%)であることがわかった。
敵対的な条件下では、RAGとSelf-Refineは、全てのデコード専用戦略を上回り、プロンプトがアクティブに敵対的である場合、堅牢な防御には外部の接地または反復的な自己検証が必要であることを示す。
本研究の結果は,パッケージ幻覚を計測問題と復号時間制御問題の両方であると再考し,防御の選択は脅威モデルと推奨ユーティリティに一致しなければならないことを示した。
関連論文リスト
- TRACE: Trajectory Aware Reasoning for Multi-Turn Adversarial Conversation Evaluation [19.39203198049072]
軌道認識型構造化推論を用いたマルチターンディフェンスであるTraceを導入する。
操作キューを軌跡から識別し、ユーザ意図の良識と敵意の両方の解釈を評価し、ジェイルブレイクスコアを割り当て、アクションにコミットする。
平均攻撃成功率(ASR)は14.5%、最強のベースラインは31.4%、未防御のターゲットは74.9%である。
論文 参考訳（メタデータ） (2026-08-16T07:32:02Z) - RoguePrompt: Dual-Layer Ciphering for Self-Reconstruction to Circumvent LLM Moderation [0.0]
本稿では,不正なユーザクエリを自己再構成プロンプトに変換する自動ジェイルブレイク攻撃を提案する。
GPT 4oに対してRoguePromptをインスタンス化し、2 448で評価すると、以前は強く拒否されていた生産モデレーションシステムであることが示唆される。
3つのセキュリティ関連の結果のバイパス、再構築、実行を分離する評価プロトコルの下で、攻撃は84.7%のバイパス、80.2%の再構築、および71.5パーセントの完全な実行を達成した。
論文 参考訳（メタデータ） (2025-11-24T05:42:54Z) - A Systematic Literature Review of Code Hallucinations in LLMs: Characterization, Mitigation Methods, Challenges, and Future Directions for Reliable AI [54.34738767990601]
大規模言語モデルがソフトウェアエンジニアリングタスクに統合されるにつれ、コードの幻覚の理解と緩和が不可欠になる。
コード指向LLMにおける幻覚現象を4つの重要な観点から体系的に検討する。
論文 参考訳（メタデータ） (2025-11-02T02:58:41Z) - Think Twice, Generate Once: Safeguarding by Progressive Self-Reflection [18.467741067831877]
本稿では,大規模言語モデルを自己監視に活用し,その出力を動的に補正する新しい推論時間手法であるプログレッシブ・セルフリフレクションを紹介する。
Llama-3.1-8B-Instructに提案手法を適用した結果,攻撃成功率は77.5%から5.9%に低下した。
提案手法はテスト時間スケーリングの手法として機能し,追加の自己回帰ラウンドによって推論オーバーヘッドのコストで安全性が向上する。
論文 参考訳（メタデータ） (2025-09-29T12:54:28Z) - Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
完全無害データを用いた新しい毒殺法を提案する。
自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。
LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
論文 参考訳（メタデータ） (2025-05-23T08:13:59Z) - AegisLLM: Scaling Agentic Systems for Self-Reflective Defense in LLM Security [74.22452069013289]
AegisLLMは、敵の攻撃や情報漏洩に対する協調的なマルチエージェント防御である。
テスト時のエージェント推論システムのスケーリングは,モデルの有用性を損なうことなく,ロバスト性を大幅に向上させることを示す。
アンラーニングやジェイルブレイクを含む主要な脅威シナリオに対する総合的な評価は、AegisLLMの有効性を示している。
論文 参考訳（メタデータ） (2025-04-29T17:36:05Z) - Importing Phantoms: Measuring LLM Package Hallucination Vulnerabilities [11.868859925111561]
大規模言語モデル(LLM)はプログラマのツールキットに不可欠なツールとなっている。
コードを幻覚させる傾向は、悪意あるアクターがソフトウェアサプライチェーンの広い範囲に脆弱性を導入するために利用することができる。
論文 参考訳（メタデータ） (2025-01-31T10:26:18Z) - TAPT: Test-Time Adversarial Prompt Tuning for Robust Inference in Vision-Language Models [53.91006249339802]
視覚的対人攻撃に対するCLIPの推論ロバスト性を高めるため, TAPT(Test-Time Adversarial Prompt Tuning)と呼ばれる新しい防御手法を提案する。
TAPTは、CLIPの推論プロセスを堅牢化するために、防御的バイモーダル(テキストと視覚)のプロンプトを学習するテストタイムディフェンス手法である。
我々は、ImageNetなど10のゼロショットデータセットを含む11のベンチマークデータセットに対するTAPTの有効性を評価する。
論文 参考訳（メタデータ） (2024-11-20T08:58:59Z) - ShadowCode: Towards (Automatic) External Prompt Injection Attack against Code LLMs [56.46702494338318]
本稿では,コード指向の大規模言語モデルに対する(自動)外部プロンプトインジェクションという,新たな攻撃パラダイムを紹介する。
コードシミュレーションに基づいて誘導摂動を自動生成する,シンプルで効果的な方法であるShadowCodeを提案する。
3つの人気のあるプログラミング言語にまたがる31の脅威ケースを発生させるため、13の異なる悪意のある目標に対して本手法を評価した。
論文 参考訳（メタデータ） (2024-07-12T10:59:32Z) - SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。
まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。
第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
論文 参考訳（メタデータ） (2024-06-20T17:56:07Z) - We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs [3.515912713354746]
パッケージ幻覚は、大規模な言語モデルを使用してコードを生成する際に、ファクトコンフリクトのエラーから生じる。
本稿では,プログラム言語間におけるパッケージ幻覚の厳密かつ包括的評価を行う。
幻覚パッケージの平均パーセンテージは、商用モデルでは少なくとも5.2%、オープンソースモデルでは21.7%である。
論文 参考訳（メタデータ） (2024-06-12T03:29:06Z) - StrategyLLM: Large Language Models as Strategy Generators, Executors, Optimizers, and Evaluators for Problem Solving [76.5322280307861]
StrategyLLM は LLM が帰納的推論、特定のタスクインスタンスからの一般的な戦略の導出、帰納的推論を可能にし、これらの一般的な戦略を特定のタスク例に適用し、一般化可能で一貫した数発のプロンプトを構築する。
実験の結果、StrategyLLMは、数学推論(34.2%$rightarrow$38.8%)、コモンセンス推論(70.3%$rightarrow$72.5%)、アルゴリズム推論(73.7%$rightarrow$85.0)を含む、4つの難しいタスクにまたがる13のデータセットに対して、人間によるアノテートソリューションを必要とする競争ベースラインのCoT-SCよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-11-15T09:18:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。