論文の概要: PackMonitor: Enabling Zero Package Hallucinations Through Decoding-Time Monitoring
- arxiv url: http://arxiv.org/abs/2602.20717v1
- Date: Tue, 24 Feb 2026 09:26:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-25 17:34:53.693947
- Title: PackMonitor: Enabling Zero Package Hallucinations Through Decoding-Time Monitoring
- Title(参考訳): PackMonitor:デコード時間モニタリングによるゼロパッケージ幻覚の実現
- Authors: Xiting Liu, Yuetong Liu, Yitong Zhang, Jia Li, Shi-Min Hu,
- Abstract要約: 本論では,パッケージの有効性は有限かつ有能なパッケージリストを通じて決定可能であるというキーインサイトに基づいて,パッケージの幻覚は理論的に予防可能であると論じる。
そこで本研究では,パッケージ幻覚を根本的に排除する最初のアプローチであるPackMonitorを提案する。
- 参考スコア(独自算出の注目度): 14.864903095382937
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As Large Language Models (LLMs) are increasingly integrated into software development workflows, their trustworthiness has become a critical concern. However, in dependency recommendation scenarios, the reliability of LLMs is undermined by widespread package hallucinations, where models often recommend hallucinated packages. Recent studies have proposed a range of approaches to mitigate this issue. Nevertheless, existing approaches typically merely reduce hallucination rates rather than eliminate them, leaving persistent software security risks. In this work, we argue that package hallucinations are theoretically preventable based on the key insight that package validity is decidable through finite and enumerable authoritative package lists. Building on this, we propose PackMonitor, the first approach capable of fundamentally eliminating package hallucinations by continuously monitoring the model's decoding process and intervening when necessary. To implement this in practice, PackMonitor addresses three key challenges: (1) determining when to trigger intervention via a Context-Aware Parser that continuously monitors model outputs and selectively activates intervening only during installation command generation; (2) resolving how to intervene by employing a Package-Name Intervenor that strictly limits the decoding space to an authoritative package list; and (3) ensuring monitoring efficiency through a DFA-Caching Mechanism that enables scalability to millions of packages with negligible overhead. Extensive experiments on five widely used LLMs demonstrate that PackMonitor is a training-free, plug-and-play solution that consistently reduces package hallucination rates to zero while maintaining low-latency inference and preserving original model capabilities.
- Abstract(参考訳): 大規模言語モデル(LLM)がますますソフトウェア開発ワークフローに統合されるにつれて、その信頼性が重要な関心事になっている。
しかし、依存性勧告のシナリオでは、LLMの信頼性は広範にパッケージ幻覚によって損なわれ、モデルはしばしば幻覚パッケージを推奨する。
近年の研究では、この問題を緩和するための様々なアプローチが提案されている。
それにもかかわらず、既存のアプローチは一般的に、それらを取り除くのではなく、幻覚率を減らすだけであり、永続的なソフトウェアセキュリティリスクを残している。
本論では, パッケージの有効性は, 有限かつエミュータブルなパッケージリストを通じて決定可能であるというキーインサイトに基づいて, パッケージの幻覚は理論的に予防可能であると論じる。
そこで本研究では,モデル復号処理を継続的に監視し,必要に応じて介入することにより,パッケージの幻覚を根本的に排除する最初のアプローチであるPackMonitorを提案する。
実際にこれを実装するために、PackMonitorは、(1)モデル出力を継続的に監視し、インストールコマンド生成時にのみ介入を選択的に活性化するContext-Aware Parserを介して介入をトリガーするタイミングを決定すること、(2)デコードスペースを権威的なパッケージリストに厳密に制限するPackage-Name Intervenorを使用することで介入する方法を解決すること、(3)DFA-Cachingメカニズムによる監視効率の確保。
PackMonitorはトレーニング不要でプラグイン・アンド・プレイのソリューションであり、低レイテンシの推論を維持しながらオリジナルのモデル機能を保存すると同時に、パッケージの幻覚率をゼロに抑える。
関連論文リスト
- Secure or Suspect? Investigating Package Hallucinations of Shell Command in Original and Quantized LLMs [7.21976012124109]
我々は,Goパッケージのパッケージ幻覚と脆弱性リスクに対する量子化の影響について,最初の系統的研究を行った。
その結果, 量子化はパッケージ幻覚率(PHR)を著しく増加させ, 4ビットモデルが最も深刻な劣化を示すことがわかった。
幻覚出力の分析の結果,ほとんどのパッケージは現実的なURLベースのGoモジュールパスに似ていることがわかった。
論文 参考訳(メタデータ) (2025-12-09T03:47:31Z) - DeLeaker: Dynamic Inference-Time Reweighting For Semantic Leakage Mitigation in Text-to-Image Models [55.30555646945055]
テキスト・ツー・イメージ(T2I)モデルはセマンティック・リークに対して脆弱である。
DeLeakerは、モデルのアテンションマップに直接介入することで、漏洩を緩和する軽量なアプローチである。
SLIMはセマンティックリークに特化した最初のデータセットである。
論文 参考訳(メタデータ) (2025-10-16T17:39:21Z) - DRIFT: Dynamic Rule-Based Defense with Injection Isolation for Securing LLM Agents [52.92354372596197]
大規模言語モデル(LLM)は、強力な推論と計画能力のため、エージェントシステムの中心となってきています。
この相互作用は、外部ソースからの悪意のある入力がエージェントの振る舞いを誤解させる可能性がある、インジェクション攻撃のリスクも引き起こす。
本稿では,信頼に値するエージェントシステムのための動的ルールベースの分離フレームワークを提案する。
論文 参考訳(メタデータ) (2025-06-13T05:01:09Z) - Backdoor Cleaning without External Guidance in MLLM Fine-tuning [76.82121084745785]
Believe Your Eyes (BYE)は、アテンションエントロピーパターンを自己教師信号として活用して、バックドアサンプルを特定してフィルタリングするデータフィルタリングフレームワークである。
クリーンタスクのパフォーマンスを維持しながら、ほぼゼロの攻撃成功率を達成する。
論文 参考訳(メタデータ) (2025-05-22T17:11:58Z) - Importing Phantoms: Measuring LLM Package Hallucination Vulnerabilities [11.868859925111561]
大規模言語モデル(LLM)はプログラマのツールキットに不可欠なツールとなっている。
コードを幻覚させる傾向は、悪意あるアクターがソフトウェアサプライチェーンの広い範囲に脆弱性を導入するために利用することができる。
論文 参考訳(メタデータ) (2025-01-31T10:26:18Z) - Code-as-Monitor: Constraint-aware Visual Programming for Reactive and Proactive Robotic Failure Detection [56.66677293607114]
オープンセットのリアクティブかつアクティブな障害検出のためのCode-as-Monitor(CaM)を提案する。
モニタリングの精度と効率を高めるために,制約関連エンティティを抽象化する制約要素を導入する。
実験により、CaMは28.7%高い成功率を達成し、厳しい乱れの下で実行時間を31.8%短縮することが示された。
論文 参考訳(メタデータ) (2024-12-05T18:58:27Z) - We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs [3.515912713354746]
パッケージ幻覚は、大規模な言語モデルを使用してコードを生成する際に、ファクトコンフリクトのエラーから生じる。
本稿では,プログラム言語間におけるパッケージ幻覚の厳密かつ包括的評価を行う。
幻覚パッケージの平均パーセンテージは、商用モデルでは少なくとも5.2%、オープンソースモデルでは21.7%である。
論文 参考訳(メタデータ) (2024-06-12T03:29:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。