論文の概要: Names Can Hurt: Spotting Slopsquatting Risks Caused by Package Name Hallucinations in Local Coding LLMs
- arxiv url: http://arxiv.org/abs/2608.23897v1
- Date: Mon, 24 Aug 2026 23:10:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:34.656554
- Title: Names Can Hurt: Spotting Slopsquatting Risks Caused by Package Name Hallucinations in Local Coding LLMs
- Title(参考訳): Names can Hurt: Spotting Slopsquatting Risks caused by Package Name Hallucinations in Local Coding LLMs
- Abstract要約: コード生成言語モデルがPythonパッケージ名を作成すると、その名前をPyPIで事前登録した相手がその幻覚をサプライチェーンの妥協に変換することができる。
この問題に対処するための2層検出器を提案する。
検出器はLangGraphステートマシンに埋め込まれており、温度を上昇させ、繰り返し失敗すると、より強力なフォールバックモデルにルートされる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When a code generating language model fabricates a Python package name, an adversary who has pre-registered that name on PyPI can convert that hallucination into a supply chain compromise. This event has been termed as 'slopsquatting'. We propose a two layer detector to counter this issue. The first layer performs a deterministic PyPI existence check. The second is a Random Forest classifier trained on ten features derived from the package name and its PyPI metadata. An import name reconciler bridges the two, resolving cases such as 'import cv2' versus 'pip install opencv-python' without a security bypass. The detector is embedded in a LangGraph state machine that retries at escalating temperatures and, on repeated failure, routes to a stronger fallback model. Across 300 curated prompts, the pipeline produces hallucination free code on 76% of runs. The primary exhausts its retry budget on 28.7%; intra model retries recover roughly a quarter of those, and cross model fallback recovers a further 16.5% of the remainder. Four findings have been observed. First, half of the flagged hallucinations are packages already registered on PyPI, as low quality lookalikes of well known projects, caught by the classifier rather than the deterministic layer (e.g., pil, faiss, tabula, haystack). Second, hallucination rate scales almost linearly with prompt adversariality, from 0 to 10% on routine coding to 40 to 73% on slopsquat baits. Third, the weaker primary refused 6 of 10 direct baits unaided, suggesting recent instruction tuning provides a baseline defense. Fourth, when primary and fallback share a model family, approximately 84% of primary failures recur on the fallback, motivating cross family pairing. A user study (n = 24) reports mean satisfaction 4.4 out of 5 and 21 of 24 stated adoption intent.
- Abstract(参考訳): コード生成言語モデルがPythonパッケージ名を作成すると、その名前をPyPIで事前登録した相手がその幻覚をサプライチェーンの妥協に変換することができる。
この行事は「スロープスクワット」と呼ばれている。
この問題に対処するための2層検出器を提案する。
第1層は、決定論的PyPI存在チェックを実行する。
2つ目は、パッケージ名とそのPyPIメタデータから派生した10の機能に基づいて訓練されたランダムフォレスト分類器である。
インポート名concilerは2つをブリッジし、セキュリティバイパスなしで'import cv2'や'pip install opencv-python'のようなケースを解決する。
検出器はLangGraphステートマシンに埋め込まれており、温度を上昇させ、繰り返し失敗すると、より強力なフォールバックモデルにルートされる。
300回のキュレートされたプロンプトで、パイプラインは76%のランで幻覚のないコードを生成する。
主要なリトライ予算は28.7%で、モデル内リトライはおよそ4分の1を回復し、クロスモデルフォールバックは残りの16.5%を回復している。
4つの発見がある。
まず、フラグ付き幻覚の半数は、すでにPyPIに登録されているパッケージであり、よく知られたプロジェクトの低品質な外観であり、決定論的層(例えば、pil、faiss、 tabula、haystack)ではなく分類器によって捕捉される。
第二に、幻覚率はほぼ直線的に変化し、通常のコーディングでは0から10%、スロックスクワットでは40から73%となる。
第3に、弱い一次命令は10個のうち6個を無視し、最近の命令チューニングがベースラインディフェンスを提供することを示唆している。
第4に、プライマリとフォールバックがモデルファミリを共有する場合、プライマリ障害の約84%はフォールバックに再帰し、クロスファミリーペアリングを動機付ける。
ユーザ調査(n = 24)では、採用意図が示される24の5と21のうち、満足度4.4が報告されている。
関連論文リスト
- Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。
ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。
3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI)
4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
論文 参考訳(メタデータ) (2026-07-19T22:27:00Z) - Bayesian-Calibrated Detection of Hallucinated Package Imports in AI-Assisted Code [0.0]
キャリブレーションされたレイヤは、PyPIメタデータ信号を悪用して、バイナリレジストリ検出器が見逃す、登録済みだが目立たしいパッケージをサーフェスする。
我々は,1,734個のPythonスニペットを結合したコーパスの校正について検討した。
論文 参考訳(メタデータ) (2026-06-11T21:15:39Z) - The Range Shrinks, the Threat Remains: Re-evaluating LLM Package Hallucinations on the 2026 Frontier-Model Cohort [51.56484100374058]
Spracklenらは、コード生成された大きな言語モデルは、PyPIやnpmに存在しないパッケージ名を幻覚させることを示した。
199,845対のPythonとJavaScriptプロンプトの幻覚率を測定し、PyPIとnpmマスターリストに対して検証した。
127個のパッケージ名(PyPIは109個,npmは18個)を5つの評価モデルで同一に作成する。
論文 参考訳(メタデータ) (2026-05-16T16:08:52Z) - Delulu: A Verified Multi-Lingual Benchmark for Code Hallucination Detection in Fill-in-the-Middle Tasks [4.089259624354187]
コード生成のための大規模言語モデルは、Fillin-theMiddle (FIM)タスクにおいて幻覚を頻繁に生成する。
Deluluは、7つの言語と4つの幻覚型で1,951個のFIMサンプルを検証した多言語ベンチマークである。
0.5B-32Bパラメータにまたがる5つのファミリーから,11個のオープンウェイトFIMモデルを評価した。
論文 参考訳(メタデータ) (2026-05-07T23:12:00Z) - Correct Code, Vulnerable Dependencies: A Large Scale Measurement Study of LLM-Specified Library Versions [52.50730821321986]
大規模言語モデル(LLM)におけるバージョンレベルのリスクの大規模評価を初めて行った。
我々は1000のStack OverflowプログラミングタスクのベンチマークであるPinTrace上で10のLLMを評価した。
LLM バージョン選択は LLM ベース開発における第1級, 以前は見落とされたリスクサーフェスとして確認された。
論文 参考訳(メタデータ) (2026-05-07T13:52:59Z) - MEMRES: A Memory-Augmented Resolver with Confidence Cascade for Agentic Python Dependency Resolution [1.6376585841690154]
MEMRESはPythonの依存性解決のためのエージェントシステムである。
Gemma-2 9B (10 GB VRAM) を使用したHG2.9Kでは、MEMRESは2890スニペットの2503スニペットを解決している。
論文 参考訳(メタデータ) (2026-04-18T09:52:45Z) - Assimilation Matters: Model-level Backdoor Detection in Vision-Language Pretrained Models [71.44858461725893]
信頼できない第三者によって微調整されたモデルを考えると、モデルがバックドアで注入されたかどうかが重要で難しい問題である。
既存の検出方法は通常、トレーニングデータセット、バックドアトリガー、ターゲットの事前知識に依存する。
このような事前知識を伴わずに動作する新しいモデルレベルの検出フレームワークであるAssimilation Matters in DETection (AMDET)を紹介する。
論文 参考訳(メタデータ) (2025-11-29T06:20:00Z) - DySec: A Machine Learning-based Dynamic Analysis for Detecting Malicious Packages in PyPI Ecosystem [4.045165357831481]
悪意あるPythonパッケージは、Python Package Index (PyPI)のようなオープンソースのリポジトリの信頼を悪用することで、ソフトウェアサプライチェーンを脆弱にする
リアルタイムの行動監視の欠如は、メタデータ検査と静的コード解析を高度な攻撃戦略に不適当にする。
我々は,PyPI用の機械学習ベースの動的解析フレームワークであるDySecを紹介し,eBPFカーネルとユーザレベルのプローブを用いてパッケージインストール時の動作を監視する。
論文 参考訳(メタデータ) (2025-03-01T03:20:42Z) - PyPulse: A Python Library for Biosignal Imputation [58.35269251730328]
PyPulseは,臨床およびウェアラブルの両方のセンサ設定において生体信号の計算を行うPythonパッケージである。
PyPulseのフレームワークは、非機械学習バイオリサーバーを含む幅広いユーザーベースに対して、使い勝手の良いモジュラーで拡張可能なフレームワークを提供する。
PyPulseはMITライセンスでGithubとPyPIでリリースしました。
論文 参考訳(メタデータ) (2024-12-09T11:00:55Z) - Enhancing Self-Consistency and Performance of Pre-Trained Language
Models through Natural Language Inference [72.61732440246954]
大規模な事前訓練された言語モデルは、テスト入力間の論理的一貫性を欠いていることが多い。
本研究では,事前学習したNLPモデルの一貫性と精度を高めるためのフレームワークであるConCoRDを提案する。
ConCoRDは、市販のクローズドブックQAおよびVQAモデルの精度と一貫性を一貫して向上することを示す。
論文 参考訳(メタデータ) (2022-11-21T21:58:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。