論文の概要: Bayesian-Calibrated Detection of Hallucinated Package Imports in AI-Assisted Code
- arxiv url: http://arxiv.org/abs/2606.13918v1
- Date: Thu, 11 Jun 2026 21:15:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 16:00:42.655079
- Title: Bayesian-Calibrated Detection of Hallucinated Package Imports in AI-Assisted Code
- Title(参考訳): ベイズ校正によるAI支援コードにおけるハロゲン化パッケージインポートの検出
- Authors: Lom M. Hillah, Jean-Marc Richard, Ryan Hasnaoui,
- Abstract要約: キャリブレーションされたレイヤは、PyPIメタデータ信号を悪用して、バイナリレジストリ検出器が見逃す、登録済みだが目立たしいパッケージをサーフェスする。
我々は,1,734個のPythonスニペットを結合したコーパスの校正について検討した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a Bayesian calibration layer for slopsquat detectors -- those that flag hallucinated package imports in code produced by large language models (LLMs). Where existing pipelines emit binary decisions (flag / do-not-flag), our layer emits a Beta-posterior probability per detection, derived from a 3-category epistemic taxonomy that explicitly classifies each prior as empirically calibrated, constructively argued, or engineering-judgement-traced. Beyond the primary 200/404 registry channel, the calibrated layer exploits PyPI metadata signals -- package age, release count, author descriptor, summary -- to surface registered-but-suspicious packages that a binary registry detector misses, which is the realistic post-LLM-emission attacker regime. The resulting risk-aware primitive is directly consumable by downstream CI gates and supports principled threshold decisions across detection rules. We evaluate the calibration on a merged corpus of 1,734 Python snippets -- a stratified 189-prompt BigCodeBench slice plus a 100-prompt niche-library stress-test set, generated across a six-model panel spanning four cloud models (Claude-Sonnet-4.6, Mistral-Large, DeepSeek-v4-pro, DeepSeek-R1) and two local open-weight code models (Mistral Codestral, Meta CodeLlama). Against a re-implemented binary baseline inspired by Mahmud et al. -- which shares its registry oracle with our ground truth and therefore serves as a degenerate upper bound rather than a genuine competitor -- the calibrated layer reproduces the strict-registry detections and introduces well-calibrated additional flags on the metadata channel. We assess detector asymmetry with a McNemar paired test and calibration with both a flagged-subset Expected Calibration Error and a strictly proper full-corpus Brier score.
- Abstract(参考訳): 大型言語モデル (LLMs) が生成するコードに幻覚パッケージのインポートをフラグ付けするスロープスクワット検出器のベイズ校正層を提案する。
既存のパイプラインがバイナリ決定(flag / do-not-flag)を発行する際、我々の層は3つのカテゴリの疫学分類から派生したベータ後確率を出力します。
プライマリ200/404レジストリチャネルの他に、キャリブレーションされたレイヤは、パッケージ年齢、リリース数、作者記述子、サマリといったPyPIメタデータ信号を利用して、バイナリレジストリ検出器が見逃す、登録されるが、注目すべきパッケージを表面化する。
結果として生じるリスク対応プリミティブは、下流のCIゲートによって直接消費可能であり、検出ルール全体にわたって原則化されたしきい値決定をサポートする。
我々は4つのクラウドモデル(Claude-Sonnet-4.6、Mistral-Large、DeepSeek-v4-pro、DeepSeek-R1)と2つのローカルオープンウェイトコードモデル(Mistral Codestral、Meta CodeLlama)にまたがる6つのモデルパネルで生成された1,734Pythonスニペットのキャリブレーションを評価した。
Mahmud氏らにインスパイアされた、再実装されたバイナリベースライン -- レジストリのオラクルを私たちの基本的な真実と共有し、真の競合ではなく、退化した上位境界として機能する -- に対して、キャリブレーションされたレイヤは、厳格な登録検出を再現し、メタデータチャネルに適切にキャリブレーションされたフラグを導入します。
我々は,McNemarペアテストとキャリブレーションによる検出器非対称性の評価を行った。
関連論文リスト
- From Attack Simulation to SIEM Rule: Deterministic Detection-as-Code Synthesis with Probe-Level Traceability [51.56484100374058]
セキュリティチームは、自身のシステムに対する攻撃をシミュレートして、監視が真の侵入者を捕まえるかどうかをチェックする。
人間はそのギャップを手でブリッジし、それぞれの発見を読み、対応するシグマルールを書きます。
ロックされたコーパスからプローブが引き出されると,この変換が部分的に自動化されることを示す。
論文 参考訳(メタデータ) (2026-06-03T14:26:25Z) - VectorSmuggle: Steganographic Exfiltration in Embedding Stores and a Cryptographic Provenance Defense [0.0]
現代の検索拡張生成システム(RAG)は、センシティブなコンテンツを高次元の埋め込みに変換し、それらをベクトルデータベースに格納し、結果の数値的アーティファクトを不透明なものとして扱う。
これはステガノグラフィー・エクスプロイト・アタックのクラスを開放することを示している。
入力パイプラインへの書き込みアクセスを持つアタッカーは、埋め込み内にペイロードデータを隠蔽することができる。
論文 参考訳(メタデータ) (2026-05-13T16:44:20Z) - Label-Free Detection of Governance Evidence Degradation in Risk Decision Systems [0.0]
不正検出・信用スコアリングにおけるリスク決定システムは、構造ラベルが存在しない状態で運用される。
既存のフレームワークは、ドリフト検出とガバナンスエビデンス評価と運用対応を統合していません。
本稿では,ガバナンスドリフトツールキットのラベルフリーガバナンス監視拡張について述べる。
論文 参考訳(メタデータ) (2026-04-20T05:46:15Z) - Beyond Raw Detection Scores: Markov-Informed Calibration for Boosting Machine-Generated Text Detection [105.14032334647932]
機械生成テキスト(MGT)は偽情報やフィッシングなどのリスクを生じさせ、信頼性の高い検出の必要性を強調している。
MGTの統計的に区別可能な特徴を抽出するメトリックベース法は、オーバーフィットしがちな複雑なモデルベース法よりも実用的であることが多い。
本稿では,2つのコンテキスト検出スコアの関係をモデル化したマルコフ情報を用いたスコアキャリブレーション手法を提案する。
論文 参考訳(メタデータ) (2026-02-08T16:06:12Z) - Many Hands Make Light Work: An LLM-based Multi-Agent System for Detecting Malicious PyPI Packages [3.7667883869699597]
PyPIのようなオープンソースリポジトリの悪意のあるコードは、ソフトウェアサプライチェーンに対する脅威が増大している。
本稿では,悪質なPyPIパッケージを検出するために協調言語モデルを用いたマルチエージェントシステムであるLAMPSを提案する。
論文 参考訳(メタデータ) (2026-01-17T19:43:22Z) - Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
生成のための教師なし共形推論フレームワークを提案する。
我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。
その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
論文 参考訳(メタデータ) (2025-09-26T23:40:47Z) - Semi-Supervised and Long-Tailed Object Detection with CascadeMatch [91.86787064083012]
そこで我々はCascadeMatchと呼ばれる新しい擬似ラベル型検出器を提案する。
我々の検出器は、プログレッシブな信頼しきい値を持つ多段検出ヘッドを備えたカスケードネットワークアーキテクチャを備えている。
CascadeMatchは、長い尾のオブジェクト検出の処理において、既存の最先端の半教師付きアプローチを超越していることを示す。
論文 参考訳(メタデータ) (2023-05-24T07:09:25Z) - Automatic Extrinsic Calibration Method for LiDAR and Camera Sensor
Setups [68.8204255655161]
本論文では,LiDAR,単眼,ステレオカメラを含む任意のセンサのパラメータを校正する手法を提案する。
提案手法は、通常、車両のセットアップで見られるように、非常に異なる解像度とポーズのデバイスを扱うことができる。
論文 参考訳(メタデータ) (2021-01-12T12:02:26Z) - EHSOD: CAM-Guided End-to-end Hybrid-Supervised Object Detection with
Cascade Refinement [53.69674636044927]
本稿では,エンド・ツー・エンドのハイブリッド型オブジェクト検出システムであるEHSODについて述べる。
完全なアノテートと弱いアノテートの両方で、ワンショットでトレーニングすることができる。
完全なアノテートされたデータの30%しか持たない複数のオブジェクト検出ベンチマークで、同等の結果が得られる。
論文 参考訳(メタデータ) (2020-02-18T08:04:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。