論文の概要: Importing Phantoms: Measuring LLM Package Hallucination Vulnerabilities

• arxiv url: http://arxiv.org/abs/2501.19012v1
• Date: Fri, 31 Jan 2025 10:26:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:03:43.271388
• Title: Importing Phantoms: Measuring LLM Package Hallucination Vulnerabilities
• Title（参考訳）: ファントムのインポート: LLMパッケージの幻覚脆弱性の測定
• Authors: Arjun Krishna, Erick Galinkin, Leon Derczynski, Jeffrey Martin,
• Abstract要約: 大規模言語モデル(LLM)はプログラマのツールキットに不可欠なツールとなっている。 コードを幻覚させる傾向は、悪意あるアクターがソフトウェアサプライチェーンの広い範囲に脆弱性を導入するために利用することができる。
• 参考スコア（独自算出の注目度）: 11.868859925111561
• License:
• Abstract: Large Language Models (LLMs) have become an essential tool in the programmer's toolkit, but their tendency to hallucinate code can be used by malicious actors to introduce vulnerabilities to broad swathes of the software supply chain. In this work, we analyze package hallucination behaviour in LLMs across popular programming languages examining both existing package references and fictional dependencies. By analyzing this package hallucination behaviour we find potential attacks and suggest defensive strategies to defend against these attacks. We discover that package hallucination rate is predicated not only on model choice, but also programming language, model size, and specificity of the coding task request. The Pareto optimality boundary between code generation performance and package hallucination is sparsely populated, suggesting that coding models are not being optimized for secure code. Additionally, we find an inverse correlation between package hallucination rate and the HumanEval coding benchmark, offering a heuristic for evaluating the propensity of a model to hallucinate packages. Our metrics, findings and analyses provide a base for future models, securing AI-assisted software development workflows against package supply chain attacks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、プログラマのツールキットにおいて不可欠なツールとなっているが、悪意あるアクターによって、ソフトウェアサプライチェーンの広い範囲に脆弱性を導入するために、コードを幻覚させる傾向がある。 本研究では,LLMにおけるパッケージ幻覚の振る舞いを,既存のパッケージ参照と架空の依存関係の両方を検証して解析する。 このパッケージの幻覚行動を分析することで、潜在的な攻撃を見つけ、これらの攻撃に対して防御戦略を提案する。 パッケージの幻覚率は, モデル選択だけでなく, プログラム言語, モデルサイズ, コーディングタスク要求の特異性にも当てはまる。 コード生成性能とパッケージ幻覚の間のParetoの最適性境界は、疎結合であり、コーディングモデルがセキュアなコードに最適化されていないことを示唆している。 さらに,パッケージの幻覚率とHumanEval符号化ベンチマークとの逆相関がみられ,パッケージの幻覚に対するモデルの有効性を評価するためのヒューリスティックが提供される。 私たちのメトリクス、発見、分析は、将来のモデルの基礎を提供し、パッケージサプライチェーン攻撃に対するAI支援ソフトウェア開発ワークフローを確保します。

関連論文リスト

• GoSurf: Identifying Software Supply Chain Attack Vectors in Go [9.91891839872381]
  本稿では,Go言語に適した12個の異なる攻撃ベクトルの分類法とそのパッケージライフサイクルを提案する。 私たちの研究は、Goエコシステム内のオープンソースのソフトウェアサプライチェーンを確保するための予備的な洞察を提供します。
  論文  参考訳（メタデータ） (2024-07-05T11:52:27Z)
• We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs [3.515912713354746]
  パッケージ幻覚は、大規模な言語モデルを使用してコードを生成する際に、ファクトコンフリクトのエラーから生じる。 本稿では,プログラム言語間におけるパッケージ幻覚の厳密かつ包括的評価を行う。 幻覚パッケージの平均パーセンテージは、商用モデルでは少なくとも5.2%、オープンソースモデルでは21.7%である。
  論文  参考訳（メタデータ） (2024-06-12T03:29:06Z)
• An LLM-Assisted Easy-to-Trigger Backdoor Attack on Code Completion Models: Injecting Disguised Vulnerabilities against Strong Detection [17.948513691133037]
  我々は,コード補完モデルに基づくLLM支援バックドアアタックフレームワークであるCodeBreakerを紹介した。 悪意のあるペイロードを最小限の変換でソースコードに直接統合することで、CodeBreakerは現在のセキュリティ対策に挑戦する。
  論文  参考訳（メタデータ） (2024-06-10T22:10:05Z)
• Measuring Impacts of Poisoning on Model Parameters and Embeddings for Large Language Models of Code [4.305373051747465]
  大規模言語モデル(LLM)はソフトウェア開発プラクティスに革命をもたらしたが、その安全性に関する懸念が生まれている。 バックドア攻撃には、トレーニングデータにトリガーを挿入することが含まれており、攻撃者はモデルの振る舞いを悪意を持って操作することができる。 本稿では,コードモデルにおける潜在的なバックドア信号を検出するためのモデルパラメータの解析に焦点をあてる。
  論文  参考訳（メタデータ） (2024-05-19T06:53:20Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• Aligning Modalities in Vision Large Language Models via Preference Fine-tuning [67.62925151837675]
  本研究では,幻覚の問題をアライメント問題とみなし,好みのチューニングで対処する。 具体的には,AIモデルを用いたフィードバックデータを生成するPOVIDを提案する。 提案手法は,好ましくないデータを生成するための2段階のアプローチである。 広範ベンチマークを用いた実験では、幻覚を減らすだけでなく、標準ベンチマークでのモデル性能を向上させることができ、従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-02-18T00:56:16Z)
• Malicious Package Detection using Metadata Information [0.272760415353533]
  本稿では,メタデータに基づく悪意のあるパッケージ検出モデルであるMeMPtecを紹介する。 MeMPtecはパッケージメタデータ情報から一連の機能を抽出する。 実験の結果,偽陽性と偽陰性の両方が有意な減少を示した。
  論文  参考訳（メタデータ） (2024-02-12T06:54:57Z)
• DeAL: Decoding-time Alignment for Large Language Models [59.63643988872571]
  大規模言語モデル(LLM)は、現在、人間の好みに沿ったコンテンツを生成することが期待されている。 本稿では,報酬関数をカスタマイズ可能なフレームワークであるDeALを提案し,LLMのDetime Alignmentを可能にする。 実験の結果,粒度の細かいトレードオフでDeALを実現できること,アライメント目標への適合性の向上,LLMの残差の解消が可能であることがわかった。
  論文  参考訳（メタデータ） (2024-02-05T06:12:29Z)
• Visual Adversarial Examples Jailbreak Aligned Large Language Models [66.53468356460365]
  視覚入力の連続的かつ高次元的な性質は、敵対的攻撃に対する弱いリンクであることを示す。 我々は、視力統合されたLLMの安全ガードレールを回避するために、視覚的敵の例を利用する。 本研究は,マルチモダリティの追求に伴う敵のエスカレーションリスクを浮き彫りにする。
  論文  参考訳（メタデータ） (2023-06-22T22:13:03Z)
• CodeLMSec Benchmark: Systematically Evaluating and Finding Security Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
  自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。 これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。 この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
  論文  参考訳（メタデータ） (2023-02-08T11:54:07Z)
• Mutual Information Alleviates Hallucinations in Abstractive Summarization [73.48162198041884]
  モデルが生成中の幻覚コンテンツにより多くの確率を割り当てる可能性が著しく高いという単純な基準を見いだす。 この発見は幻覚の潜在的な説明を提供する:モデルは、継続について不確実な場合には、高い限界確率のテキストを好むことをデフォルトとする。 そこで本研究では,ターゲットトークンの正当性ではなく,ソースとターゲットトークンのポイントワイドな相互情報の最適化に切り替える復号手法を提案する。
  論文  参考訳（メタデータ） (2022-10-24T13:30:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。