論文の概要: LLM Embedding-based Attribution (LEA): Quantifying Source Contributions to Generative Model's Response for Vulnerability Analysis

• arxiv url: http://arxiv.org/abs/2506.12100v1
• Date: Thu, 12 Jun 2025 21:20:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:45.18674
• Title: LLM Embedding-based Attribution (LEA): Quantifying Source Contributions to Generative Model's Response for Vulnerability Analysis
• Title（参考訳）: LLM Embedding-based Attribution (LEA): 脆弱性解析のための生成モデルの応答に対するソースコントリビューションの定量化
• Authors: Reza Fayyazi, Michael Zuzak, Shanchieh Jay Yang,
• Abstract要約: 大規模言語モデル(LLM)はサイバーセキュリティ脅威分析に広く採用されている。 Retrieval-Augmented Generation (RAG)パイプラインは、最新の信頼できるソースをモデルコンテキストに注入することで問題を緩和する。 本研究は, LLM Embedding-based Attribution (LEA) を提案する。これは, 学習済み知識と検索済みコンテンツが生成した各応答に対して持つ「影響の比率」を明確に表現するための, 斬新で説明可能な指標である。
• 参考スコア（独自算出の注目度）: 1.8780665584728753
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Security vulnerabilities are rapidly increasing in frequency and complexity, creating a shifting threat landscape that challenges cybersecurity defenses. Large Language Models (LLMs) have been widely adopted for cybersecurity threat analysis. When querying LLMs, dealing with new, unseen vulnerabilities is particularly challenging as it lies outside LLMs' pre-trained distribution. Retrieval-Augmented Generation (RAG) pipelines mitigate the problem by injecting up-to-date authoritative sources into the model context, thus reducing hallucinations and increasing the accuracy in responses. Meanwhile, the deployment of LLMs in security-sensitive environments introduces challenges around trust and safety. This raises a critical open question: How to quantify or attribute the generated response to the retrieved context versus the model's pre-trained knowledge? This work proposes LLM Embedding-based Attribution (LEA) -- a novel, explainable metric to paint a clear picture on the 'percentage of influence' the pre-trained knowledge vs. retrieved content has for each generated response. We apply LEA to assess responses to 100 critical CVEs from the past decade, verifying its effectiveness to quantify the insightfulness for vulnerability analysis. Our development of LEA reveals a progression of independency in hidden states of LLMs: heavy reliance on context in early layers, which enables the derivation of LEA; increased independency in later layers, which sheds light on why scale is essential for LLM's effectiveness. This work provides security analysts a means to audit LLM-assisted workflows, laying the groundwork for transparent, high-assurance deployments of RAG-enhanced LLMs in cybersecurity operations.
• Abstract（参考訳）: セキュリティの脆弱性は、頻度と複雑さが急速に増加し、サイバーセキュリティの防衛に挑戦する脅威の状況がシフトしている。 大規模言語モデル(LLM)はサイバーセキュリティ脅威分析に広く採用されている。 LLMに問い合わせる際、LLMの事前訓練されたディストリビューションの外にあるため、新しい、目に見えない脆弱性を扱うことは特に困難である。 Retrieval-Augmented Generation (RAG)パイプラインは、最新の権威ソースをモデルコンテキストに注入することで問題を緩和し、幻覚を低減し、応答の精度を高める。 一方、セキュリティに敏感な環境にLLMを配置することは、信頼性と安全性に関する課題をもたらす。 モデルが事前訓練した知識に対して、生成された応答を検索されたコンテキストに定量化したり、属性付けしたりする方法? 本研究は, LLM Embedding-based Attribution (LEA) を提案する。これは, 学習済み知識と検索済みコンテンツが生成した各応答に対して持つ「影響の比率」を明確に表現するための, 斬新で説明可能な指標である。 我々は,過去10年間の100個の重要なCVEに対する応答を評価するためにLEAを適用し,その有効性を検証することにより,脆弱性分析の洞察力の定量化を図る。 LEA の発達は LLM の隠蔽状態における非依存性の進行を明らかにしている: 初期層におけるコンテキスト依存の強化により LEA の導出が可能となり, 後層の非依存性が増大し, スケールが LLM の有効性に欠かせない理由を浮き彫りにしている。 この作業は、セキュリティアナリストにLLM支援ワークフローを監査する手段を提供し、RAG強化LEMの透過的で高保証な展開の基盤をサイバーセキュリティオペレーションに配置する。

関連論文リスト

• Look Before You Leap: Enhancing Attention and Vigilance Regarding Harmful Content with GuidelineLLM [53.79753074854936]
  大規模言語モデル(LLM)は、出現するジェイルブレイク攻撃に対してますます脆弱である。 この脆弱性は現実世界のアプリケーションに重大なリスクをもたらす。 本稿では,ガイドラインLLMという新しい防御パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-12-10T12:42:33Z)
• Targeting the Core: A Simple and Effective Method to Attack RAG-based Agents via Direct LLM Manipulation [4.241100280846233]
  大規模言語モデル(LLM)を駆使したAIエージェントは、シームレスで自然な、コンテキスト対応のコミュニケーションを可能にすることによって、人間とコンピュータのインタラクションを変革した。 本稿では,AIエージェント内のLLMコアを標的とした敵攻撃という,重大な脆弱性について検討する。
  論文  参考訳（メタデータ） (2024-12-05T18:38:30Z)
• Securing Large Language Models: Addressing Bias, Misinformation, and Prompt Attacks [12.893445918647842]
  大きな言語モデル(LLM)は、様々な分野において印象的な機能を示しているが、その使用の増加は重要なセキュリティ上の懸念を提起している。 この記事では、LLMセキュリティにおける重要な問題に対処する最近の文献をレビューし、正確性、バイアス、コンテンツ検出、攻撃に対する脆弱性に焦点を当てる。
  論文  参考訳（メタデータ） (2024-09-12T14:42:08Z)
• Can LLMs be Fooled? Investigating Vulnerabilities in LLMs [4.927763944523323]
  LLM(Large Language Models)の出現は、自然言語処理(NLP)内の様々な領域で大きな人気を集め、膨大なパワーを誇っている。 本稿では,各脆弱性部の知見を合成し,新たな研究・開発の方向性を提案する。 現在の脆弱性の焦点を理解することで、将来のリスクを予測し軽減できます。
  論文  参考訳（メタデータ） (2024-07-30T04:08:00Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
  大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。 我々の調査は、この信念に対する重大な監視を露呈している。 我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
  論文  参考訳（メタデータ） (2024-04-16T13:22:54Z)
• Learning to Poison Large Language Models for Downstream Manipulation [12.521338629194503]
  この研究は、教師付き微調整プロセスを利用するのに適した新しいデータ中毒攻撃を設計することで、LLM(Large Language Models)のさらなるセキュリティリスクを特定する。 本稿では,逆方向誘導学習(GBTL)アルゴリズムを提案する。 In-context Learning(ICL)とContinuous Learning(CL)の2つの防衛戦略を提案する。
  論文  参考訳（メタデータ） (2024-02-21T01:30:03Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。