論文の概要: Heimdallr: Characterizing and Detecting LLM-Induced Security Risks in GitHub CI Workflows
- arxiv url: http://arxiv.org/abs/2605.05969v1
- Date: Thu, 07 May 2026 10:16:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-08 22:27:11.691596
- Title: Heimdallr: Characterizing and Detecting LLM-Induced Security Risks in GitHub CI Workflows
- Title(参考訳): Heimdallr: GitHub CIワークフローにおけるLLMによるセキュリティリスクの特性と検出
- Authors: Bonan Ruan, Yeqi Fu, Chuqi Zhang, Jiahao Liu, Jun Zeng, Zhenkai Liang,
- Abstract要約: GitHub Continuous Integration(CI)は、レビュー、トリアージ、コンテンツ生成、リポジトリのメンテナンスを自動化するために、Large Language Models(LLM)を統合している。
外部制御可能なワークフロー入力は、LSMプロンプトと出力を形作ることができ、セキュリティ上の決定やリポジトリの状態、特権的な実行に影響を与える可能性がある。
LLMによるGitHub CIのセキュリティリスクに関する最初の研究について紹介する。
- 参考スコア(独自算出の注目度): 24.281621604693726
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: GitHub Continuous Integration (CI) workflows increasingly integrate Large Language Models (LLMs) to automate review, triage, content generation, and repository maintenance. This creates a new attack surface: externally controllable workflow inputs can shape LLM prompts and outputs, which may in turn affect security decisions, repository state, or privileged execution. Although LLM security and CI security have each been studied extensively, their intersection remains underexplored. In this paper, we present the first study of LLM-induced security risks in GitHub CI workflows. We characterize the problem along the full execution chain and develop a taxonomy of high-level risk classes and concrete threat vectors. To detect such risks in practice, we design Heimdallr, a hybrid analysis framework that normalizes workflows into an LLM-Workflow Property Graph (L-WPG) and combines triggerability analysis, LLM-assisted dataflow summarization, and deterministic propagation to synthesize concrete threat-vector findings. Evaluated on 300 manually annotated unique workflows, Heimdallr achieves high accuracy on LLM-node identification (F1~=~0.994), triggerability classification (99.8%), and threat-vector detection (micro-average F1~=~0.917). As part of an ongoing detection and disclosure effort, we have so far responsibly disclosed 802 vulnerable workflow instances across 759 repositories and received 71 acknowledgments.
- Abstract(参考訳): GitHubの継続的インテグレーション(CI)ワークフローは、レビュー、トリアージ、コンテンツ生成、リポジトリのメンテナンスを自動化するために、Large Language Models(LLM)を統合している。
外部制御可能なワークフロー入力はLDMプロンプトとアウトプットを形作ることができ、セキュリティ上の決定やリポジトリの状態、特権的な実行に影響を与える可能性がある。
LLMのセキュリティとCIのセキュリティは、それぞれ広く研究されているが、それらの交差点は未調査のままである。
本稿では、GitHub CIワークフローにおけるLSMによるセキュリティリスクに関する最初の研究について述べる。
我々は,全実行チェーンに沿った問題を特徴付け,ハイレベルリスククラスと具体的な脅威ベクトルの分類を開発する。
このようなリスクを実際に検出するために、ワークフローをLLM-Workflow Property Graph (L-WPG) に正規化し、トリガビリティ解析、LLM支援データフローの要約、決定論的伝播を組み合わせるハイブリッド分析フレームワークであるHeimdallrを設計し、具体的な脅威ベクトルを合成する。
300の注釈付きユニークなワークフローで評価され、HeimdallrはLDMノード識別(F1~=0.994)、トリガビリティ分類(99.8%)、脅威ベクトル検出(micro-average F1~=~0.917)において高い精度を達成する。
検出と開示の継続的な取り組みの一環として、これまで759リポジトリにわたる802の脆弱なワークフローインスタンスを責任を持って公開し、71の承認を受けてきました。
関連論文リスト
- Toward Autonomous SOC Operations: End-to-End LLM Framework for Threat Detection, Query Generation, and Resolution in Security Operations [1.7102338932907293]
セキュリティ・オペレーション・センター(SOC)は運用上の課題に直面している。
これらの課題は、脅威量の増加、異種SIEMプラットフォーム、時間を要する手作業によるトリアージなどである。
本稿では,アンサンブルに基づく検出,構文制約付きクエリ生成,検索強化型解決支援を統合したエンドツーエンドの脅威管理フレームワークを提案する。
論文 参考訳(メタデータ) (2026-04-30T02:06:46Z) - LLM Readiness Harness: Evaluation, Observability, and CI Gates for LLM/RAG Applications [51.56484100374058]
評価をデプロイメント決定ワークフローに変換するLLMおよびRAGアプリケーションのための準備性ハーネスを提案する。
このシステムは、最小限のAPI契約の下で、自動ベンチマーク、OpenTelemetryオブザーバビリティ、CI品質ゲートを組み合わせる。
チケットルーティングとBEIRタスクのハーネスを、完全なAzureマトリックスカバレッジで評価する。
論文 参考訳(メタデータ) (2026-03-28T18:03:32Z) - ExCyTIn-Bench: Evaluating LLM agents on Cyber Threat Investigation [15.227180564453016]
サイバー脅威調査におけるLCMエージェントxの評価を行う最初のベンチマークであるExCyTIn-Benchを提案する。
我々は、専門家が作成した検出ロジックで抽出したセキュリティログを活用して脅威調査グラフを構築する。
グラフ上のペアノードを用いてLLMを用いて質問を生成し、開始ノードを背景コンテキストとし、終了ノードを回答とする。
論文 参考訳(メタデータ) (2025-07-14T17:06:26Z) - Les Dissonances: Cross-Tool Harvesting and Polluting in Multi-Tool Empowered LLM Agents [15.15485816037418]
本稿では,マルチツール対応LLMエージェントにおけるタスク制御フローのシステマティックセキュリティ解析について述べる。
複数の攻撃ベクトルを含む新しい脅威であるクロスツールハーベスティングとポリッティング(XTHP)を同定する。
この脅威の影響を理解するために,我々は,XTHP攻撃を受けやすい現実世界のエージェントツールを自動的に検出する動的スキャンツールであるChordを開発した。
論文 参考訳(メタデータ) (2025-04-04T01:41:06Z) - SafeAgentBench: A Benchmark for Safe Task Planning of Embodied LLM Agents [58.65256663334316]
我々は,対話型シミュレーション環境におけるLLMエージェントの安全性を考慮したタスク計画のための最初のベンチマークであるSafeAgentBenchを紹介する。
SafeAgentBenchは、(1)10の潜在的な危険と3つのタスクタイプをカバーするために厳格にキュレートされた750のタスクの実行可能な多種多様な高品質データセット、(2)低レベルコントローラを備えた普遍的な実施環境、9つの最先端ベースラインに対して17のハイレベルアクションでマルチエージェント実行をサポートするSafeAgentEnv、(3)実行とセマンティックの両方の観点から信頼性の高い評価方法を含む。
論文 参考訳(メタデータ) (2024-12-17T18:55:58Z) - Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。
11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。
最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
論文 参考訳(メタデータ) (2024-07-23T15:31:26Z) - Uncovering Safety Risks of Large Language Models through Concept Activation Vector [13.804245297233454]
大規模言語モデル(LLM)に対する攻撃を誘導する安全概念活性化ベクトル(SCAV)フレームワークについて紹介する。
そこで我々は,攻撃プロンプトと埋め込みレベルの攻撃の両方を生成できるSCAV誘導攻撃法を開発した。
本手法は,トレーニングデータが少なくなるとともに,攻撃成功率と応答品質を著しく向上させる。
論文 参考訳(メタデータ) (2024-04-18T09:46:25Z) - Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs [59.596335292426105]
本稿では,大規模な言語モデルにおけるセーフガードを評価するための,最初のオープンソースデータセットを収集する。
我々は、自動安全性評価において、GPT-4に匹敵する結果を得るために、BERTライクな分類器をいくつか訓練する。
論文 参考訳(メタデータ) (2023-08-25T14:02:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。