論文の概要: Poster: Rethinking Security in LLM Code Generation through Real-World Risk Scenarios

• arxiv url: http://arxiv.org/abs/2607.23088v1
• Date: Sat, 25 Jul 2026 07:46:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:14.990956
• Title: Poster: Rethinking Security in LLM Code Generation through Real-World Risk Scenarios
• Title（参考訳）: Poster: LLMコード生成におけるセキュリティの再考
• Authors: Lixun Ma, Ruolong Ma, Bei Wang, Feng Wei, Zhenguang Liu, Lorenzo Cavallaro, Wentao Chen,
• Abstract要約: 大規模言語モデル(LLM)はコード生成に広く使用されているが、現実的な開発におけるセキュリティの挙動はいまだ解明されていない。 LLM生成コードのセキュリティ脆弱性につながる3つの代表的なリスクシナリオを特定します。 セキュリティ対応のプロンプトがこれらのリスクを大幅に軽減し、最大45%の改善を達成できることを実証します。
• 参考スコア（独自算出の注目度）: 26.44803027861766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) are widely used for code generation, yet their security behavior in realistic development workflows remains underexplored. Existing benchmarks often rely on explicitly specified security requirements, failing to capture real-world scenarios where prompts are frequently ambiguous or incomplete. In this paper, we adopt a developer-centric perspective and identify three representative risk scenarios that commonly lead to security vulnerabilities in LLM-generated code: Ambiguous Requirements, Under-Specified Operational Context, and Security--Functionality Conflict. Based on these scenarios, we construct a large-scale benchmark comprising 2,700 test cases, enabling fine-grained evaluation of LLM security under realistic conditions. Extensive evaluation of eight state-of-the-art LLMs reveals that all models exhibit average vulnerability rates exceeding 56\% across risk scenarios. We further demonstrate that security-aware prompting can substantially mitigate these risks, achieving up to 45\% improvement.
• Abstract（参考訳）: 大規模言語モデル(LLM)はコード生成に広く使用されているが、現実的な開発ワークフローにおけるセキュリティの挙動はいまだに解明されていない。 既存のベンチマークは、しばしば明示されたセキュリティ要件に依存しており、プロンプトが曖昧で不完全な実世界のシナリオをキャプチャできない。 本稿では、開発者中心の視点を採用し、LLM生成コードのセキュリティ脆弱性につながる3つの代表的なリスクシナリオを特定する。 これらのシナリオに基づいて、2700の試験ケースからなる大規模ベンチマークを構築し、現実的な条件下でのLLMセキュリティのきめ細かい評価を可能にする。 最先端の8つのLCMの広範囲な評価により、すべてのモデルがリスクシナリオ全体で平均脆弱性率56\%を超えることが判明した。 さらに、セキュリティ対応のプロンプトによってこれらのリスクが大幅に軽減され、最大45倍の改善が達成できることを示す。

関連論文リスト

• VESTA: A Fully Automated Scenario Generation and Safety Evaluation Framework for LLM Agents [7.980753712857791]
  大規模言語モデル(LLM)のための完全に自動化されたシナリオ生成と安全性評価フレームワークであるVESTAを紹介する。 VESTAは、現実世界のタスク実行における抽象的かつ多様な安全性リスクを1,072の計測可能な評価シナリオに即時化する。 その結果、現在のエージェントはタスク実行中に重大な行動安全リスクに直面しており、平均的なASRは47.1%、いくつかのモデルは70%を超えている。
  論文  参考訳（メタデータ） (2026-06-07T09:23:38Z)
• A New Framework for Cybersecurity Refusals in AI Agents [52.94784168139071]
  攻撃的セキュリティの文脈において、拒絶境界を確立するための最初の枠組みを提示する。 本研究では,現在のLLMエージェントがWebベースの攻撃的セキュリティシナリオにおいて,適切な拒絶境界にどのように準拠しているかを評価するために,このフレームワークを適用した。
  論文  参考訳（メタデータ） (2026-05-31T15:39:39Z)
• A.S.E: A Repository-Level Benchmark for Evaluating Security in AI-Generated Code [49.009041488527544]
  A.S.Eは、AI生成コードのセキュリティを評価するためのリポジトリレベルの評価ベンチマークである。 現在の大規模言語モデル(LLM)は、セキュアなコーディングに苦戦している。 大きな推論予算は、必ずしもより良いコード生成につながるとは限らない。
  論文  参考訳（メタデータ） (2025-08-25T15:11:11Z)
• OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
  OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。 従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。 ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
  論文  参考訳（メタデータ） (2025-07-08T16:18:54Z)
• RAS-Eval: A Comprehensive Benchmark for Security Evaluation of LLM Agents in Real-World Environments [5.3532199508293745]
  RAS-Evalは、シミュレーションと実世界のツール実行の両方をサポートする包括的なセキュリティベンチマークである。 さまざまなシナリオにまたがって,最先端の言語モデル (LLM) エージェントを6つ評価した。 攻撃によりエージェントタスク完了率(TCR)は平均36.78%減少し、学術的な環境では85.65%の成功率を達成した。
  論文  参考訳（メタデータ） (2025-06-18T08:30:36Z)
• ROSE: Toward Reality-Oriented Safety Evaluation of Large Language Models [60.28667314609623]
  大規模言語モデル(LLM)は、現実世界のアプリケーションにおいてブラックボックスコンポーネントとしてますます多くデプロイされている。 我々は,多目的強化学習を用いて敵のLDMを微調整する新しいフレームワークであるReal-Oriented Safety Evaluation (ROSE)を提案する。
  論文  参考訳（メタデータ） (2025-06-17T10:55:17Z)
• SafeGenBench: A Benchmark Framework for Security Vulnerability Detection in LLM-Generated Code [7.209766132478914]
  LLM生成コードのセキュリティを評価するために特別に設計されたベンチマークであるSafeGenBenchを紹介する。 データセットには、幅広い一般的なソフトウェア開発シナリオと脆弱性タイプが含まれている。 SafeGenBench上での最先端LCMの実証評価を通じて,脆弱性のないコードを生成する能力に重大な欠陥があることを明らかにする。
  論文  参考訳（メタデータ） (2025-06-06T02:48:02Z)
• SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
  MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。 我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。 本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
  論文  参考訳（メタデータ） (2024-10-24T17:14:40Z)
• Safety Assessment of Chinese Large Language Models [51.83369778259149]
  大規模言語モデル(LLM)は、侮辱や差別的なコンテンツを生成し、誤った社会的価値を反映し、悪意のある目的のために使用されることがある。 安全で責任があり倫理的なAIの展開を促進するため、LLMによる100万の強化プロンプトとレスポンスを含むセーフティプロンプトをリリースする。
  論文  参考訳（メタデータ） (2023-04-20T16:27:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。