論文の概要: LLMs + Security = Trouble
- arxiv url: http://arxiv.org/abs/2602.08422v1
- Date: Mon, 09 Feb 2026 09:27:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-10 20:26:25.148093
- Title: LLMs + Security = Trouble
- Title(参考訳): LLMs + Security = トラブル
- Authors: Benjamin Livshits,
- Abstract要約: 「火を点ける」アプローチでは、セキュリティバグの長い尾尾に対処できない。
コード生成中にセキュリティ制約を強制することで、より強力なセキュリティ保証を得ることができる、と私たちは主張する。
- 参考スコア(独自算出の注目度): 5.235480194772795
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We argue that when it comes to producing secure code with AI, the prevailing "fighting fire with fire" approach -- using probabilistic AI-based checkers or attackers to secure probabilistically generated code -- fails to address the long tail of security bugs. As a result, systems may remain exposed to zero-day vulnerabilities that can be discovered by better-resourced or more persistent adversaries. While neurosymbolic approaches that combine LLMs with formal methods are attractive in principle, we argue that they are difficult to reconcile with the "vibe coding" workflow common in LLM-assisted development: unless the end-to-end verification pipeline is fully automated, developers are repeatedly asked to validate specifications, resolve ambiguities, and adjudicate failures, making the human-in-the-loop a likely point of weakness, compromising secure-by-construction guarantees. In this paper we argue that stronger security guarantees can be obtained by enforcing security constraints during code generation (e.g., via constrained decoding), rather than relying solely on post-hoc detection and repair. This direction is particularly promising for diffusion-style code models, whose approach provides a natural elegant opportunity for modular, hierarchical security enforcement, allowing us to combine lower-latency generation techniques with generating secure-by-construction code.
- Abstract(参考訳): AIでセキュアなコードを生成するという点では、確率的AIベースのチェッカーやアタッカーを使用して、確率論的に生成されたコードを保護するという、一般的な"火と戦う"アプローチは、セキュリティバグの長い尾尾に対処できない、と私たちは論じています。
その結果、システムは、より良いリソースまたはより永続的な敵によって発見できるゼロデイ脆弱性に曝される可能性がある。
エンド・ツー・エンドの検証パイプラインが完全に自動化されない限り、開発者は繰り返し仕様の検証、あいまいさの解決、失敗の調整を依頼され、ループ内の人間を弱点の可能性のある弱点にし、セキュア・バイ・コンストラクションの保証を妥協する。
本稿では,コード生成時のセキュリティ制約(例えば,制約付き復号化)を,ポストホック検出と修復のみにのみ依存するのではなく,より強力なセキュリティ保証が得られることを論じる。
この方向は拡散スタイルのコードモデルに特に有望であり、そのアプローチはモジュラーで階層的なセキュリティ強化のための自然なエレガントな機会を提供し、低レイテンシ生成技術とセキュアなコンストラクションコードを生成することを可能にします。
関連論文リスト
- Secure Code Generation via Online Reinforcement Learning with Vulnerability Reward Model [60.60587869092729]
大規模言語モデル(LLM)は、ソフトウェア開発でますます使われているが、安全でないコードを生成する傾向は、現実世界のデプロイメントにとって大きな障壁である。
機能保存型セキュアコード生成のためのオンライン強化学習フレームワークSecCoderXを提案する。
論文 参考訳(メタデータ) (2026-02-07T07:42:07Z) - RealSec-bench: A Benchmark for Evaluating Secure Code Generation in Real-World Repositories [58.32028251925354]
LLM(Large Language Models)は、コード生成において顕著な能力を示しているが、セキュアなコードを生成する能力は依然として重要で、未調査の領域である。
我々はRealSec-benchを紹介します。RealSec-benchは、現実世界の高リスクなJavaリポジトリから慎重に構築されたセキュアなコード生成のための新しいベンチマークです。
論文 参考訳(メタデータ) (2026-01-30T08:29:01Z) - Towards Verifiably Safe Tool Use for LLM Agents [53.55621104327779]
大規模言語モデル(LLM)ベースのAIエージェントは、データソース、API、検索エンジン、コードサンドボックス、さらにはその他のエージェントなどのツールへのアクセスを可能にすることで、機能を拡張する。
LLMは意図しないツールインタラクションを起動し、機密データを漏洩したり、クリティカルレコードを上書きしたりするリスクを発生させる。
モデルベースセーフガードのようなリスクを軽減するための現在のアプローチは、エージェントの信頼性を高めるが、システムの安全性を保証することはできない。
論文 参考訳(メタデータ) (2026-01-12T21:31:38Z) - STELP: Secure Transpilation and Execution of LLM-Generated Programs [2.986494009382113]
LLM(Large Language Models)は、コード生成などのソフトウェア開発関連のタスクを解決する。
LLMの生成したコードは不安定あるいは誤動作し、システム障害を広範囲に発生させる脆弱性を含む可能性がある。
本稿では,LLM生成プログラム(STELP)のセキュアトランスパイラと実行器を提案する。
論文 参考訳(メタデータ) (2026-01-09T01:49:41Z) - TypePilot: Leveraging the Scala Type System for Secure LLM-generated Code [46.747768845221735]
大規模言語モデル(LLM)は、様々なプログラミング言語のコード生成タスクにおいて顕著な習熟度を示している。
それらのアウトプットには微妙だが重要な脆弱性があり、セキュリティに敏感なシステムやミッションクリティカルなシステムにデプロイすると重大なリスクが生じる。
本稿では,LLM生成コードのセキュリティとロバスト性を高めるために設計されたエージェントAIフレームワークであるTypePilotを紹介する。
論文 参考訳(メタデータ) (2025-10-13T08:44:01Z) - Guiding AI to Fix Its Own Flaws: An Empirical Study on LLM-Driven Secure Code Generation [16.29310628754089]
大規模言語モデル(LLM)は、コードの自動生成のための強力なツールになっている。
LLMは、しばしば重要なセキュリティプラクティスを見落とし、安全でないコードを生成する。
本稿では、安全性の低いコードを生成するための固有の傾向、自己生成する脆弱性ヒントによってガイドされた場合にセキュアなコードを生成する能力、フィードバックレベルが異なる場合に脆弱性を修復する効果について検討する。
論文 参考訳(メタデータ) (2025-06-28T23:24:33Z) - Exposing the Ghost in the Transformer: Abnormal Detection for Large Language Models via Hidden State Forensics [5.384257830522198]
重要なアプリケーションにおける大規模言語モデル(LLM)は、重大な信頼性とセキュリティリスクを導入している。
これらの脆弱性は悪意あるアクターによって武器化され、不正アクセス、広範囲にわたる誤報、システムの完全性を侵害した。
本研究では,LLMの異常な挙動を隠蔽法で検出する手法を提案する。
論文 参考訳(メタデータ) (2025-04-01T05:58:14Z) - CodeAttack: Revealing Safety Generalization Challenges of Large Language Models via Code Completion [117.178835165855]
本稿では,自然言語入力をコード入力に変換するフレームワークであるCodeAttackを紹介する。
我々の研究は、コード入力に対するこれらのモデルの新たな、普遍的な安全性の脆弱性を明らかにした。
CodeAttackと自然言語の分布ギャップが大きくなると、安全性の一般化が弱くなる。
論文 参考訳(メタデータ) (2024-03-12T17:55:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。