論文の概要: Supporting Students in Navigating LLM-Generated Insecure Code

• arxiv url: http://arxiv.org/abs/2511.20878v1
• Date: Tue, 25 Nov 2025 21:49:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-27 18:37:58.877123
• Title: Supporting Students in Navigating LLM-Generated Insecure Code
• Title（参考訳）: LLM生成安全コードのナビゲーションにおける学生支援
• Authors: Jaehwan Park, Kyungchan Lim, Seonhye Park, Doowon Kim,
• Abstract要約: BifrstはAI強化開発におけるセキュリティ意識を育む。 AIが強化された開発において、セキュリティ意識を育む教育フレームワークであるBifrstを紹介します。
• 参考スコア（独自算出の注目度）: 3.554701696273879
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The advent of Artificial Intelligence (AI), particularly large language models (LLMs), has revolutionized software development by enabling developers to specify tasks in natural language and receive corresponding code, boosting productivity. However, this shift also introduces security risks, as LLMs may generate insecure code that can be exploited by adversaries. Current educational approaches emphasize efficiency while overlooking these risks, leaving students underprepared to identify and mitigate security issues in AI-assisted workflows. To address this gap, we present Bifröst, an educational framework that cultivates security awareness in AI-augmented development. Bifröst integrates (1) a Visual Studio Code extension simulating realistic environments, (2) adversarially configured LLMs that generate insecure code, and (3) a feedback system highlighting vulnerabilities. By immersing students in tasks with compromised LLMs and providing targeted security analysis, Bifröst cultivates critical evaluation skills; classroom deployments (n=61) show vulnerability to insecure code, while a post-intervention survey (n=21) indicates increased skepticism toward LLM outputs.
• Abstract（参考訳）: 人工知能(AI)の出現、特に大きな言語モデル(LLM)は、開発者が自然言語でタスクを指定し、対応するコードを受け取り、生産性を高めることによって、ソフトウェア開発に革命をもたらした。 しかし、このシフトは、LLMが敵に悪用される安全でないコードを生成するため、セキュリティリスクももたらします。 現在の教育アプローチでは、これらのリスクを見落としながら効率性を強調しており、AI支援ワークフローにおけるセキュリティ問題を特定し緩和する準備が整っていない。 このギャップに対処するために、AI強化開発におけるセキュリティ意識を育む教育フレームワークであるBifröstを紹介します。 Bifröstは(1)現実的な環境をシミュレートするVisual Studio Codeエクステンション、(2)安全でないコードを生成する逆構成のLCM、(3)脆弱性を強調するフィードバックシステムを統合する。 学生をLLMに浸漬し、目標とするセキュリティ分析を提供することにより、Bifröstは重要な評価スキルを育成し、教室の配置(n=61)はコードの安全性の脆弱性を示し、インターベンション後の調査(n=21)はLLMの出力に対する懐疑性の増加を示している。

関連論文リスト

• TypePilot: Leveraging the Scala Type System for Secure LLM-generated Code [46.747768845221735]
  大規模言語モデル(LLM)は、様々なプログラミング言語のコード生成タスクにおいて顕著な習熟度を示している。 それらのアウトプットには微妙だが重要な脆弱性があり、セキュリティに敏感なシステムやミッションクリティカルなシステムにデプロイすると重大なリスクが生じる。 本稿では,LLM生成コードのセキュリティとロバスト性を高めるために設計されたエージェントAIフレームワークであるTypePilotを紹介する。
  論文  参考訳（メタデータ） (2025-10-13T08:44:01Z)
• A.S.E: A Repository-Level Benchmark for Evaluating Security in AI-Generated Code [49.009041488527544]
  A.S.Eは、AI生成コードのセキュリティを評価するためのリポジトリレベルの評価ベンチマークである。 現在の大規模言語モデル(LLM)は、セキュアなコーディングに苦戦している。 大きな推論予算は、必ずしもより良いコード生成につながるとは限らない。
  論文  参考訳（メタデータ） (2025-08-25T15:11:11Z)
• Risk Assessment Framework for Code LLMs via Leveraging Internal States [4.216536684967512]
  PtTrustは、内部状態事前学習に基づくコードLLMのための2段階のリスクアセスメントフレームワークである。 PtTrustは、LLM状態の一般的な表現を学習するために、大規模な未ラベルのソースコードで教師なしの事前訓練を行う。 コードラインレベルの細粒度リスク評価によるPtTrustの有効性を示す。
  論文  参考訳（メタデータ） (2025-04-20T14:44:18Z)
• Global Challenge for Safe and Secure LLMs Track 1 [57.08717321907755]
  LLM(Global Challenge for Safe and Secure Large Language Models)は、AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が主催する先駆的イニシアチブである。 本稿では,AI Singapore(AISG)とCyberSG R&D Programme Office(CRPO)が組織した先駆的イニシアチブであるLLM(Global Challenge for Safe and Secure Large Language Models)を紹介する。
  論文  参考訳（メタデータ） (2024-11-21T08:20:31Z)
• Compromising Embodied Agents with Contextual Backdoor Attacks [69.71630408822767]
  大型言語モデル(LLM)は、エンボディドインテリジェンスの発展に変化をもたらした。 本稿では,このプロセスにおけるバックドアセキュリティの重大な脅威を明らかにする。 ほんの少しの文脈的デモンストレーションを毒殺しただけで、攻撃者はブラックボックスLDMの文脈的環境を隠蔽することができる。
  論文  参考訳（メタデータ） (2024-08-06T01:20:12Z)
• Can We Trust Large Language Models Generated Code? A Framework for In-Context Learning, Security Patterns, and Code Evaluations Across Diverse LLMs [2.7138982369416866]
  大規模言語モデル(LLM)は、ソフトウェア工学における自動コード生成に革命をもたらした。 しかし、生成されたコードのセキュリティと品質に関する懸念が持ち上がっている。 本研究は,LLMの行動学習をセキュアにするための枠組みを導入することで,これらの課題に対処することを目的とする。
  論文  参考訳（メタデータ） (2024-06-18T11:29:34Z)
• CodeAttack: Revealing Safety Generalization Challenges of Large Language Models via Code Completion [117.178835165855]
  本稿では,自然言語入力をコード入力に変換するフレームワークであるCodeAttackを紹介する。 我々の研究は、コード入力に対するこれらのモデルの新たな、普遍的な安全性の脆弱性を明らかにした。 CodeAttackと自然言語の分布ギャップが大きくなると、安全性の一般化が弱くなる。
  論文  参考訳（メタデータ） (2024-03-12T17:55:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。