論文の概要: When Code Crosses Borders: A Security-Centric Evaluation of LLM-based Code Translation

• arxiv url: http://arxiv.org/abs/2509.06504v1
• Date: Mon, 08 Sep 2025 10:08:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:04.055535
• Title: When Code Crosses Borders: A Security-Centric Evaluation of LLM-based Code Translation
• Title（参考訳）: コードが境界を越えるとき: LLMに基づくコード翻訳のセキュリティ中心評価
• Authors: Hailong Chang, Guozhu Meng, Shuhui Xiao, Kai Chen, Kun Sun, Yilin Li,
• Abstract要約: 既存の評価は、主に機能レベルでの統語的または機能的正当性に注目し、セキュリティの重要な次元を無視している。 LLMに基づくコード翻訳のセキュリティへの影響を評価するために設計された最初のデータセットであるSTEDを構築した。 5つのプログラミング言語にまたがる720のセキュリティ関連コードサンプルと、CVE/NVDから派生した9つの高インパクトCWEカテゴリで構成されている。
• 参考スコア（独自算出の注目度）: 19.602248745676544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the growing demand for cross-language codebase migration, evaluating LLMs' security implications in translation tasks has become critical. Existing evaluations primarily focus on syntactic or functional correctness at the function level, neglecting the critical dimension of security. To enable security evaluation, we construct STED (Security-centric Translation Evaluation Dataset), the first dataset specifically designed for evaluating the security implications of LLM-based code translation. It comprises 720 security-related code samples across five programming languages and nine high-impact CWE categories, sourced from CVE/NVD and manually verified for translation tasks. Our evaluation framework consists of two independent assessment modules: (1) rigorous evaluation by security researchers, and (2) automated analysis via LLM-as-a-judge. Together they evaluate three critical aspects: functional correctness, vulnerability preservation, and vulnerability introduction rates. Our large-scale evaluation of five state-of-the-art LLMs across 6,000 translation instances reveals significant security degradation, with 28.6-45% of translations introducing new vulnerabilities--particularly for web-related flaws like input validation, where LLMs show consistent weaknesses. Furthermore, we develop a Retrieval-Augmented Generation (RAG)-based mitigation strategy that reduces translation-induced vulnerabilities by 32.8%, showing the potential of knowledge-enhanced prompting.
• Abstract（参考訳）: 言語間のコードベース移行の需要が高まっているため、翻訳タスクにおけるLLMのセキュリティへの影響を評価することが重要になっている。 既存の評価は、主に機能レベルでの統語的または機能的正当性に注目し、セキュリティの重要な次元を無視している。 セキュリティ評価を実現するために,LLMベースのコード翻訳のセキュリティへの影響を評価するために設計された最初のデータセットであるSTED(Security-centric Translation Evaluation Dataset)を構築した。 5つのプログラミング言語にまたがる720のセキュリティ関連コードサンプルと、CVE/NVDからソースされ、手動で翻訳タスクを検証した9つの高インパクトCWEカテゴリで構成されている。 評価フレームワークは,(1)セキュリティ研究者による厳密な評価,(2)LSM-as-a-judgeによる自動解析の2つの独立した評価モジュールから構成される。 機能的正確性、脆弱性保存、脆弱性導入率の3つの重要な側面を評価した。 6000の翻訳インスタンスにまたがる5つの最先端のLCMの大規模な評価では、セキュリティ上の重大な劣化が見られ、翻訳の28.6-45%が新たな脆弱性を導入している。 さらに,翻訳による脆弱性を32.8%削減するRAGベースの緩和戦略を開発し,知識向上の可能性を示唆した。

関連論文リスト

• CWEval: Outcome-driven Evaluation on Functionality and Security of LLM Code Generation [20.72188827088484]
  大規模言語モデル(LLM)は、コード記述の生成や支援によって、開発者を大いに助けている。 機能的に正しいコードの脆弱性を検出することは、特にセキュリティ知識が限られている開発者にとっては、より難しい。 我々は、LLMによるセキュアコード生成の評価を強化するために、新しい結果駆動型評価フレームワークであるCWEvalを紹介する。
  論文  参考訳（メタデータ） (2025-01-14T15:27:01Z)
• SafeBench: A Safety Evaluation Framework for Multimodal Large Language Models [75.67623347512368]
  MLLMの安全性評価を行うための総合的なフレームワークであるツールンを提案する。 我々のフレームワークは、包括的な有害なクエリデータセットと自動評価プロトコルで構成されています。 本研究では,広く利用されている15のオープンソースMLLMと6つの商用MLLMの大規模実験を行った。
  論文  参考訳（メタデータ） (2024-10-24T17:14:40Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
  SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。 まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)
• CodeAttack: Revealing Safety Generalization Challenges of Large Language Models via Code Completion [117.178835165855]
  本稿では,自然言語入力をコード入力に変換するフレームワークであるCodeAttackを紹介する。 我々の研究は、コード入力に対するこれらのモデルの新たな、普遍的な安全性の脆弱性を明らかにした。 CodeAttackと自然言語の分布ギャップが大きくなると、安全性の一般化が弱くなる。
  論文  参考訳（メタデータ） (2024-03-12T17:55:38Z)
• An Insight into Security Code Review with LLMs: Capabilities, Obstacles, and Influential Factors [9.309745288471374]
  セキュリティコードレビューは時間と労力を要するプロセスです。 既存のセキュリティ分析ツールは、一般化の貧弱、偽陽性率の高い、粗い検出粒度に悩まされている。 大きな言語モデル(LLM)は、これらの課題に対処するための有望な候補と考えられている。
  論文  参考訳（メタデータ） (2024-01-29T17:13:44Z)
• Understanding the Effectiveness of Large Language Models in Detecting Security Vulnerabilities [12.82645410161464]
  5つの異なるセキュリティデータセットから5,000のコードサンプルに対して、16の事前学習された大規模言語モデルの有効性を評価する。 全体として、LSMは脆弱性の検出において最も穏やかな効果を示し、データセットの平均精度は62.8%、F1スコアは0.71である。 ステップバイステップ分析を含む高度なプロンプト戦略は、F1スコア(平均0.18まで)で実世界のデータセット上でのLLMのパフォーマンスを著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-11-16T13:17:20Z)
• Safety Assessment of Chinese Large Language Models [51.83369778259149]
  大規模言語モデル(LLM)は、侮辱や差別的なコンテンツを生成し、誤った社会的価値を反映し、悪意のある目的のために使用されることがある。 安全で責任があり倫理的なAIの展開を促進するため、LLMによる100万の強化プロンプトとレスポンスを含むセーフティプロンプトをリリースする。
  論文  参考訳（メタデータ） (2023-04-20T16:27:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。