論文の概要: Transformer-Based Language Models for Software Vulnerability Detection: Performance, Model's Security and Platforms

• arxiv url: http://arxiv.org/abs/2204.03214v1
• Date: Thu, 7 Apr 2022 04:57:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-08 14:05:38.434778
• Title: Transformer-Based Language Models for Software Vulnerability Detection: Performance, Model's Security and Platforms
• Title（参考訳）: ソフトウェア脆弱性検出のためのトランスフォーマーベース言語モデル:パフォーマンス、モデルのセキュリティ、プラットフォーム
• Authors: Chandra Thapa and Seung Ick Jang and Muhammad Ejaz Ahmed and Seyit Camtepe and Josef Pieprzyk and Surya Nepal
• Abstract要約: ソフトウェア脆弱性を検出する,大規模なトランスフォーマーベースの言語モデルについて検討する。 私たちはMicrosoftのコマンドラインツールであるCounterfitを使ってモデルのセキュリティチェックを行います。 これらの大きなモデルを実行するためのプラットフォームを選択しながら、推奨事項を提示します。
• 参考スコア（独自算出の注目度）: 21.943263073426646
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The large transformer-based language models demonstrate excellent performance in natural language processing. By considering the closeness of natural languages to the high-level programming language such as C/C++, this work studies how good are the large transformer-based language models detecting software vulnerabilities. Our results demonstrate the well performance of these models on software vulnerability detection. The answer enables extending transformer-based language models to vulnerability detection and leveraging superior performance beyond the natural language processing domain. Besides, we perform the model's security check using Microsoft's Counterfit, a command-line tool to assess the model's security. Our results find that these models are vulnerable to adversarial examples. In this regard, we present a simple countermeasure and its result. Experimenting with large models is always a challenge due to the requirement of computing resources and platforms/libraries & dependencies. Based on the experiences and difficulties we faced during this work, we present our recommendation while choosing the platforms to run these large models. Moreover, the popular platforms are surveyed thoroughly in this paper.
• Abstract（参考訳）: 大きなトランスフォーマーベースの言語モデルは、自然言語処理において優れた性能を示す。 自然言語をC/C++のような高レベルプログラミング言語に近付けることにより、ソフトウェア脆弱性を検出する大きなトランスフォーマーベースの言語モデルがいかに優れているかを研究する。 ソフトウェア脆弱性検出におけるこれらのモデルの優れた性能を示す。 この答えは、トランスフォーマーベースの言語モデルを脆弱性検出に拡張し、自然言語処理ドメインを超えて優れたパフォーマンスを活用することを可能にする。 さらに、モデルのセキュリティを評価するコマンドラインツールであるMicrosoftのCounterfitを使用して、モデルのセキュリティチェックを実行する。 以上の結果から,これらのモデルは敵例に弱いことが判明した。 本稿では,簡単な対策とその結果について述べる。 大規模なモデルの実験は、コンピューティングリソースとプラットフォーム/ライブラリと依存関係を必要とするため、常に課題である。 この作業で直面した経験と難しさに基づいて,これらの大規模モデルを実行するプラットフォームを選択しながら,推奨事項を提示します。 また,本論文では,人気プラットフォームを徹底的に調査する。

関連論文リスト

• Exploring Scaling Trends in LLM Robustness [8.057932419561428]
  言語モデル機能は、モデルのサイズとトレーニングデータのスケーリングから、予測可能な改善を行う。 これらのモデルは、好ましくない振る舞いを実行するためにハイジャックする「ジェイルブレイク」のような敵のプロンプトに弱い。 より大きなモデルは敵の訓練にかなり良く反応するが、明確な防御がなければ、モデルスケールのメリットはほとんどない。
  論文  参考訳（メタデータ） (2024-07-25T17:26:41Z)
• Scaling Behavior of Machine Translation with Large Language Models under Prompt Injection Attacks [4.459306403129608]
  大規模言語モデル(LLM)は多くの自然言語処理タスクにおいて好まれる基盤プラットフォームになりつつある。 彼らの汎用性は、要求命令に埋め込み、モデルが無許可でおそらく安全でない方法で振る舞うエンドユーザによって、それらをサブバージョンに開放する。 本研究では,これらのプロンプトインジェクション・アタック(PIA)をLLMの複数のファミリーで機械翻訳タスクに適用し,モデルサイズが攻撃成功率に与える影響に着目した。
  論文  参考訳（メタデータ） (2024-03-14T19:39:10Z)
• Exploiting Large Language Models (LLMs) through Deception Techniques and Persuasion Principles [2.134057414078079]
  大きな言語モデル(LLM)は広く使われるようになり、セキュリティと堅牢性を保証することが重要である。 本稿では,このような大規模言語モデルによる知覚的相互作用に対する活用に焦点を当てた新しい研究を提案する。 以上の結果から,これらの大規模言語モデルが詐欺や社会工学的攻撃の影響を受けやすいことが示唆された。
  論文  参考訳（メタデータ） (2023-11-24T23:57:44Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• CodeLMSec Benchmark: Systematically Evaluating and Finding Security Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
  自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。 これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。 この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
  論文  参考訳（メタデータ） (2023-02-08T11:54:07Z)
• ELEVATER: A Benchmark and Toolkit for Evaluating Language-Augmented Visual Models [102.63817106363597]
  ELEVATERは、事前訓練された言語拡張ビジュアルモデルの比較と評価を行う最初のベンチマークである。 20の画像分類データセットと35のオブジェクト検出データセットで構成され、それぞれが外部知識で拡張されている。 研究コミュニティ向けのツールキットと評価プラットフォームをリリースします。
  論文  参考訳（メタデータ） (2022-04-19T10:23:42Z)
• Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
  AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
  論文  参考訳（メタデータ） (2021-11-04T12:59:55Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• Exploring Software Naturalness through Neural Language Models [56.1315223210742]
  ソフトウェア自然性仮説(Software Naturalness hypothesis)は、自然言語処理で使用されるのと同じ手法でプログラミング言語を理解することができると主張している。 この仮説は,事前学習されたトランスフォーマーベース言語モデルを用いて,コード解析タスクを実行することによって検討する。
  論文  参考訳（メタデータ） (2020-06-22T21:56:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。