論文の概要: What You See Is Not Always What You Get: An Empirical Study of Code Comprehension by Large Language Models

• arxiv url: http://arxiv.org/abs/2412.08098v1
• Date: Wed, 11 Dec 2024 04:52:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 14:04:35.752357
• Title: What You See Is Not Always What You Get: An Empirical Study of Code Comprehension by Large Language Models
• Title（参考訳）: あなたが見るものは、いつも見るものではありません:大規模言語モデルによるコードの理解に関する実証的研究
• Authors: Bangshuo Zhu, Jiawen Wen, Huaming Chen,
• Abstract要約: 本研究では,LLM を悪用する特殊文字を用いたインジェクション攻撃の一種である,知覚不能な文字攻撃に対する特定の LLM 脆弱性について検討する。 攻撃の4つのカテゴリを考案し、コード解析とコード理解に関連するタスクのパフォーマンスへの影響について検討する。
• 参考スコア（独自算出の注目度）: 0.5735035463793009
• License:
• Abstract: Recent studies have demonstrated outstanding capabilities of large language models (LLMs) in software engineering domain, covering numerous tasks such as code generation and comprehension. While the benefit of LLMs for coding task is well noted, it is perceived that LLMs are vulnerable to adversarial attacks. In this paper, we study the specific LLM vulnerability to imperceptible character attacks, a type of prompt-injection attack that uses special characters to befuddle an LLM whilst keeping the attack hidden to human eyes. We devise four categories of attacks and investigate their effects on the performance outcomes of tasks relating to code analysis and code comprehension. Two generations of ChatGPT are included to evaluate the impact of advancements made to contemporary models. Our experimental design consisted of comparing perturbed and unperturbed code snippets and evaluating two performance outcomes, which are model confidence using log probabilities of response, and correctness of response. We conclude that earlier version of ChatGPT exhibits a strong negative linear correlation between the amount of perturbation and the performance outcomes, while the recent ChatGPT presents a strong negative correlation between the presence of perturbation and performance outcomes, but no valid correlational relationship between perturbation budget and performance outcomes. We anticipate this work contributes to an in-depth understanding of leveraging LLMs for coding tasks. It is suggested future research should delve into how to create LLMs that can return a correct response even if the prompt exhibits perturbations.
• Abstract（参考訳）: 近年,ソフトウェア工学領域における大規模言語モデル(LLM)の卓越した機能を示し,コード生成や理解など多くのタスクをカバーしている。 コーディングタスクにおけるLLMの利点は注目に値するが,LLMは敵攻撃に対して脆弱であると考えられる。 本稿では, LLM攻撃を人目で隠蔽しながら, 特殊な文字を用いてLSMを乱用する, インジェクション攻撃の一種である, 知覚不能な文字攻撃に対する特定のLSM脆弱性について検討する。 攻撃の4つのカテゴリを考案し、コード解析とコード理解に関連するタスクのパフォーマンスへの影響について検討する。 ChatGPTの2世代は、現代モデルへの進歩の影響を評価するために含まれている。 実験的な設計は、乱れたコードスニペットと乱れのないコードスニペットを比較し、応答のログ確率と応答の正しさを用いたモデル信頼性の2つの性能結果を評価することであった。 その結果,ChatGPTの初期バージョンでは摂動量と性能結果との間に負の相関関係が強く,最近のChatGPTでは摂動の有無と性能結果との間に負の相関関係が強いが,摂動予算と性能結果との間には正の相関関係が存在しないことがわかった。 我々は、この研究がコーディングタスクにLLMを活用することの深い理解に寄与することを期待している。 将来の研究は、たとえプロンプトが摂動を示したとしても、正しい応答を返すことができるLSMの作り方を探ることが示唆されている。

関連論文リスト

• Large Language Models and Code Security: A Systematic Literature Review [0.0]
  大規模言語モデル(LLM)は、様々なプログラミングタスクを自動化する強力なツールとして登場した。 LLMはプログラマが知らない脆弱性を導入する可能性がある。 コードを解析する際には、明確な脆弱性を見逃したり、存在しない脆弱性を通知する可能性がある。
  論文  参考訳（メタデータ） (2024-12-19T16:20:22Z)
• Beyond Binary: Towards Fine-Grained LLM-Generated Text Detection via Role Recognition and Involvement Measurement [51.601916604301685]
  大規模言語モデル(LLM)は、オンライン談話における信頼を損なう可能性のあるコンテンツを生成する。 現在の手法はバイナリ分類に重点を置いており、人間とLLMのコラボレーションのような現実のシナリオの複雑さに対処できないことが多い。 バイナリ分類を超えてこれらの課題に対処するために,LLM生成コンテンツを検出するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-18T08:14:10Z)
• VulnLLMEval: A Framework for Evaluating Large Language Models in Software Vulnerability Detection and Patching [0.9208007322096533]
  大きな言語モデル(LLM)は、コード翻訳のようなタスクにおいて有望であることを示している。 本稿では,C コードの脆弱性を特定し,パッチする際の LLM の性能を評価するためのフレームワーク VulnLLMEval を紹介する。 私たちの研究には、Linuxカーネルから抽出された307の現実世界の脆弱性が含まれている。
  論文  参考訳（メタデータ） (2024-09-16T22:00:20Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• Multitask-based Evaluation of Open-Source LLM on Software Vulnerability [2.7692028382314815]
  本稿では,公開データセットを用いて対話型大規模言語モデル(LLM)を定量的に評価するためのパイプラインを提案する。 我々は,4つの共通ソフトウェア脆弱性タスクをカバーするBig-Vulを用いて,LLMの広範な技術的評価を行う。 既存の最先端のアプローチと事前訓練された言語モデル(LM)は、ソフトウェア脆弱性検出において、LLMよりも一般的に優れていることがわかった。
  論文  参考訳（メタデータ） (2024-04-02T15:52:05Z)
• An Empirical Study of Automated Vulnerability Localization with Large Language Models [21.84971967029474]
  大規模言語モデル(LLM)は、様々な領域において可能性を示しているが、脆弱性のローカライゼーションにおけるその有効性は未解明のままである。 本調査では,ChatGPTや各種オープンソースモデルなど,コード解析に適した10以上のLLMを対象とする。 ゼロショット学習,ワンショット学習,識別的微調整,生成的微調整の4つのパラダイムを用いて,これらのLCMの有効性を検討する。
  論文  参考訳（メタデータ） (2024-03-30T08:42:10Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Transfer Attacks and Defenses for Large Language Models on Coding Tasks [30.065641782962974]
  大規模言語モデル(LLM)を用いた符号化作業における対向的摂動の影響について検討する。 本稿では,逆方向の摂動を逆転させるために,逆方向の摂動コードや明示的な指示の例を含むようにプロンプトを変更するプロンプトベースの防御手法を提案する。 実験の結果、より小さなコードモデルで得られた逆例は確かに転送可能であり、LLMの性能は低下していることがわかった。
  論文  参考訳（メタデータ） (2023-11-22T15:11:35Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Red Teaming Language Model Detectors with Language Models [114.36392560711022]
  大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。 近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。 1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
  論文  参考訳（メタデータ） (2023-05-31T10:08:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。