論文の概要: When LLMs Copy to Think: Uncovering Copy-Guided Attacks in Reasoning LLMs

• arxiv url: http://arxiv.org/abs/2507.16773v1
• Date: Tue, 22 Jul 2025 17:21:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-23 21:34:14.217499
• Title: When LLMs Copy to Think: Uncovering Copy-Guided Attacks in Reasoning LLMs
• Title（参考訳）: LLMがコピペする時:LLMのリアクションでコピペを誘導する攻撃が発見される
• Authors: Yue Li, Xiao Li, Hao Wu, Yue Zhang, Fengyuan Xu, Xiuzhen Cheng, Sheng Zhong,
• Abstract要約: 大規模言語モデル(LLM)は、脆弱性検出やコード理解といったタスクを可能にする自動コード解析に不可欠なものになっている。 本稿では,CGA(Copy-Guided Attacks)と呼ばれる,新たなプロンプトベースの攻撃のクラスを特定し,検討する。 CGAは、コード解析タスクにおいて、無限ループ、早期終了、偽の拒絶、意味的歪みを確実に誘導することを示す。
• 参考スコア（独自算出の注目度）: 30.532439965854767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have become integral to automated code analysis, enabling tasks such as vulnerability detection and code comprehension. However, their integration introduces novel attack surfaces. In this paper, we identify and investigate a new class of prompt-based attacks, termed Copy-Guided Attacks (CGA), which exploit the inherent copying tendencies of reasoning-capable LLMs. By injecting carefully crafted triggers into external code snippets, adversaries can induce the model to replicate malicious content during inference. This behavior enables two classes of vulnerabilities: inference length manipulation, where the model generates abnormally short or excessively long reasoning traces; and inference result manipulation, where the model produces misleading or incorrect conclusions. We formalize CGA as an optimization problem and propose a gradient-based approach to synthesize effective triggers. Empirical evaluation on state-of-the-art reasoning LLMs shows that CGA reliably induces infinite loops, premature termination, false refusals, and semantic distortions in code analysis tasks. While highly effective in targeted settings, we observe challenges in generalizing CGA across diverse prompts due to computational constraints, posing an open question for future research. Our findings expose a critical yet underexplored vulnerability in LLM-powered development pipelines and call for urgent advances in prompt-level defense mechanisms.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、脆弱性検出やコード理解といったタスクを可能にする自動コード解析に不可欠なものになっている。 しかし、それらの統合は新たな攻撃面を導入している。 そこで,本稿では,推論可能なLLMのコピー傾向を生かした,CGA(Copy-Guided Attacks)と呼ばれる,新たなプロンプトベースの攻撃の分類と検討を行う。 外部のコードスニペットに慎重にトリガーを注入することで、敵は推論中に悪意のあるコンテンツを複製するモデルを誘導することができる。 この振る舞いは、モデルが異常に短く、あるいは過度に長い推論トレースを生成する推論長操作と、モデルが誤った結論または誤った結論を生成する推論結果操作という2つの脆弱性のクラスを可能にする。 我々は最適化問題としてCGAを定式化し、効果的なトリガを合成するための勾配に基づくアプローチを提案する。 最先端の推論 LLM に関する実証的な評価は、CGA がコード解析タスクにおいて、無限ループ、早期終了、偽の拒絶、意味的な歪みを確実に誘導することを示している。 目標設定において非常に効果的であるが、計算制約による様々なプロンプトにまたがるCGAの一般化の課題を観察し、今後の研究にオープンな疑問を呈する。 LLMを用いた開発パイプラインの重大な脆弱性が明らかとなり,即時防御機構の急激な進歩が求められた。

関連論文リスト

• Chain-of-Code Collapse: Reasoning Failures in LLMs via Adversarial Prompting in Code Generation [0.3495246564946556]
  大規模言語モデル(LLM)は複雑な推論を必要とするタスクにおいて顕著な成功を収めた。 これらのモデルは本当に理由があるのか、それとも浅い統計パターンを利用するだけなのか? ここでは、意味論的に忠実だが逆向きに構造化された急激な摂動のスイートを導入することで、LCMの推論の堅牢性について検討する。
  論文  参考訳（メタデータ） (2025-06-08T02:43:46Z)
• Wolf Hidden in Sheep's Conversations: Toward Harmless Data-Based Backdoor Attacks for Jailbreaking Large Language Models [69.11679786018206]
  Supervised Fine-tuning (SFT) は、大きな言語モデルと人間の意図を協調させ、ラベル付きタスク固有データでトレーニングする。 近年の研究では、悪意のある攻撃者が、有害な質問応答ペアにトリガーを埋め込むことで、これらのモデルにバックドアを注入できることが示されている。 脱獄性LLMに対する新しいクリーンデータバックドアアタックを提案する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• Your Language Model Can Secretly Write Like Humans: Contrastive Paraphrase Attacks on LLM-Generated Text Detectors [65.27124213266491]
  テキスト検出を効果的に欺く訓練不要な方法である textbfContrastive textbfParaphrase textbfAttack (CoPA) を提案する。 CoPAは、大規模言語モデルによって生成される人間のような分布とは対照的に、補助的な機械的な単語分布を構築している。 我々の理論的分析は、提案された攻撃の優越性を示唆している。
  論文  参考訳（メタデータ） (2025-05-21T10:08:39Z)
• Towards Copyright Protection for Knowledge Bases of Retrieval-augmented Language Models via Reasoning [58.57194301645823]
  大規模言語モデル(LLM)は、現実のパーソナライズされたアプリケーションにますます統合されている。 RAGで使用される知識基盤の貴重かつしばしばプロプライエタリな性質は、敵による不正使用のリスクをもたらす。 これらの知識基盤を保護するための透かし技術として一般化できる既存の方法は、一般的に毒やバックドア攻撃を含む。 我々は、無害な」知識基盤の著作権保護の名称を提案する。
  論文  参考訳（メタデータ） (2025-02-10T09:15:56Z)
• What You See Is Not Always What You Get: An Empirical Study of Code Comprehension by Large Language Models [0.5735035463793009]
  ソースコードに隠された文字操作がLLMの動作を誤認し,人間のレビュアーには検出不能なままにしておくという,大きな言語モデル(LLM)の攻撃に対する脆弱性について検討する。 これらの攻撃には、コードリオーダー、見えないコーディング文字、コード削除、コードホモグリフが含まれる。 以上の結果より,LLMは摂動の大きさと性能に異なる負の相関性を示す一方,LLMは認識不能なコードキャラクタ攻撃に対する感受性を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2024-12-11T04:52:41Z)
• Root Defence Strategies: Ensuring Safety of LLM at the Decoding Level [10.476222570886483]
  大規模言語モデル (LLM) は様々な産業で大きな有用性を示している。 LLMが進むにつれて、不正または悪意のある命令プロンプトによって有害な出力のリスクが増大する。 本稿では, LLMが有害な出力を認識する能力について検討し, 従来のトークンの危険性を評価する能力を明らかにし, 定量化する。
  論文  参考訳（メタデータ） (2024-10-09T12:09:30Z)
• Atoxia: Red-teaming Large Language Models with Target Toxic Answers [27.397408870544453]
  Atoxiaは、オープンソースのモデルだけでなく、GPT-4oのような最先端のブラックボックスモデルでも安全性のリスクを検出することができる。
  論文  参考訳（メタデータ） (2024-08-27T08:12:08Z)
• Compromising Embodied Agents with Contextual Backdoor Attacks [69.71630408822767]
  大型言語モデル(LLM)は、エンボディドインテリジェンスの発展に変化をもたらした。 本稿では,このプロセスにおけるバックドアセキュリティの重大な脅威を明らかにする。 ほんの少しの文脈的デモンストレーションを毒殺しただけで、攻撃者はブラックボックスLDMの文脈的環境を隠蔽することができる。
  論文  参考訳（メタデータ） (2024-08-06T01:20:12Z)
• ShadowCode: Towards (Automatic) External Prompt Injection Attack against Code LLMs [56.46702494338318]
  本稿では,コード指向の大規模言語モデルに対する(自動)外部プロンプトインジェクションという,新たな攻撃パラダイムを紹介する。 コードシミュレーションに基づいて誘導摂動を自動生成する,シンプルで効果的な方法であるShadowCodeを提案する。 3つの人気のあるプログラミング言語にまたがる31の脅威ケースを発生させるため、13の異なる悪意のある目標に対して本手法を評価した。
  論文  参考訳（メタデータ） (2024-07-12T10:59:32Z)
• Transfer Attacks and Defenses for Large Language Models on Coding Tasks [30.065641782962974]
  大規模言語モデル(LLM)を用いた符号化作業における対向的摂動の影響について検討する。 本稿では,逆方向の摂動を逆転させるために,逆方向の摂動コードや明示的な指示の例を含むようにプロンプトを変更するプロンプトベースの防御手法を提案する。 実験の結果、より小さなコードモデルで得られた逆例は確かに転送可能であり、LLMの性能は低下していることがわかった。
  論文  参考訳（メタデータ） (2023-11-22T15:11:35Z)
• Token-Level Adversarial Prompt Detection Based on Perplexity Measures and Contextual Information [67.78183175605761]
  大規模言語モデルは、敵の迅速な攻撃に影響を受けやすい。 この脆弱性は、LLMの堅牢性と信頼性に関する重要な懸念を浮き彫りにしている。 トークンレベルで敵のプロンプトを検出するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-20T03:17:21Z)
• Open Sesame! Universal Black Box Jailbreaking of Large Language Models [0.0]
  大規模言語モデル(LLM)は、有用で安全な応答を提供するように設計されている。 LLMは、しばしばユーザーの意図や社会的ガイドラインに合わせるためにアライメント技術に頼っている。 モデルアーキテクチャやパラメータがアクセスできない場合に,遺伝的アルゴリズム(GA)を用いてLLMを操作する手法を提案する。
  論文  参考訳（メタデータ） (2023-09-04T08:54:20Z)
• Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection [64.67495502772866]
  大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。 本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。 我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
  論文  参考訳（メタデータ） (2023-02-23T17:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。