Fugu-MT 論文翻訳(概要): Improving Code LLM Robustness to Prompt Perturbations via Layer-Aware Model Editing

論文の概要: Improving Code LLM Robustness to Prompt Perturbations via Layer-Aware Model Editing

arxiv url: http://arxiv.org/abs/2507.16407v1
Date: Tue, 22 Jul 2025 09:57:55 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-23 21:34:14.058014
Title: Improving Code LLM Robustness to Prompt Perturbations via Layer-Aware Model Editing
Title（参考訳）: 層認識モデル編集による乱れの促進のためのコードLLMロバスト性の改善
Authors: Shuhan Liu, Xing Hu, Kerui Huang, Xiaohu Yang, David Lo, Xin Xia,
Abstract要約: 大規模言語モデル(LLM)は、急激な摂動に対して非常に敏感である。ターゲットパラメータの更新によってLCMの堅牢性を高める新しいアプローチであるCREMEを導入する。実験の結果,CREMEは摂動プロンプトでPass@1の精度を63%向上することがわかった。
参考スコア（独自算出の注目度）: 13.099973383252452
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models (LLMs) have demonstrated impressive capabilities in code generation, where the natural language prompt plays a crucial role in conveying user intent to the model. However, prior studies have shown that LLMs are highly sensitive to prompt perturbations. Minor modifications in wording, syntax, or formatting can significantly reduce the functional correctness of generated code. As perturbations frequently occur in real-world scenarios, improving the robustness of LLMs to prompt perturbations is essential for ensuring reliable performance in practical code generation. In this paper, we introduce CREME (Code Robustness Enhancement via Model Editing), a novel approach that enhances LLM robustness through targeted parameter updates. CREME first identifies robustness-sensitive layers by comparing hidden states between an original prompt and its perturbed variant. Then, it performs lightweight parameter editing at the identified layer to reduce performance degradation. We evaluate CREME on two widely used code generation benchmarks (HumanEval and MBPP) along with their perturbed counterparts. Experimental results show that CREME improves Pass@1 accuracy by 63% on perturbed prompts while maintaining stable performance on clean inputs, with accuracy deviations within 1%. Further analysis reveals that robustness-sensitive layers are primarily concentrated in the middle and deeper layers of the network, and their locations vary across different model architectures. These insights provide a valuable foundation for developing future robustness-oriented editing strategies.
Abstract（参考訳）: 大規模言語モデル(LLM)は、ユーザ意図をモデルに伝達する上で、自然言語のプロンプトが重要な役割を果たすような、コード生成における印象的な機能を示している。しかし、以前の研究では、LSMは急激な摂動に対して非常に敏感であることが示されている。ワード、構文、フォーマッティングの小さな変更は、生成されたコードの機能的正しさを著しく低下させる。現実のシナリオでは摂動が頻繁に発生するため、実用的なコード生成において信頼性の高い性能を確保するためには、摂動を急ぐためにLLMの堅牢性を改善することが不可欠である。本稿では、ターゲットパラメータの更新によってLCMの堅牢性を高める新しいアプローチであるCREME(Code Robustness Enhancement via Model Editing)を紹介する。 CREMEは最初に、元のプロンプトとその摂動変異体の間の隠れた状態を比較することによって、ロバストネスに敏感な層を識別する。そして、特定層で軽量なパラメータ編集を行い、性能劣化を低減する。我々は、広く使われている2つのコード生成ベンチマーク(HumanEval と MBPP)と、乱れたコード生成ベンチマークでCREMEを評価した。実験結果から, CREMEは摂動プロンプトのPass@1精度を63%向上し, クリーンインプットの性能は安定し, 精度は1%以内であった。さらに分析した結果、ロバストネスに敏感なレイヤは、主にネットワークの中層と深層に集中しており、その位置は異なるモデルアーキテクチャによって異なることがわかった。これらの洞察は、将来の堅牢性指向の編集戦略を開発するための貴重な基盤を提供する。

関連論文リスト

Robustness of Prompting: Enhancing Robustness of Large Language Models Against Prompting Attacks [8.901793877849155]
ロバストネス・オブ・プロンプティング(RoP)は、大規模言語モデル(LLM)の堅牢性を高めるために特別に設計された新しいプロンプティング戦略である。 RoPは様々な摂動法を適用して敵の例を生成し、入力エラーを自動的に修正するプロンプトを構築するのに使用される。ガイダンス段階では、RoPは修正された入力に基づいて最適なガイダンスを生成し、より堅牢で正確な推論に向けてモデルを操る。
論文参考訳（メタデータ） (2025-06-04T07:13:27Z)
Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding [51.711605076319216]
拡散に基づく大規模言語モデル (Diffusion LLM) は、並列復号機能を持つ非自己回帰テキスト生成を約束している。本稿では,双方向拡散モデルに適したブロック単位で近似したKVキャッシュ機構を提案する。本稿では,信頼しきい値を超えるトークンを選択的に復号し,依存関係違反を軽減し,生成品質を維持できる信頼度対応並列復号方式を提案する。
論文参考訳（メタデータ） (2025-05-28T17:39:15Z)
CodeCrash: Stress Testing LLM Reasoning under Structural and Semantic Perturbations [36.60702578561009]
大規模言語モデル(LLM)は、最近、コード関連のタスクにおいて強力な能力を示したが、コード理解と推論の堅牢性はまだ十分に調査されていない。既存の2つのデータセットから1,279の質問をまとめた総合的なストレステストベンチマークであるCodeCrashを紹介する。我々は,直接的および連鎖的プロンプト手法を用いて,入力および出力予測タスクにまたがる17個のLLMを体系的に評価した。
論文参考訳（メタデータ） (2025-04-19T00:40:28Z)
Enhancing LLM Robustness to Perturbed Instructions: An Empirical Study [8.827173113748701]
ダウンストリーム性能を著しく低下させるタスク特化命令の文字・単語レベルの編集について検討した。平均的に、自己否定は、代替戦略よりも大幅に高いパフォーマンス向上を達成することが分かっています。
論文参考訳（メタデータ） (2025-04-03T16:17:56Z)
Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
論文参考訳（メタデータ） (2025-03-31T10:16:03Z)
Forget What You Know about LLMs Evaluations - LLMs are Like a Chameleon [11.753349115726952]
大規模言語モデル(LLM)は、しばしば公開ベンチマークで優れているように見えるが、これらの高いスコアはデータセット固有のサーフェスキューへの過度な依存を隠蔽する可能性がある。本稿では,ベンチマークプロンプトを歪ませるメタ評価フレームワークであるChameleon Benchmark Overfit Detector (C-BOD)を紹介する。セマンティックコンテンツやラベルを保存しながら入力をリフレッシュすることで、C-BODはモデルのパフォーマンスが記憶パターンによって駆動されるかどうかを明らかにする。
論文参考訳（メタデータ） (2025-02-11T10:43:36Z)
Self-Evolving Critique Abilities in Large Language Models [59.861013614500024]
本稿では,Large Language Models (LLM) の批判能力の向上について検討する。 SCRITは、LCMを自己生成データで訓練し、批判能力を進化させるフレームワークである。分析の結果,SCRITの性能はデータやモデルサイズと正の相関関係にあることが明らかとなった。
論文参考訳（メタデータ） (2025-01-10T05:51:52Z)
Less is More: Towards Green Code Large Language Models via Unified Structural Pruning [27.428983811427827]
語彙, 層, フィードフォワードネットワーク(FFN)プルーニングを組み合わせた, 革新的な統一的構造解析手法であるFlap-Prunerを提案する。その結果、Flap-Prunerはパラメータの22%をプルーニングした後、元のパフォーマンスの97%を維持し、トレーニング後と同じあるいはそれ以上のパフォーマンスを達成していることがわかった。
論文参考訳（メタデータ） (2024-12-20T14:13:09Z)
On the Worst Prompt Performance of Large Language Models [93.13542053835542]
大規模言語モデル(LLM)の性能は,プロンプトの表現に非常に敏感である。セマンティックに等価なケースレベルのクエリで構成される新しいベンチマークであるRobustAlpacaEvalを紹介する。 RobustAlpacaEvalとChatGPT、およびLlama、Mistral、Gemmaファミリーの6つのオープンソースLLMによる実験により、モデル性能のかなりのばらつきが明らかになった。
論文参考訳（メタデータ） (2024-06-08T13:40:38Z)
FFN-SkipLLM: A Hidden Gem for Autoregressive Decoding with Adaptive Feed Forward Skipping [49.66872823080736]
自己回帰型大規模言語モデル(LLaMa, GPT)は、言語理解と生成において顕著な成功を収めている。発生時に発生する過負荷を軽減するため、いくつかの早期退避および層下降戦略が提案されている。本稿では,入力適応型フィードフォワードスキップ戦略であるFFN-SkipLLMを提案する。
論文参考訳（メタデータ） (2024-04-05T02:35:43Z)
Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via Instruction Tuning with LITE [62.13435256279566]
大規模言語モデル(LLM)は、様々な自然言語タスクで顕著なパフォーマンスを実現している。しかし、その大きなサイズは推論を遅く、計算的に高価にする。最終層の生成能力に影響を与えることなく、これらの層が「良い」生成能力を得ることができることを示す。
論文参考訳（メタデータ） (2023-10-28T04:07:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。