論文の概要: Robustness of Prompting: Enhancing Robustness of Large Language Models Against Prompting Attacks

• arxiv url: http://arxiv.org/abs/2506.03627v1
• Date: Wed, 04 Jun 2025 07:13:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.191943
• Title: Robustness of Prompting: Enhancing Robustness of Large Language Models Against Prompting Attacks
• Title（参考訳）: プロンプトのロバスト性: プロンプト攻撃に対する大規模言語モデルのロバスト性を高める
• Authors: Lin Mu, Guowei Chu, Li Ni, Lei Sang, Zhize Wu, Peiquan Jin, Yiwen Zhang,
• Abstract要約: ロバストネス・オブ・プロンプティング(RoP)は、大規模言語モデル(LLM)の堅牢性を高めるために特別に設計された新しいプロンプティング戦略である。 RoPは様々な摂動法を適用して敵の例を生成し、入力エラーを自動的に修正するプロンプトを構築するのに使用される。 ガイダンス段階では、RoPは修正された入力に基づいて最適なガイダンスを生成し、より堅牢で正確な推論に向けてモデルを操る。
• 参考スコア（独自算出の注目度）: 8.901793877849155
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated remarkable performance across various tasks by effectively utilizing a prompting strategy. However, they are highly sensitive to input perturbations, such as typographical errors or slight character order errors, which can substantially degrade their performance. Despite advances in prompting techniques, developing a prompting strategy that explicitly mitigates the negative impact of such perturbations remains an open challenge. To bridge this gap, we propose Robustness of Prompting (RoP), a novel prompting strategy specifically designed to enhance the robustness of LLMs. RoP consists of two stages: Error Correction and Guidance. In the Error Correction stage, RoP applies diverse perturbation methods to generate adversarial examples, which are then used to construct prompts that automatically correct input errors. In the Guidance stage, RoP generates an optimal guidance prompting based on the corrected input, steering the model toward more robust and accurate inferences. Through comprehensive experiments spanning arithmetic, commonsense, and logical reasoning tasks, we demonstrate that RoP significantly improves LLMs' robustness against adversarial perturbations. Notably, it maintains model accuracy with only minimal degradation compared to clean input scenarios, thereby establishing RoP as a practical and effective approach for enhancing LLM robustness in real-world applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、プロンプト戦略を効果的に活用することにより、様々なタスクにおいて顕著な性能を示した。 しかし、タイポグラフィー誤差や文字順誤差などの入力摂動に非常に敏感であり、性能を著しく低下させる可能性がある。 技術推進の進歩にもかかわらず、そのような摂動による負の影響を明示的に緩和する促進戦略を開発することは、未解決の課題である。 このギャップを埋めるために,LLMのロバスト性を高めるための新しいプロンプト戦略であるRoP(Roustness of Prompting)を提案する。 RoPはエラー補正とガイダンスの2つのステージで構成されている。 誤り訂正の段階では、RoPは様々な摂動法を適用して敵の例を生成し、入力エラーを自動的に修正するプロンプトを構築するのに使用される。 ガイダンス段階では、RoPは修正された入力に基づいて最適なガイダンスを生成し、より堅牢で正確な推論に向けてモデルを操る。 算術,コモンセンス,論理的推論タスクにまたがる総合的な実験を通じて,RoPは対向摂動に対するLLMの頑健性を大幅に改善することを示した。 特に、クリーンな入力シナリオに比べて最小限の劣化率でモデル精度を維持し、現実のアプリケーションにおけるLCMロバスト性を高めるための実用的で効果的なアプローチとしてRoPを確立する。

関連論文リスト

• Enhancing LLM Robustness to Perturbed Instructions: An Empirical Study [8.827173113748701]
  ダウンストリーム性能を著しく低下させるタスク特化命令の文字・単語レベルの編集について検討した。 平均的に、自己否定は、代替戦略よりも大幅に高いパフォーマンス向上を達成することが分かっています。
  論文  参考訳（メタデータ） (2025-04-03T16:17:56Z)
• Self-Corrective Task Planning by Inverse Prompting with Large Language Models [9.283971287618261]
  InversePromptは,新しい自己修正型タスクプランニング手法である。 提案手法は、明確な解釈可能なフィードバックを提供するための推論ステップを組み込んだものである。 ベンチマークデータセットの結果は、既存のLCMベースのタスク計画手法よりも平均16.3%高い成功率を示している。
  論文  参考訳（メタデータ） (2025-03-10T13:35:51Z)
• SPARC: Score Prompting and Adaptive Fusion for Zero-Shot Multi-Label Recognition in Vision-Language Models [74.40683913645731]
  Zero-shot Multi-label Recognition (MLR) with Vision-Language Models (VLMs) は、トレーニングデータ、モデルチューニング、アーキテクチャの変更なしに重要な課題に直面している。 我々の研究は、VLMをブラックボックスとして扱い、トレーニングデータや地上の真実を使わずにスコアを活用する新しいソリューションを提案する。 これらのプロンプトスコアの分析により、VLMバイアスとAND'/OR信号の曖昧さが明らかになり、特に、最高スコアは2番目に高いスコアに比べて驚くほど低い。
  論文  参考訳（メタデータ） (2025-02-24T07:15:05Z)
• Patterns Over Principles: The Fragility of Inductive Reasoning in LLMs under Noisy Observations [43.491353243991284]
  本稿では,雑音の多い例で融合したデータからルールを推論する際の,大規模言語モデルの能力を評価するタスクであるRobust Rule Injectionを紹介する。 1)SRRはノイズ下での性能劣化を最小限に抑えた他の手法よりも優れており、(2)若干の精度の変化にもかかわらず、LLMはノイズ下で不安定を示す。
  論文  参考訳（メタデータ） (2025-02-22T10:03:19Z)
• Applying Pre-trained Multilingual BERT in Embeddings for Improved Malicious Prompt Injection Attacks Detection [5.78117257526028]
  大きな言語モデル(LLM)は、その優れた能力と広範囲のアプリケーションに適用できることで有名である。 この研究は、実際のLLMアプリケーションに最も危険な脆弱性の1つである悪意のあるプロンプトインジェクション攻撃の影響に焦点を当てている。 正規のプロンプトから悪意のあるプロンプトを分類するために、多言語BERTやDistilBertのような様々なBERT(Bidirectional Representations from Transformers)を適用する。
  論文  参考訳（メタデータ） (2024-09-20T08:48:51Z)
• On the Worst Prompt Performance of Large Language Models [93.13542053835542]
  大規模言語モデル(LLM)の性能は,プロンプトの表現に非常に敏感である。 セマンティックに等価なケースレベルのクエリで構成される新しいベンチマークであるRobustAlpacaEvalを紹介する。 RobustAlpacaEvalとChatGPT、およびLlama、Mistral、Gemmaファミリーの6つのオープンソースLLMによる実験により、モデル性能のかなりのばらつきが明らかになった。
  論文  参考訳（メタデータ） (2024-06-08T13:40:38Z)
• Large Language Models as an Indirect Reasoner: Contrapositive and Contradiction for Automated Reasoning [74.90592233107712]
  本稿では,直接推論 (DR) と間接推論 (IR) を並列な複数の推論経路として考慮し,最終解を導出する直接間接推論 (DIR) 手法を提案する。 我々のDIR法は単純だが有効であり、既存のCoT法と簡単に統合できる。
  論文  参考訳（メタデータ） (2024-02-06T03:41:12Z)
• InferAligner: Inference-Time Alignment for Harmlessness through Cross-Model Guidance [56.184255657175335]
  我々は,無害アライメントのためのクロスモデルガイダンスを利用する新しい推論時間アライメント手法であるtextbfInferAligner を開発した。 実験結果から,本手法はファイナンス,医学,数学の分野特化モデルに極めて効果的に適用可能であることが示された。 これは有害な命令とジェイルブレイク攻撃の両方のアタック成功率(ASR)を著しく低下させ、下流タスクではほとんど変化のないパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2024-01-20T10:41:03Z)
• RoAST: Robustifying Language Models via Adversarial Perturbation with Selective Training [105.02614392553198]
  選択的トレーニング(RoAST)を用いた逆方向摂動を用いたロバスト化法を提案する。 RoASTは、モデルの堅牢性、摂動入力に対する堅牢性、および事前訓練されたLMにおける一般化可能な知識の2つの重要な情報源を組み込んでいる。 6種類のLM上での最先端の微調整法と比較して,RoASTの有効性を実証した。
  論文  参考訳（メタデータ） (2023-12-07T04:23:36Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。