論文の概要: Survival of the Safest: Towards Secure Prompt Optimization through Interleaved Multi-Objective Evolution
- arxiv url: http://arxiv.org/abs/2410.09652v1
- Date: Sat, 12 Oct 2024 21:16:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-30 08:56:21.516941
- Title: Survival of the Safest: Towards Secure Prompt Optimization through Interleaved Multi-Objective Evolution
- Title（参考訳）: 祝祭の生き残り:インターリーブ型多目的進化によるセキュアなプロンプト最適化を目指して
- Authors: Ankita Sinha, Wendi Cui, Kamalika Das, Jiaxin Zhang,
- Abstract要約: SoS(Survival of the Safest)は、革新的な多目的プロンプト最適化フレームワークである。
これは、大きな言語モデルにおけるパフォーマンスとセキュリティの両方を同時に強化する。
SoSは、複雑な高次元の離散探索空間における最適化を高速化するスケーラブルなソリューションを提供する。
- 参考スコア（独自算出の注目度）: 1.8814321586521556
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have demonstrated remarkable capabilities; however, the optimization of their prompts has historically prioritized performance metrics at the expense of crucial safety and security considerations. To overcome this shortcoming, we introduce "Survival of the Safest" (SoS), an innovative multi-objective prompt optimization framework that enhances both performance and security in LLMs simultaneously. SoS utilizes an interleaved multi-objective evolution strategy, integrating semantic, feedback, and crossover mutations to effectively traverse the prompt landscape. Differing from the computationally demanding Pareto front methods, SoS provides a scalable solution that expedites optimization in complex, high-dimensional discrete search spaces while keeping computational demands low. Our approach accommodates flexible weighting of objectives and generates a pool of optimized candidates, empowering users to select prompts that optimally meet their specific performance and security needs. Experimental evaluations across diverse benchmark datasets affirm SoS's efficacy in delivering high performance and notably enhancing safety and security compared to single-objective methods. This advancement marks a significant stride towards the deployment of LLM systems that are both high-performing and secure across varied industrial applications
- Abstract（参考訳）: 大規模言語モデル(LLM)は目覚ましい機能を示しているが、それらのプロンプトの最適化は歴史的に重要な安全性とセキュリティ上の考慮を犠牲にしてパフォーマンス指標を優先してきた。
この欠点を克服するために,LLMの性能とセキュリティを同時に向上する,革新的な多目的プロンプト最適化フレームワークである"Survival of the Safest"(SoS)を紹介した。
SoSは、インターリーブされた多目的進化戦略を利用し、セマンティック、フィードバック、クロスオーバー変異を統合して、迅速な景観を効果的に横断する。
計算的に要求されるParetoのフロントメソッドとは違い、SoSは計算要求を低く保ちながら、複雑で高次元の離散探索空間における最適化を高速化するスケーラブルなソリューションを提供する。
提案手法は,目標を柔軟に重み付けし,最適化された候補のプールを生成し,ユーザに対して,特定のパフォーマンスやセキュリティニーズを最適に満たすプロンプトの選択を可能にする。
さまざまなベンチマークデータセットの実験的評価により、SoSがハイパフォーマンスを実現し、単一目的の方法と比較して安全性と安全性を著しく向上したことが確認された。
この進歩は、様々な産業アプリケーションにまたがる高性能かつセキュアなLLMシステムの展開に向けて大きな一歩を踏み出した。
関連論文リスト
- Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System [75.25394449773052]
大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は協調的問題解決において顕著な可能性を示している。
通信効率の低下、スケーラビリティの低下、効果的なパラメータ更新方法の欠如などです。
本稿では,コミュニケーション効率とタスク効率を両立させ,これらの課題に対処する新しいフレームワークOptimaを提案する。
論文 参考訳（メタデータ） (2024-10-10T17:00:06Z) - GANPrompt: Enhancing Robustness in LLM-Based Recommendations with GAN-Enhanced Diversity Prompts [15.920623515602038]
本稿では,GAN(Generative Adversarial Networks)に基づく多次元大規模言語モデルの多様性促進フレームワークであるGANPromptを提案する。
GANPromptはまず、多次元ユーザ行動データを分析して多様なプロンプトを生成することができるジェネレータを訓練する。
これらの多様なプロンプトは、目に見えないプロンプトに直面して性能を向上させるためにLLMを訓練するために使用される。
論文 参考訳（メタデータ） (2024-08-19T03:13:20Z) - RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content [62.685566387625975]
現在の緩和戦略は効果はあるものの、敵の攻撃下では弾力性がない。
本稿では,大規模言語モデルのための弾力性ガードレール(RigorLLM)について紹介する。
論文 参考訳（メタデータ） (2024-03-19T07:25:02Z) - SALAD-Bench: A Hierarchical and Comprehensive Safety Benchmark for Large Language Models [107.82336341926134]
SALAD-Benchは、大規模言語モデル(LLM)を評価するために特別に設計された安全ベンチマークである。
それは、その大規模な、豊富な多様性、三つのレベルにまたがる複雑な分類、多目的機能を通じて、従来のベンチマークを超越している。
論文 参考訳（メタデータ） (2024-02-07T17:33:54Z) - Towards Safe Multi-Task Bayesian Optimization [1.3654846342364308]
システムの物理モデルを減らすことは最適化プロセスに組み込むことができ、それを加速することができる。
これらのモデルは実際のシステムの近似を提供することができ、それらの評価は極めて安価である。
安全はベイズ最適化のようなオンライン最適化手法にとって重要な基準である。
論文 参考訳（メタデータ） (2023-12-12T13:59:26Z) - Query-Dependent Prompt Evaluation and Optimization with Offline Inverse
RL [62.824464372594576]
ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。
このような最適化では、以前見過ごされたクエリ依存の目的を特定します。
本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
論文 参考訳（メタデータ） (2023-09-13T01:12:52Z) - Robust Prompt Optimization for Large Language Models Against
Distribution Shifts [80.6757997074956]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて重要な能力を示している。
本稿では,LLMの分散シフトに対するロバストな最適化法を提案する。
この問題は、ラベル付けされたソースグループに最適化されたプロンプトを同時にラベル付けされていないターゲットグループに一般化する必要がある。
論文 参考訳（メタデータ） (2023-05-23T11:30:43Z) - A Robust Multi-Objective Bayesian Optimization Framework Considering
Input Uncertainty [0.0]
エンジニアリング設計のような現実的なアプリケーションでは、設計者は複数の目的と入力の不確実性を考慮に入れたい場合が多い。
入力の不確実性を考慮した多目的最適化を効率的に行うための新しいベイズ最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-25T17:45:26Z) - Constrained Policy Optimization via Bayesian World Models [79.0077602277004]
LAMBDAは、マルコフ決定プロセスを通じてモデル化された安全クリティカルタスクにおけるポリシー最適化のためのモデルに基づくアプローチである。
LAMBDA のSafety-Gymベンチマークスイートにおける技術性能について,サンプル効率と制約違反の観点から示す。
論文 参考訳（メタデータ） (2022-01-24T17:02:22Z) - Leveraging Trust for Joint Multi-Objective and Multi-Fidelity
Optimization [0.0]
本稿では,ベイズ的多目的・多忠実度最適化(MOMF)に対する新しいアプローチについて検討する。
複数目的とデータソースの同時最適化を支援するために,信頼度基準の革新的利用を提案する。
本手法はプラズマ物理学や流体力学などの分野におけるシミュレーション問題の解法に適用可能である。
論文 参考訳（メタデータ） (2021-12-27T20:55:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。