論文の概要: Survival of the Safest: Towards Secure Prompt Optimization through Interleaved Multi-Objective Evolution
- arxiv url: http://arxiv.org/abs/2410.09652v1
- Date: Sat, 12 Oct 2024 21:16:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-30 08:56:21.516941
- Title: Survival of the Safest: Towards Secure Prompt Optimization through Interleaved Multi-Objective Evolution
- Title（参考訳）: 祝祭の生き残り:インターリーブ型多目的進化によるセキュアなプロンプト最適化を目指して
- Authors: Ankita Sinha, Wendi Cui, Kamalika Das, Jiaxin Zhang,
- Abstract要約: SoS(Survival of the Safest)は、革新的な多目的プロンプト最適化フレームワークである。
これは、大きな言語モデルにおけるパフォーマンスとセキュリティの両方を同時に強化する。
SoSは、複雑な高次元の離散探索空間における最適化を高速化するスケーラブルなソリューションを提供する。
- 参考スコア（独自算出の注目度）: 1.8814321586521556
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have demonstrated remarkable capabilities; however, the optimization of their prompts has historically prioritized performance metrics at the expense of crucial safety and security considerations. To overcome this shortcoming, we introduce "Survival of the Safest" (SoS), an innovative multi-objective prompt optimization framework that enhances both performance and security in LLMs simultaneously. SoS utilizes an interleaved multi-objective evolution strategy, integrating semantic, feedback, and crossover mutations to effectively traverse the prompt landscape. Differing from the computationally demanding Pareto front methods, SoS provides a scalable solution that expedites optimization in complex, high-dimensional discrete search spaces while keeping computational demands low. Our approach accommodates flexible weighting of objectives and generates a pool of optimized candidates, empowering users to select prompts that optimally meet their specific performance and security needs. Experimental evaluations across diverse benchmark datasets affirm SoS's efficacy in delivering high performance and notably enhancing safety and security compared to single-objective methods. This advancement marks a significant stride towards the deployment of LLM systems that are both high-performing and secure across varied industrial applications
- Abstract（参考訳）: 大規模言語モデル(LLM)は目覚ましい機能を示しているが、それらのプロンプトの最適化は歴史的に重要な安全性とセキュリティ上の考慮を犠牲にしてパフォーマンス指標を優先してきた。
この欠点を克服するために,LLMの性能とセキュリティを同時に向上する,革新的な多目的プロンプト最適化フレームワークである"Survival of the Safest"(SoS)を紹介した。
SoSは、インターリーブされた多目的進化戦略を利用し、セマンティック、フィードバック、クロスオーバー変異を統合して、迅速な景観を効果的に横断する。
計算的に要求されるParetoのフロントメソッドとは違い、SoSは計算要求を低く保ちながら、複雑で高次元の離散探索空間における最適化を高速化するスケーラブルなソリューションを提供する。
提案手法は,目標を柔軟に重み付けし,最適化された候補のプールを生成し,ユーザに対して,特定のパフォーマンスやセキュリティニーズを最適に満たすプロンプトの選択を可能にする。
さまざまなベンチマークデータセットの実験的評価により、SoSがハイパフォーマンスを実現し、単一目的の方法と比較して安全性と安全性を著しく向上したことが確認された。
この進歩は、様々な産業アプリケーションにまたがる高性能かつセキュアなLLMシステムの展開に向けて大きな一歩を踏み出した。
関連論文リスト
- Joint Optimization of Prompt Security and System Performance in Edge-Cloud LLM Systems [15.058369477125893]
大規模言語モデル(LLM)は人間の生活を著しく促進し、迅速なエンジニアリングによりこれらのモデルの効率が向上した。
近年、エンジニアリングを駆使した攻撃が急速に増加し、プライバシーの漏洩、レイテンシの増大、システムリソースの浪費といった問題が発生している。
我々は,エッジクラウド LLM (EC-LLM) システムにおけるセキュリティ,サービスレイテンシ,システムリソースの最適化を,様々な攻撃の下で共同で検討する。
論文 参考訳（メタデータ） (2025-01-30T14:33:49Z) - Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System [75.25394449773052]
大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は協調的問題解決において顕著な可能性を示している。
通信効率の低下、スケーラビリティの低下、効果的なパラメータ更新方法の欠如などです。
本稿では,コミュニケーション効率とタスク効率を両立させ,これらの課題に対処する新しいフレームワークOptimaを提案する。
論文 参考訳（メタデータ） (2024-10-10T17:00:06Z) - GANPrompt: Enhancing Robustness in LLM-Based Recommendations with GAN-Enhanced Diversity Prompts [15.920623515602038]
大規模言語モデル(LLM)は、素早い単語の影響を受けやすい。
本稿では,GAN(Generative Adversarial Networks)に基づく多次元LCMの多様性フレームワークであるGANPromptを提案する。
このフレームワークは,GAN生成技術とLLMの深い意味理解機能を統合することにより,多様なプロンプトに対するモデルの適応性と安定性を向上させる。
論文 参考訳（メタデータ） (2024-08-19T03:13:20Z) - Large Language Model as a Catalyst: A Paradigm Shift in Base Station Siting Optimization [62.16747639440893]
大規模言語モデル(LLM)とその関連技術は、特に迅速な工学とエージェント工学の領域において進歩している。
提案するフレームワークは、検索拡張生成(RAG)を組み込んで、ドメイン固有の知識を取得してソリューションを生成するシステムの能力を高める。
論文 参考訳（メタデータ） (2024-08-07T08:43:32Z) - RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content [62.685566387625975]
現在の緩和戦略は効果はあるものの、敵の攻撃下では弾力性がない。
本稿では,大規模言語モデルのための弾力性ガードレール(RigorLLM)について紹介する。
論文 参考訳（メタデータ） (2024-03-19T07:25:02Z) - SALAD-Bench: A Hierarchical and Comprehensive Safety Benchmark for Large Language Models [107.82336341926134]
SALAD-Benchは、大規模言語モデル(LLM)を評価するために特別に設計された安全ベンチマークである。
それは、その大規模な、豊富な多様性、三つのレベルにまたがる複雑な分類、多目的機能を通じて、従来のベンチマークを超越している。
論文 参考訳（メタデータ） (2024-02-07T17:33:54Z) - Towards Safe Multi-Task Bayesian Optimization [1.3654846342364308]
システムの物理モデルを減らすことは最適化プロセスに組み込むことができ、それを加速することができる。
これらのモデルは実際のシステムの近似を提供することができ、それらの評価は極めて安価である。
安全はベイズ最適化のようなオンライン最適化手法にとって重要な基準である。
論文 参考訳（メタデータ） (2023-12-12T13:59:26Z) - Query-Dependent Prompt Evaluation and Optimization with Offline Inverse
RL [62.824464372594576]
ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。
このような最適化では、以前見過ごされたクエリ依存の目的を特定します。
本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
論文 参考訳（メタデータ） (2023-09-13T01:12:52Z) - A Robust Multi-Objective Bayesian Optimization Framework Considering
Input Uncertainty [0.0]
エンジニアリング設計のような現実的なアプリケーションでは、設計者は複数の目的と入力の不確実性を考慮に入れたい場合が多い。
入力の不確実性を考慮した多目的最適化を効率的に行うための新しいベイズ最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-25T17:45:26Z) - Constrained Policy Optimization via Bayesian World Models [79.0077602277004]
LAMBDAは、マルコフ決定プロセスを通じてモデル化された安全クリティカルタスクにおけるポリシー最適化のためのモデルに基づくアプローチである。
LAMBDA のSafety-Gymベンチマークスイートにおける技術性能について,サンプル効率と制約違反の観点から示す。
論文 参考訳（メタデータ） (2022-01-24T17:02:22Z) - Leveraging Trust for Joint Multi-Objective and Multi-Fidelity
Optimization [0.0]
本稿では,ベイズ的多目的・多忠実度最適化(MOMF)に対する新しいアプローチについて検討する。
複数目的とデータソースの同時最適化を支援するために,信頼度基準の革新的利用を提案する。
本手法はプラズマ物理学や流体力学などの分野におけるシミュレーション問題の解法に適用可能である。
論文 参考訳（メタデータ） (2021-12-27T20:55:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。