論文の概要: Extracting System Prompt of LLM Services in Complex (Agentic) Settings: Hierarchical Optimization and Reliable Evaluation Metrics
- arxiv url: http://arxiv.org/abs/2611.04803v1
- Date: Tue, 03 Nov 2026 12:37:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-09 13:22:01.681386
- Title: Extracting System Prompt of LLM Services in Complex (Agentic) Settings: Hierarchical Optimization and Reliable Evaluation Metrics
- Title（参考訳）: 複合環境におけるLCMサービスの抽出システムプロンプト:階層的最適化と信頼性評価指標
- Abstract要約: システムプロンプトは、大規模言語モデル(LLM)サービスの重要な知的特性である。
階層的最適化(ExtraHerO)による抽出は、プロンプト抽出を階層的再構成プロセスに分解する。
構造情報を考慮しないため,既存評価基準は誤解を招く可能性がある。
- 参考スコア（独自算出の注目度）: 24.560243288386946
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: System prompt is a critical intellectual property of large language model (LLM) services. To analyze its leakage, prompt extraction attacks have been extensively studied. However, we validate that existing attacks substantially degrade on recent LLM services, whose complexity has evolved in both the prompt itself and system-level constraints. Specifically, (1) system prompts become longer and more structured to contain pre-defined tool schemas, execution logic, safety guardrails, etc., and (2) only the final post-processed outputs (e.g., agent's actions) but not the raw textual response can be observed. In this paper, we address the above increased complexity by proposing Extraction with Hierarchical Optimization (ExtraHerO), which (1) decomposes the prompt extraction into a hierarchical reconstruction process with a pre-defined structural prompt template, and (2) iteratively updates the adversarial query with guidance of feedback-template differences to observe diverse outputs. In particular, we monitor the information gain of attack optimization to early stop or reset it for a good trade-off between effectiveness and efficiency. We also find that existing evaluation metrics for prompt fidelity can be misleading because they do not account for structural information. Therefore, we rely on global textual similarity and prioritize structural keywords. Moreover, we introduce a system-level metric, adversarial utility, to measure the help of prompt extraction for real-world downstream attacks. Experimental results demonstrate the consistent superiority of ExtraHerO, with average improvements of 12.5\% (fidelity), 2.3\% (functionality), and 6.0\% (adversarial utility) on chatbots, and 12.2\%, 34.3\%, and 30.5\% on agents.
- Abstract（参考訳）: システムプロンプトは、大規模言語モデル(LLM)サービスの重要な知的特性である。
その漏れを分析するために、迅速な抽出攻撃が広く研究されている。
しかし,近年のLCMサービスでは,プロンプト自体やシステムレベルの制約が複雑化しているため,既存の攻撃が著しく低下していることが確認できた。
具体的には、(1)事前定義されたツールスキーマ、実行ロジック、安全ガードレールなどを含むようシステムプロンプトがより長く構造化され、(2)最終処理後の出力(例えば、エージェントのアクション)のみを観測できるが、生のテキスト応答は観察できない。
本稿では,(1)階層的最適化を用いた抽出(ExtraHerO)を提案し,(1)事前定義された構造的プロンプトテンプレートを用いて階層的再構築プロセスにプロンプト抽出を分解し,(2)多様な出力を観測するために,フィードバック・テンポラリな差分を導出して,逆クエリを反復的に更新する。
特に,攻撃最適化の情報収集を早期停止やリセットに監視し,有効性と効率の良好なトレードオフを実現する。
また、構造情報を考慮しないため、素早い忠実度を評価するための既存の評価指標が誤解を招く可能性があることも見出した。
したがって、グローバルテキストの類似性に頼り、構造キーワードを優先する。
さらに,実世界のダウンストリーム攻撃に対する迅速な抽出の助けを計測するために,システムレベルの指標である逆効性を導入する。
実験結果から, チャットボットにおける12.5\%(忠実度), 2.3\%(機能性), 6.0\%(逆効性), 12.2\%, 34.3\%, 30.5\%の平均的な改善が得られた。
関連論文リスト
- The Optimizer Is the Agent: Reasoning-Driven Search across Prompts, Programs, and ML Workflows [72.9051182568928]
推論駆動最適化のための統合フレームワークであるReASearchを提案する。
共有エージェントループとドメイン固有のツールにより、ReASearchは、プロンプト、プログラム、MLを最適化するために、まったく同じスキャフォールドをインスタンス化する。
我々は,複雑な探索行動がエージェントの推論プロセスから自然に現れることを観察する。
論文 参考訳（メタデータ） (2026-08-07T02:15:39Z) - Dynamic analysis enhances issue resolution [53.50448142467294]
DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。
テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。
Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
論文 参考訳（メタデータ） (2026-03-23T14:48:54Z) - When Benchmarks Lie: Evaluating Malicious Prompt Classifiers Under True Distribution Shift [0.0]
有害なリクエスト、ジェイルブレイク、間接的なプロンプトインジェクション、抽出攻撃にまたがる18のデータセットのベンチマークを用いて、包括的な分析を行う。
我々は,真のアウト・オブ・ディストリビューションの一般化を評価するために,LODO(Leave-One-Dataset-Out)評価を提案する。
論文 参考訳（メタデータ） (2026-02-15T14:21:43Z) - Auto-Prompting with Retrieval Guidance for Frame Detection in Logistics [0.0]
プロンプトエンジニアリングは、大規模な言語モデル(LLM)を大規模な微調整を必要とせずに複雑な推論やラベル付けタスクに適応する上で重要な役割を担っている。
本稿では,ロジスティクステキストにおけるフレーム検出のための新しいプロンプト最適化パイプラインを提案し,検索強化生成(RAG),少数ショットプロンプト,チェーン・オブ・シークレット(CoT)推論,自動CoT合成(Auto-CoT)を組み合わせて,タスク固有のプロンプトを生成する。
このフレームワークは実世界のロジスティクステキストアノテーションタスクで評価され、推論精度とラベリング効率が重要となる。
論文 参考訳（メタデータ） (2025-12-22T10:29:51Z) - SCOPE: Prompt Evolution for Enhancing Agent Effectiveness [53.75986399936395]
大規模言語モデル(LLM)エージェントは、大規模で動的なコンテキストを生成する環境にますますデプロイされている。
エージェントはこのコンテキストにアクセスできますが、静的なプロンプトには効果的に管理するメカニズムがありません。
textbfSCOPE (Self-evolving Context Optimization via Prompt Evolution) を導入する。
本稿では,戦術的特異性(即時誤りの解消)と戦略的汎用性(長期原則の進化)のバランスをとるデュアルストリーム機構を提案する。
論文 参考訳（メタデータ） (2025-12-17T12:25:05Z) - Prompt Optimization via Retrieved Reasoning Assets and Multi-Agent Analysis [5.935239028627343]
スコア・アウェア・プロンプト最適化のためのマルチエージェントフレームワークであるMA-SAPOを紹介する。
従来の手法と比較して、MA-SAPOは、体系的な編集を導く構造的推論と評価結果を明示的に結合する。
評価信号を解釈可能な推論連鎖に変換することで、MA-SAPOはより透明で、監査可能で、制御可能な、迅速な改善を生成する。
論文 参考訳（メタデータ） (2025-10-18T20:21:09Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - MCP-Orchestrated Multi-Agent System for Automated Disinformation Detection [84.75972919995398]
本稿では,関係抽出を用いてニュース記事の偽情報を検出するマルチエージェントシステムを提案する。
提案したエージェントAIシステムは、(i)機械学習エージェント(ロジスティック回帰)、(ii)Wikipedia知識チェックエージェント、(iv)Webスクラッドデータアナライザの4つのエージェントを組み合わせる。
その結果、マルチエージェントアンサンブルはF1スコア0.964で95.3%の精度を達成し、個々のエージェントや従来のアプローチよりも大幅に優れていた。
論文 参考訳（メタデータ） (2025-08-13T19:14:48Z) - CAMOUFLAGE: Exploiting Misinformation Detection Systems Through LLM-driven Adversarial Claim Transformation [4.02943411607022]
既存のブラックボックステキストベースの敵攻撃は、証拠に基づく誤情報検出システムには不適である。
本稿では,2エージェントシステムを用いた反復的LCM駆動型アプローチであるCAMOUFLAGEについて述べる。
最近の2つの学術システムと2つの実世界のAPIを含む4つのシステムでCAMOUFLAGEを評価し、平均的な攻撃成功率は46.92%である。
論文 参考訳（メタデータ） (2025-05-03T19:14:24Z) - In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。
これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。
本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-10-04T03:39:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。