論文の概要: A Closer Look at System Prompt Robustness

• arxiv url: http://arxiv.org/abs/2502.12197v1
• Date: Sat, 15 Feb 2025 18:10:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:08:52.975078
• Title: A Closer Look at System Prompt Robustness
• Title（参考訳）: システムプロンプトのロバスト性について
• Authors: Norman Mu, Jonathan Lu, Michael Lavery, David Wagner,
• Abstract要約: 開発者は、重要なコンテキスト、出力フォーマット、パーソナリティ、ガードレール、コンテンツポリシー、安全対策を指定するためのシステムプロンプトに依存する。 実際には、モデルは関連するガードレールを考慮することを忘れたり、システムとユーザ間の矛盾する要求を解決するのに失敗することが多い。 OpenAIのGPTストアとHuggingFaceのHuggingChatから収集されたプロンプトに基づいて、現実的な新しい評価と微調整データセットを作成します。
• 参考スコア（独自算出の注目度）: 2.5525497052179995
• License:
• Abstract: System prompts have emerged as a critical control surface for specifying the behavior of LLMs in chat and agent settings. Developers depend on system prompts to specify important context, output format, personalities, guardrails, content policies, and safety countermeasures, all of which require models to robustly adhere to the system prompt, especially when facing conflicting or adversarial user inputs. In practice, models often forget to consider relevant guardrails or fail to resolve conflicting demands between the system and the user. In this work, we study various methods for improving system prompt robustness by creating realistic new evaluation and fine-tuning datasets based on prompts collected from from OpenAI's GPT Store and HuggingFace's HuggingChat. Our experiments assessing models with a panel of new and existing benchmarks show that performance can be considerably improved with realistic fine-tuning data, as well as inference-time interventions such as classifier-free guidance. Finally, we analyze the results of recently released reasoning models from OpenAI and DeepSeek, which show exciting but uneven improvements on the benchmarks we study. Overall, current techniques fall short of ensuring system prompt robustness and further study is warranted.
• Abstract（参考訳）: システムプロンプトは、チャットおよびエージェント設定におけるLLMの振る舞いを特定するための重要な制御サーフェスとして登場した。 開発者は、重要なコンテキスト、出力フォーマット、パーソナリティ、ガードレール、コンテンツポリシー、安全対策をシステムプロンプトに指定する必要がある。 実際には、モデルは関連するガードレールを考慮することを忘れたり、システムとユーザ間の矛盾する要求を解決するのに失敗することが多い。 本研究では,OpenAI の GPT Store と HuggingFace の HuggingChat から収集したプロンプトに基づいて,現実的な新しい評価と微調整データセットを作成することにより,システムプロンプトロバスト性を改善する様々な手法について検討する。 新たなベンチマークと既存ベンチマークのパネルを用いたモデル評価実験により,実際の微調整データと,分類器フリーガイダンスなどの推論時間介入により,性能が大幅に向上することが示された。 最後に、最近リリースされたOpenAIとDeepSeekの推論モデルの結果を分析します。 全体として、現在の技術はシステムの堅牢性を保証するには足りず、さらなる研究が保証されている。

関連論文リスト

• Resilience to the Flowing Unknown: an Open Set Recognition Framework for Data Streams [6.7236795813629]
  本研究では、分類とクラスタリングを組み合わせて、ストリーミングシナリオにおけるテキストオーバ占有空間問題に対処するオープンセット認識フレームワークの適用について検討する。
  論文  参考訳（メタデータ） (2024-10-31T11:06:54Z)
• Hierarchical Reinforcement Learning for Temporal Abstraction of Listwise Recommendation [51.06031200728449]
  我々はmccHRLと呼ばれる新しいフレームワークを提案し、リストワイドレコメンデーションにおける時間的抽象化のレベルを異なるものにする。 階層的な枠組みの中では、ハイレベルエージェントがユーザ知覚の進化を研究し、低レベルエージェントがアイテム選択ポリシーを作成している。 その結果,本手法による性能改善は,いくつかのよく知られたベースラインと比較して有意な結果が得られた。
  論文  参考訳（メタデータ） (2024-09-11T17:01:06Z)
• Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
  本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。 このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。 本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-07T21:58:40Z)
• Improving the Robustness of Knowledge-Grounded Dialogue via Contrastive Learning [71.8876256714229]
  本稿では,知識ベース対話システムの堅牢性向上を目的とした,エンティティベースのコントラスト学習フレームワークを提案する。 提案手法は,自動評価スコアの点から,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-01-09T05:16:52Z)
• PICK: Polished & Informed Candidate Scoring for Knowledge-Grounded Dialogue Systems [59.1250765143521]
  現在の知識接地対話システムは、生成された応答を人間に好まれる品質に合わせるのに失敗することが多い。 我々は,世代別再描画フレームワークであるPolseed & Informed Candidate Scoring (PICK)を提案する。 対話履歴に関連性を維持しつつ,より忠実な応答を生成するためのPICKの有効性を示す。
  論文  参考訳（メタデータ） (2023-09-19T08:27:09Z)
• Robustness and Generalization Performance of Deep Learning Models on Cyber-Physical Systems: A Comparative Study [71.84852429039881]
  調査は、センサーの故障やノイズなど、様々な摂動を扱うモデルの能力に焦点を当てている。 我々は,これらのモデルの一般化と伝達学習能力を,アウト・オブ・ディストリビューション(OOD)サンプルに公開することによって検証する。
  論文  参考訳（メタデータ） (2023-06-13T12:43:59Z)
• Reliable and Interpretable Drift Detection in Streams of Short Texts [2.4603302139672008]
  データドリフトは、機械学習モデルの性能劣化につながる重要な要因の1つだ。 本稿では,大規模タスク指向対話システムにおけるモデルに依存しない変更点の検出と解釈のためのエンドツーエンドフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-28T15:14:54Z)
• Interactive System-wise Anomaly Detection [66.3766756452743]
  異常検出は様々なアプリケーションにおいて基本的な役割を果たす。 既存のメソッドでは、インスタンスがデータとして容易に観察できないシステムであるシナリオを扱うのが難しい。 システム埋め込みを学習するエンコーダデコーダモジュールを含むエンドツーエンドアプローチを開発する。
  論文  参考訳（メタデータ） (2023-04-21T02:20:24Z)
• Model-Agnostic Few-Shot Open-Set Recognition [36.97433312193586]
  我々はFew-Shot Open-Set Recognition (FSOSR) 問題に取り組む。 既存のモデルにプラグイン可能なモデルに依存しない推論手法の開発に注力する。 オープン・セット・トランスダクティブ・インフォメーション・最大化手法OSTIMを提案する。
  論文  参考訳（メタデータ） (2022-06-18T16:27:59Z)
• WSLRec: Weakly Supervised Learning for Neural Sequential Recommendation Models [24.455665093145818]
  我々は、WSLRecと呼ばれる新しいモデルに依存しないトレーニング手法を提案し、3段階のフレームワーク(事前学習、トップ$k$マイニング、本質的、微調整)を採用する。 WSLRec は、BR や ItemCF のようなモデルフリーメソッドから、余分な弱い監督のモデルを事前訓練することで、不完全性の問題を解決すると同時に、最上位の$k のマイニングを活用して、微調整のための弱い監督の信頼性の高いユーザ・イテム関連を検査することで、不正確な問題を解消する。
  論文  参考訳（メタデータ） (2022-02-28T08:55:12Z)
• Modeling Online Behavior in Recommender Systems: The Importance of Temporal Context [30.894950420437926]
  推薦システムの性能を評価するときの時間的文脈の省略が、いかに誤った自信をもたらすかを示す。 既存のモデルに時間的文脈をさらに埋め込むためのトレーニング手順を提案する。 その結果、時間的目標を含めれば、リコール@20を最大20%改善できることがわかった。
  論文  参考訳（メタデータ） (2020-09-19T19:36:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。