論文の概要: CONSCENDI: A Contrastive and Scenario-Guided Distillation Approach to
Guardrail Models for Virtual Assistants
- arxiv url: http://arxiv.org/abs/2304.14364v1
- Date: Thu, 27 Apr 2023 17:39:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-28 12:12:36.992322
- Title: CONSCENDI: A Contrastive and Scenario-Guided Distillation Approach to
Guardrail Models for Virtual Assistants
- Title（参考訳）: ConSCENDI:仮想アシスタント用ガードレールモデルに対する対照的かつシナリオガイド付き蒸留法
- Authors: Albert Yu Sun, Varun Nair, Elliot Schumacher, Anitha Kannan
- Abstract要約: 新しいタスクベースの仮想アシスタントの波は、GPT-4のようなより強力な大規模言語モデルによって加速されている。
これらの会話エージェントは、顧客固有のユースケースを提供するようにカスタマイズすることができるが、エージェント生成テキストがデザイナが指定したルールに準拠していることを保証することは困難である。
蒸留法を用いて, GPT-4のトレーニングデータを用いて第1モデルの出力をモニタリングする。
CONSCENDIはベースラインよりも優れたガードレールモデルをもたらす。
- 参考スコア（独自算出の注目度）: 5.562984399879218
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A wave of new task-based virtual assistants has been fueled by increasingly
powerful large language models, such as GPT-4. These conversational agents can
be customized to serve customer-specific use cases, but ensuring that
agent-generated text conforms to designer-specified rules included in prompt
instructions alone is challenging. Therefore, chatbot designers often use
another model, called a guardrail model, to verify that the agent output aligns
with their rules and constraints. We explore using a distillation approach to
guardrail models to monitor the output of the first model using training data
from GPT-4. We find two crucial steps to our CONSCENDI process:
scenario-augmented generation and contrastive training examples. When
generating conversational data, we generate a set of rule-breaking scenarios,
which enumerate a diverse set of high-level ways a rule can be violated. This
scenario-guided approach produces a diverse training set of rule-violating
conversations, and it provides chatbot designers greater control over the
classification process. We also prompt GPT-4 to also generate contrastive
examples by altering conversations with violations into acceptable
conversations. This set of borderline, contrastive examples enables the
distilled model to learn finer-grained distinctions between what is acceptable
and what is not. We find that CONSCENDI results in guardrail models that
improve over baselines.
- Abstract（参考訳）: 新しいタスクベースの仮想アシスタントの波は、GPT-4のようなより強力な大規模言語モデルによって加速されている。
これらの会話エージェントは、顧客固有のユースケースを提供するようにカスタマイズすることができるが、エージェント生成されたテキストがプロンプト命令のみに含まれるデザイナ指定ルールに適合することを保証することは困難である。
そのため、チャットボットの設計者は、しばしばガードレールモデルと呼ばれる別のモデルを使用して、エージェントの出力がルールや制約と一致していることを確認する。
我々は,GPT-4のトレーニングデータを用いて,第1モデルの出力を監視するために,ガードレールモデルに対する蒸留手法を用いて検討する。
シナリオ拡張生成と対照的なトレーニング例という,ConSCENDIプロセスの重要なステップが2つあります。
会話データを生成する場合、ルールを破る一連のシナリオを生成し、ルールに違反する可能性のあるさまざまなハイレベルな方法のセットを列挙する。
このシナリオ誘導型アプローチは、ルール違反の会話の多様なトレーニングセットを生成し、チャットボット設計者が分類プロセスをより制御できるようにする。
また、GPT-4は、違反した会話を許容できる会話に変更することで、コントラスト的な例を生成するよう促す。
この境界線の対照的な例は、蒸留されたモデルが許容されるものと許容されないものの間のよりきめ細かい区別を学習できるようにする。
CONSCENDIはベースラインよりも優れたガードレールモデルをもたらす。
関連論文リスト
- Generative Context Distillation [48.91617280112579]
Generative Context Distillation (GCD) は、ジョイントトレーニングアプローチを採用した軽量なプロンプト内在化手法である。
エージェントベースのアプリケーションシナリオにおいて,このアプローチが複雑なプロンプトを効果的に内部化することを示す。
論文 参考訳（メタデータ） (2024-11-24T17:32:20Z) - A Flexible Large Language Models Guardrail Development Methodology Applied to Off-Topic Prompt Detection [0.0]
大規模言語モデルは、ユーザーがこれらのモデルに意図した範囲を超えてタスクを実行するよう促すような、オフトピー的な誤用をしがちである。
現行のガードレールは、高い偽陽性率、限られた適応性、およびプレプロダクションでは利用できない実世界のデータを必要とする非現実性に悩まされている。
本稿では,これらの課題に対処するフレキシブルでデータフリーなガードレール開発手法を提案する。
論文 参考訳（メタデータ） (2024-11-20T00:31:23Z) - Many Hands Make Light Work: Task-Oriented Dialogue System with Module-Based Mixture-of-Experts [9.129081545049992]
タスク指向対話システムは事前学習言語モデル(PLM)の恩恵を受けている
ソフト混合型タスク指向対話システム(SMETOD)を提案する。
SMETODは、Mixture-of-Experts(MoEs)のアンサンブルを利用してサブプロブレムを最適化し、タスク指向対話のための特殊な出力を生成する。
我々は,意図予測,対話状態追跡,対話応答生成という3つのベンチマーク機能に対して,我々のモデルを広範囲に評価した。
論文 参考訳（メタデータ） (2024-05-16T01:02:09Z) - WavLLM: Towards Robust and Adaptive Speech Large Language Model [93.0773293897888]
本稿では,2つのエンコーダを持つ頑健で適応的な音声大言語モデルであるWavLLMと,プロンプト対応のLoRA重み付けアダプタを紹介する。
ASR, ST, SV, ERなどのタスクを含むユニバーサル音声ベンチマークにおいて提案手法の有効性を検証し, SQA用ガオカオ英語聴取理解セット, CoT 評価セットなどの特殊データセットに適用する。
論文 参考訳（メタデータ） (2024-03-31T12:01:32Z) - Self-regulating Prompts: Foundational Model Adaptation without
Forgetting [112.66832145320434]
本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。
PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
論文 参考訳（メタデータ） (2023-07-13T17:59:35Z) - Task-Optimized Adapters for an End-to-End Task-Oriented Dialogue System [0.0]
本稿では,タスク毎に個別に学習し,事前学習したネットワークの固定層に少数のパラメータを追加するタスク・ド・アダプタを用いたエンドツーエンドTODシステムを提案する。
提案手法はモデルに依存しない手法であり,プロンプトを使わずに入力データのみをプロンプトチューニングする必要がない。
論文 参考訳（メタデータ） (2023-05-04T00:17:49Z) - Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。
LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
論文 参考訳（メタデータ） (2023-02-22T17:44:15Z) - Stabilized In-Context Learning with Pre-trained Language Models for Few
Shot Dialogue State Tracking [57.92608483099916]
大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。
対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。
対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
論文 参考訳（メタデータ） (2023-02-12T15:05:10Z) - Making Pre-trained Language Models End-to-end Few-shot Learners with
Contrastive Prompt Tuning [41.15017636192417]
CP-Tuning(CP-Tuning)は、言語モデルのための最初のエンドツーエンドのPrompt Tuningフレームワークである。
完全にトレーニング可能なプロンプトパラメータを持つタスク不変の連続プロンプトエンコーディング技術と統合されている。
IRシステムや異なるPLMで使用される様々な言語理解タスクの実験は、CP-Tuningが最先端の手法より優れていることを示している。
論文 参考訳（メタデータ） (2022-04-01T02:24:24Z) - CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented
Dialog Systems [56.302581679816775]
本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。
命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。
これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
論文 参考訳（メタデータ） (2021-09-10T03:23:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。