論文の概要: CONSCENDI: A Contrastive and Scenario-Guided Distillation Approach to
Guardrail Models for Virtual Assistants
- arxiv url: http://arxiv.org/abs/2304.14364v1
- Date: Thu, 27 Apr 2023 17:39:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-28 12:12:36.992322
- Title: CONSCENDI: A Contrastive and Scenario-Guided Distillation Approach to
Guardrail Models for Virtual Assistants
- Title(参考訳): ConSCENDI:仮想アシスタント用ガードレールモデルに対する対照的かつシナリオガイド付き蒸留法
- Authors: Albert Yu Sun, Varun Nair, Elliot Schumacher, Anitha Kannan
- Abstract要約: 新しいタスクベースの仮想アシスタントの波は、GPT-4のようなより強力な大規模言語モデルによって加速されている。
これらの会話エージェントは、顧客固有のユースケースを提供するようにカスタマイズすることができるが、エージェント生成テキストがデザイナが指定したルールに準拠していることを保証することは困難である。
蒸留法を用いて, GPT-4のトレーニングデータを用いて第1モデルの出力をモニタリングする。
CONSCENDIはベースラインよりも優れたガードレールモデルをもたらす。
- 参考スコア(独自算出の注目度): 5.562984399879218
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A wave of new task-based virtual assistants has been fueled by increasingly
powerful large language models, such as GPT-4. These conversational agents can
be customized to serve customer-specific use cases, but ensuring that
agent-generated text conforms to designer-specified rules included in prompt
instructions alone is challenging. Therefore, chatbot designers often use
another model, called a guardrail model, to verify that the agent output aligns
with their rules and constraints. We explore using a distillation approach to
guardrail models to monitor the output of the first model using training data
from GPT-4. We find two crucial steps to our CONSCENDI process:
scenario-augmented generation and contrastive training examples. When
generating conversational data, we generate a set of rule-breaking scenarios,
which enumerate a diverse set of high-level ways a rule can be violated. This
scenario-guided approach produces a diverse training set of rule-violating
conversations, and it provides chatbot designers greater control over the
classification process. We also prompt GPT-4 to also generate contrastive
examples by altering conversations with violations into acceptable
conversations. This set of borderline, contrastive examples enables the
distilled model to learn finer-grained distinctions between what is acceptable
and what is not. We find that CONSCENDI results in guardrail models that
improve over baselines.
- Abstract(参考訳): 新しいタスクベースの仮想アシスタントの波は、GPT-4のようなより強力な大規模言語モデルによって加速されている。
これらの会話エージェントは、顧客固有のユースケースを提供するようにカスタマイズすることができるが、エージェント生成されたテキストがプロンプト命令のみに含まれるデザイナ指定ルールに適合することを保証することは困難である。
そのため、チャットボットの設計者は、しばしばガードレールモデルと呼ばれる別のモデルを使用して、エージェントの出力がルールや制約と一致していることを確認する。
我々は,GPT-4のトレーニングデータを用いて,第1モデルの出力を監視するために,ガードレールモデルに対する蒸留手法を用いて検討する。
シナリオ拡張生成と対照的なトレーニング例という,ConSCENDIプロセスの重要なステップが2つあります。
会話データを生成する場合、ルールを破る一連のシナリオを生成し、ルールに違反する可能性のあるさまざまなハイレベルな方法のセットを列挙する。
このシナリオ誘導型アプローチは、ルール違反の会話の多様なトレーニングセットを生成し、チャットボット設計者が分類プロセスをより制御できるようにする。
また、GPT-4は、違反した会話を許容できる会話に変更することで、コントラスト的な例を生成するよう促す。
この境界線の対照的な例は、蒸留されたモデルが許容されるものと許容されないものの間のよりきめ細かい区別を学習できるようにする。
CONSCENDIはベースラインよりも優れたガードレールモデルをもたらす。
関連論文リスト
- Can LLMs Follow Simple Rules? [28.73820874333199]
ルール追従言語評価シナリオ(ルール追従言語評価シナリオ、RuLES)は、大規模言語モデルにおけるルール追従能力を測定するためのフレームワークである。
RuLESは14の単純なテキストシナリオで構成され、そこではモデルがユーザと対話しながら様々なルールに従うように指示される。
現在のほとんどのモデルは、単純なテストケースであっても、シナリオルールに従うのに苦労しています。
論文 参考訳(メタデータ) (2023-11-06T08:50:29Z) - ICLEF: In-Context Learning with Expert Feedback for Explainable Style
Transfer [24.046784201078292]
本稿では,ChatGPTのモデル蒸留による説明により,形式性スタイルの転送データセットを拡張・改善するためのフレームワークを提案する。
我々は9,960個の説明可能なフォーマルなスタイル転送インスタンス(e-AFCGY)のデータセットを用いて、現在のオープン分散命令チューニングモデルがタスクに対して不十分であることを示す。
人間の評価では、データに微調整されたChatGPTよりもはるかに小さいモデルが、専門家の好みとよく一致していることが示される。
論文 参考訳(メタデータ) (2023-09-15T17:41:14Z) - Self-regulating Prompts: Foundational Model Adaptation without
Forgetting [112.66832145320434]
本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。
PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
論文 参考訳(メタデータ) (2023-07-13T17:59:35Z) - Pre-training Multi-party Dialogue Models with Latent Discourse Inference [85.9683181507206]
我々は、多人数対話の会話構造、すなわち、各発話が応答する相手を理解するモデルを事前訓練する。
ラベル付きデータを完全に活用するために,談話構造を潜在変数として扱い,それらを共同で推論し,談話認識モデルを事前学習することを提案する。
論文 参考訳(メタデータ) (2023-05-24T14:06:27Z) - Controllable Mixed-Initiative Dialogue Generation through Prompting [50.03458333265885]
混合開始対話タスクには、情報の繰り返し交換と会話制御が含まれる。
エージェントは、ポリシープランナーが定める特定の対話意図や戦略に従う応答を生成することにより、コントロールを得る。
標準的なアプローチは、これらの意図に基づいて生成条件を実行するために、訓練済みの言語モデルを微調整している。
代わりに、条件生成の微調整に代えて、大きな言語モデルをドロップインで置き換えるように促します。
論文 参考訳(メタデータ) (2023-05-06T23:11:25Z) - Stabilized In-Context Learning with Pre-trained Language Models for Few
Shot Dialogue State Tracking [57.92608483099916]
大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。
対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。
対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
論文 参考訳(メタデータ) (2023-02-12T15:05:10Z) - BERT-ERC: Fine-tuning BERT is Enough for Emotion Recognition in
Conversation [19.663265448700002]
会話における感情認識(ERC)に関するこれまでの研究は、2段階のパラダイムを踏襲している。
本研究では,文脈情報と対話構造情報を微調整段階において探索する新しいパラダイムを提案する。
本稿では,提案パラダイムに従って,ERC モデル BERT-ERC を開発し,ERC の性能を3つの面で向上させる。
論文 参考訳(メタデータ) (2023-01-17T08:03:32Z) - Deploying a Retrieval based Response Model for Task Oriented Dialogues [8.671263996400844]
タスク指向の対話システムは会話能力が高く、状況の変化に容易に適応でき、ビジネス上の制約に適合する必要がある。
本稿では,これらの基準を満たす対話モデルを開発するための3段階の手順について述べる。
論文 参考訳(メタデータ) (2022-10-25T23:10:19Z) - DialogVED: A Pre-trained Latent Variable Encoder-Decoder Model for
Dialog Response Generation [80.45816053153722]
DialogVEDは、拡張エンコーダデコーダ事前トレーニングフレームワークに連続潜伏変数を導入し、応答の関連性と多様性を高める。
我々は,PersonaChat,DailyDialog,DSTC7-AVSDベンチマークを用いて応答生成実験を行った。
論文 参考訳(メタデータ) (2022-04-27T16:18:15Z) - Paraphrase Generation as Unsupervised Machine Translation [30.99150547499427]
タスクを教師なし機械翻訳(UMT)として扱うことで、新しいパラフレーズ生成パラダイムを提案する。
提案したパラダイムは,まず大きなラベルのないコーパスを複数のクラスタに分割し,これらのクラスタのペアを用いて複数のUTTモデルを訓練する。
すると、これらのUTTモデルによって生成されたパラフレーズペアに基づいて、統一的なサロゲートモデルが最後のSeq2Seqモデルとして機能してパラフレーズを生成するように訓練することができる。
論文 参考訳(メタデータ) (2021-09-07T09:08:58Z) - A Tailored Pre-Training Model for Task-Oriented Dialog Generation [60.05269529832447]
タスク指向対話システムのための事前訓練された役割交替言語モデル(PRAL)を提案する。
13個の既存のデータセットをクリーニングすることでタスク指向の対話事前学習データセットを導入する。
その結果,PRALは最先端の手法と同等以上の性能を示した。
論文 参考訳(メタデータ) (2020-04-24T09:25:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。