論文の概要: Low-Resource Adaptation of Open-Domain Generative Chatbots

• arxiv url: http://arxiv.org/abs/2108.06329v1
• Date: Fri, 13 Aug 2021 17:40:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-16 13:14:19.635257
• Title: Low-Resource Adaptation of Open-Domain Generative Chatbots
• Title（参考訳）: オープンドメイン生成チャットボットの低リソース適応
• Authors: Greyson Gerhard-Young, Raviteja Anantha, Srinivas Chappidi, Bj\"orn Hoffmeister
• Abstract要約: 低パラメータモデルは、特定の領域を改善しながら、会話能力の一般的な知識を維持することができることを示す。 本稿では,質問型の多様さを考慮し,マルチターン会話を通して参照を追跡し,不整合性や潜在的有害な応答を除去する汎用フレームワークを提案する。 われわれのフレームワークはチャットとトランザクションタスクをシームレスに移行し、最終的にはデジタルアシスタントとの対話をより人間らしくする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work building open-domain chatbots has demonstrated that increasing model size improves performance. On the other hand, latency and connectivity considerations dictate the move of digital assistants on the device. Giving a digital assistant like Siri, Alexa, or Google Assistant the ability to discuss just about anything leads to the need for reducing the chatbot model size such that it fits on the user's device. We demonstrate that low parameter models can simultaneously retain their general knowledge conversational abilities while improving in a specific domain. Additionally, we propose a generic framework that accounts for variety in question types, tracks reference throughout multi-turn conversations, and removes inconsistent and potentially toxic responses. Our framework seamlessly transitions between chatting and performing transactional tasks, which will ultimately make interactions with digital assistants more human-like. We evaluate our framework on 1 internal and 4 public benchmark datasets using both automatic (Perplexity) and human (SSA - Sensibleness and Specificity Average) evaluation metrics and establish comparable performance while reducing model parameters by 90%.
• Abstract（参考訳）: 最近のオープンドメインチャットボットの構築は、モデルサイズの増加によるパフォーマンス向上を実証している。 一方、レイテンシと接続性を考慮すると、デバイス上のデジタルアシスタントの動きが決まる。 siriやalexa、google assistantといったデジタルアシスタントに、ほとんど何でも議論できる能力を与えることで、ユーザーのデバイスにフィットするようにチャットボットのモデルサイズを小さくする必要があります。 低パラメータモデルは、特定のドメインを改善しながら、会話能力の一般的な知識を同時に保持できることを示す。 さらに,質問型の多様性を考慮し,複数ターン会話の参照を追跡し,一貫性のない潜在的有害な応答を除去する汎用フレームワークを提案する。 われわれのフレームワークはチャットとトランザクションタスクをシームレスに移行し、最終的にはデジタルアシスタントとの対話をより人間らしくする。 提案手法は, 自動評価指標と人間評価指標の両方を用いて, 1 つの内部ベンチマークデータセットと 4 つの公開ベンチマークデータセット上で評価し, モデルパラメータを90%削減しつつ, 同等の性能を確立する。

関連論文リスト

• Enhancing Chat Language Models by Scaling High-quality Instructional Conversations [91.98516412612739]
  まず,UltraChatという,体系的に設計され,多様で,情報的,大規模な会話データセットを提供する。 我々の目標は、人間がAIアシスタントで持つであろう対話の幅を捉えることです。 我々はLLaMAモデルを微調整し、強力な対話モデルであるUltraLLaMAを作成する。
  論文  参考訳（メタデータ） (2023-05-23T16:49:14Z)
• Baize: An Open-Source Chat Model with Parameter-Efficient Tuning on Self-Chat Data [101.63682141248069]
  ChatGPTのようなチャットモデルは印象的な機能を示しており、多くのドメインで急速に採用されている。 本稿では,ChatGPTを利用して,高品質なマルチターンチャットコーパスを自動生成するパイプラインを提案する。 我々は,オープンソースの大規模言語モデルであるLLaMAを強化するために,パラメータ効率のチューニングを用いる。
  論文  参考訳（メタデータ） (2023-04-03T17:59:09Z)
• What is wrong with you?: Leveraging User Sentiment for Automatic Dialog Evaluation [73.03318027164605]
  本稿では,次のユーザの発話から自動的に抽出できる情報をプロキシとして利用して,前のシステム応答の質を測定することを提案する。 本モデルは,実際のユーザおよび有償ユーザから収集した音声と書面の両方のオープンドメインダイアログコーパスを一般化する。
  論文  参考訳（メタデータ） (2022-03-25T22:09:52Z)
• Training Conversational Agents with Generative Conversational Networks [74.9941330874663]
  我々は、生成会話ネットワークを使用して、自動的にデータを生成し、社会的会話エージェントを訓練する。 自動メトリクスと人的評価器を用いてTopicalChatのアプローチを評価し、10%のシードデータで100%のデータを使用するベースラインに近いパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-15T21:46:39Z)
• A Taxonomy of Empathetic Response Intents in Human Social Conversations [1.52292571922932]
  自然言語処理コミュニティでは、オープンドメインの会話エージェントがますます人気を高めている。 課題のひとつは、共感的な方法で会話できるようにすることです。 現在のニューラルレスポンス生成手法は、大規模な会話データからエンドツーエンドの学習のみに頼って対話を生成する。 近年,対話act/intentモデリングとニューラルレスポンス生成を組み合わせることが期待されている。
  論文  参考訳（メタデータ） (2020-12-07T21:56:45Z)
• Data-Efficient Methods for Dialogue Systems [4.061135251278187]
  会話型ユーザインタフェース(CUI)は、SiriやAlexaといったコンシューマにフォーカスした製品において、日常的に広く普及している。 ディープラーニングは、対話システムにおける最近のブレークスルーの根底にあるが、専門家によって注釈付けされることが多い、非常に大量のトレーニングデータを必要とする。 本稿では,最小限のデータから頑健な対話システムを訓練するための一連の手法を紹介する。
  論文  参考訳（メタデータ） (2020-12-05T02:51:09Z)
• Local Knowledge Powered Conversational Agents [29.966845949225792]
  ローカル知識とユーザの過去の対話の両方を取り入れた対話フレームワークを提案し,高品質な会話を生成する。 フレームワークとデータセットを用いて、局所的な知識を取り入れることで、情報性、一貫性、現実性などを大幅に改善できることを示す。 我々は,8.3Bパラメータを用いたモデルを用いて,1ターンダイアログ設定において,人間の評価によって評価された人間的な応答を生成することができる。
  論文  参考訳（メタデータ） (2020-10-20T09:34:40Z)
• The Adapter-Bot: All-In-One Controllable Conversational Model [66.48164003532484]
  本稿では、DialGPTなどの固定バックボーンモデルを用いて、異なるアダプタを介してオンデマンド対話スキルをトリガーする対話モデルを提案する。 スキルに応じて、モデルはテキスト、テーブル、強調応答などの複数の知識タイプを処理できる。 我々は,既存の会話モデルと比較し,自動評価を用いたモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-08-28T10:59:31Z)
• Learning an Unreferenced Metric for Online Dialogue Evaluation [53.38078951628143]
  本稿では,大規模な事前学習言語モデルを用いて発話の潜在表現を抽出する非参照自動評価指標を提案する。 提案手法は,オンライン環境でのアノテーションと高い相関性を実現すると同時に,推論時に比較に真の応答を必要としないことを示す。
  論文  参考訳（メタデータ） (2020-05-01T20:01:39Z)
• Recipes for building an open-domain chatbot [44.75975649076827]
  良い会話には、会話のポイントとパートナーに耳を傾け、知識、共感、パーソナリティを適切に表示する必要がある。 適切なトレーニングデータと生成戦略を選択すると、大規模なモデルでこれらのスキルを習得できることが示される。 私たちは90M、2.7B、9.4Bのパラメータモデルでこれらのレシピの変種を構築し、モデルとコードを公開しています。
  論文  参考訳（メタデータ） (2020-04-28T16:33:25Z)
• Hyperparameters optimization for Deep Learning based emotion prediction for Human Robot Interaction [0.2549905572365809]
  インセプションモジュールをベースとした畳み込みニューラルネットワークアーキテクチャを提案する。 モデルは人型ロボットNAOにリアルタイムに実装され、モデルの堅牢性を評価する。
  論文  参考訳（メタデータ） (2020-01-12T05:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。