Fugu-MT 論文翻訳(概要): A Knowledge-Grounded Dialog System Based on Pre-Trained Language Models

論文の概要: A Knowledge-Grounded Dialog System Based on Pre-Trained Language Models

arxiv url: http://arxiv.org/abs/2106.14444v1
Date: Mon, 28 Jun 2021 07:56:10 GMT
ステータス: 処理完了
システム内更新日: 2021-06-29 22:19:50.561256
Title: A Knowledge-Grounded Dialog System Based on Pre-Trained Language Models
Title（参考訳）: 事前学習した言語モデルに基づく知識接地対話システム
Authors: Weijie Zhang, Jiaoxuan Chen, Haipang Wu, Sanhui Wan, Gongfeng Li
Abstract要約: 第9回対話システム技術チャレンジ(DSTC9)のために開発された知識基底ダイアログシステムを提案する。既存の言語モデルによるトランスファー学習を活用して,課題トラックのタスクを達成します。
参考スコア（独自算出の注目度）: 0.7699714865575189
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present a knowledge-grounded dialog system developed for the ninth Dialog System Technology Challenge (DSTC9) Track 1 - Beyond Domain APIs: Task-oriented Conversational Modeling with Unstructured Knowledge Access. We leverage transfer learning with existing language models to accomplish the tasks in this challenge track. Specifically, we divided the task into four sub-tasks and fine-tuned several Transformer models on each of the sub-tasks. We made additional changes that yielded gains in both performance and efficiency, including the combination of the model with traditional entity-matching techniques, and the addition of a pointer network to the output layer of the language model.
Abstract（参考訳）: 本稿では,9回目となるDialog System Technology Challenge (DSTC9) Track 1 - Beyond Domain APIs: Task-oriented Conversational Modeling with Unstructured Knowledge Accessについて述べる。既存の言語モデルによるトランスファー学習を活用して,課題トラックのタスクを達成します。具体的には,タスクを4つのサブタスクに分割し,各サブタスク上で複数のトランスフォーマーモデルを微調整した。従来のエンティティマッチング技術とモデルの組み合わせや,言語モデルの出力層へのポインタネットワークの追加など,パフォーマンスと効率の両面での利益をもたらすような変更を加えました。

関連論文リスト

VioLA: Unified Codec Language Models for Speech Recognition, Synthesis, and Translation [91.39949385661379]
VioLAは1つの自動回帰トランスフォーマーデコーダのみのネットワークで、音声とテキストを含む様々なモーダルタスクを統合する。まず、オフラインのニューラルエンコーダを用いて、全ての発話を個別のトークンに変換する。さらに,タスクID(TID)と言語ID(LID)をモデルに統合し,異なる言語やタスクを扱うモデリング能力を向上させる。
論文参考訳（メタデータ） (2023-05-25T14:39:47Z)
DialogZoo: Large-Scale Dialog-Oriented Task Learning [52.18193690394549]
我々は,多種多様な対話課題を解くための統合基盤モデルの構築を目指している。この目的を達成するために、73の公開データセットから、まず大規模なラベル付き対話データセットを収集する。
論文参考訳（メタデータ） (2022-05-25T11:17:16Z)
A Study on Prompt-based Few-Shot Learning Methods for Belief State Tracking in Task-oriented Dialog Systems [10.024834304960846]
タスク指向対話システムにおける対話的状態追跡問題に取り組む。この問題に対する最近のアプローチでは、Transformerベースのモデルが大きな成果を上げている。対話的信念状態追跡のためのプロンプトベース数ショット学習について検討する。
論文参考訳（メタデータ） (2022-04-18T05:29:54Z)
Towards Generalized Models for Task-oriented Dialogue Modeling on Spoken Conversations [22.894541507068933]
本稿では,DSTC-10の音声対話課題における知識ベースタスク指向対話モデリングのための一般化モデルの構築について述べる。我々は,人工誤り注入やラウンドトリップ音声変換など,手書きデータに対する広範なデータ拡張戦略を採用している。本手法は, 客観的評価では3位, 最終公式評価では2位である。
論文参考訳（メタデータ） (2022-03-08T12:26:57Z)
GKS: Graph-based Knowledge Selector for Task-oriented Dialog System [0.688204255655161]
グラフ知識セレクタ(GKS)は、第9回対話システム技術チャレンジ(DSTC9)の知識選択に基づくデータセットで提案されたSOTAモデルより優れている GKSは、逐次的特徴を伴わずに、言語モデルから生成された各知識の埋め込みを同時に考慮して、ダイアログにおける知識選択決定を行う。
論文参考訳（メタデータ） (2021-12-07T14:16:26Z)
Multi-Task Pre-Training for Plug-and-Play Task-Oriented Dialogue System [26.837972034630003]
PPTODはタスク指向対話のための統一的なプラグアンドプレイモデルである。エンド・ツー・エンドの対話モデル、対話状態追跡、意図分類を含む3つのベンチマークTODタスクにおいて、我々のモデルを広範囲にテストする。
論文参考訳（メタデータ） (2021-09-29T22:02:18Z)
Overview of the Ninth Dialog System Technology Challenge: DSTC9 [111.35889309106359]
第9回対話システム技術チャレンジ(DSTC-9)は、対話システムにおける4つの異なるタスクにエンドツーエンドの対話技術を適用することに焦点を当てている。本稿では,各トラックのタスク定義,データセット,ベースライン,評価設定について述べる。
論文参考訳（メタデータ） (2020-11-12T16:43:10Z)
On Task-Level Dialogue Composition of Generative Transformer Model [9.751234480029765]
本研究では,トランスフォーマー生成モデルにおけるヒューマン・ヒューマン・タスク指向対話の学習効果について検討した。そこで本研究では,(1)人間と人間による単一タスク対話から学習のための複合タスク対話データを作成すること,(2)補助的損失を用いてエンコーダ表現を単一タスク対話に不変にすること,の2つの方法を提案する。
論文参考訳（メタデータ） (2020-10-09T22:10:03Z)
Video-Grounded Dialogues with Pretrained Generation Language Models [88.15419265622748]
我々は、ビデオ地上対話を改善するために、事前学習された言語モデルのパワーを利用する。本稿では,シーケンス・ツー・グラウンドの対話タスクを,シーケンス・トゥ・グラウンドのタスクとして定式化するフレームワークを提案する。我々のフレームワークは、微調整の言語モデルで複数のモダリティにまたがる依存関係をキャプチャできる。
論文参考訳（メタデータ） (2020-06-27T08:24:26Z)
SOLOIST: Building Task Bots at Scale with Transfer Learning and Machine Teaching [81.45928589522032]
トランスフォーマーに基づく自動回帰言語モデルを用いて,モジュール型タスク指向対話システムをパラメータ化する。タスクグラウンド応答生成モデルである異種ダイアログコーパスの事前学習を行う。実験により、SOLOISTは、よく研究されたタスク指向のダイアログベンチマーク上で、新しい最先端のダイアログを生成する。
論文参考訳（メタデータ） (2020-05-11T17:58:34Z)
TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue [113.45485470103762]
本研究では,言語モデリングのためのタスク指向対話データセットを,人間とマルチターンの9つに統合する。事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。
論文参考訳（メタデータ） (2020-04-15T04:09:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。