Fugu-MT 論文翻訳(概要): Improvement of a dedicated model for open domain persona-aware dialogue generation

論文の概要: Improvement of a dedicated model for open domain persona-aware dialogue generation

arxiv url: http://arxiv.org/abs/2008.11970v1
Date: Thu, 27 Aug 2020 07:53:47 GMT
ステータス: 処理完了
システム内更新日: 2022-10-24 07:44:01.378088
Title: Improvement of a dedicated model for open domain persona-aware dialogue generation
Title（参考訳）: オープンドメインペルソナ・アウェア対話生成のための専用モデルの改良
Authors: Qiang Han
Abstract要約: 本稿では,近年のトランスフォーマーアーキテクチャの高速化と性能向上手法について述べる。ここでの専用モデルはオープンドメインのペルソナ認識対話生成モデルを指し、データセットは複数ターンのショートダイアログである。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper analyzes some speed and performance improvement methods of Transformer architecture in recent years, mainly its application in dedicated model training. The dedicated model studied here refers to the open domain persona-aware dialogue generation model, and the dataset is multi turn short dialogue, The total length of a single input sequence is no more than 105 tokens. Therefore, many improvements in the architecture and attention mechanism of transformer architecture for long sequence processing are not discussed in this paper. The source code of the experiments has been open sourced: https://github.com/ghosthamlet/persona
Abstract（参考訳）: 本稿では,近年の変圧器アーキテクチャの高速化と性能向上手法について,主に専用モデルトレーニングへの適用について検討する。ここで研究する専用モデルは、オープンドメインのペルソナ・アウェア対話生成モデルを参照し、データセットはマルチターン・ショート対話であり、単一の入力シーケンスの総長は105トークン以下である。そこで本論文では,長周期処理のためのトランスアーキテクチャのアーキテクチャとアテンション機構の多くの改善について論じる。実験のソースコードがオープンソース化された。 https://github.com/ghosthamlet/persona

関連論文リスト

Demystifying the Communication Characteristics for Distributed Transformer Models [2.849208476795592]
本稿ではトランスモデルの通信挙動について検討する。我々はGPTに基づく言語モデルをトランスフォーマーアーキテクチャの汎用性によるケーススタディとして用いている。高いレベルでは、我々の分析により、より小さなメッセージポイントツーポイント通信を最適化する必要性が明らかになる。
論文参考訳（メタデータ） (2024-08-19T17:54:29Z)
Transformer Architecture for NetsDB [0.0]
我々はNetsDBで機能するディープラーニングモデルのためのトランスフォーマーのエンドツーエンド実装を作成します。分散処理、デプロイメント、効率的な推論のために、当社のモデルから重みをロードします。
論文参考訳（メタデータ） (2024-05-08T04:38:36Z)
Controllable Factuality in Document-Grounded Dialog Systems Using a Noisy Channel Model [40.05826687535019]
ベイズ定理により2つの成分に分解されたダイアログにおける文書基底応答生成モデルを提案する。我々は,複数のオープンドメインおよびタスク指向文書グラウンドド・ダイアログ・データセットに対して,近似復号方式を提案し,我々のアプローチを評価する。
論文参考訳（メタデータ） (2022-10-31T15:48:01Z)
GODEL: Large-Scale Pre-Training for Goal-Directed Dialog [119.1397031992088]
ダイアログのための大規模事前学習言語モデルであるGODELを紹介する。 GODELは、数ショットの微調整設定で、最先端の事前訓練ダイアログモデルより優れていることを示す。評価手法の新たな特徴は,応答の有用性を評価するユーティリティの概念の導入である。
論文参考訳（メタデータ） (2022-06-22T18:19:32Z)
DialogVED: A Pre-trained Latent Variable Encoder-Decoder Model for Dialog Response Generation [80.45816053153722]
DialogVEDは、拡張エンコーダデコーダ事前トレーニングフレームワークに連続潜伏変数を導入し、応答の関連性と多様性を高める。我々は,PersonaChat,DailyDialog,DSTC7-AVSDベンチマークを用いて応答生成実験を行った。
論文参考訳（メタデータ） (2022-04-27T16:18:15Z)
Ranking Enhanced Dialogue Generation [77.8321855074999]
対話履歴を効果的に活用する方法は、マルチターン対話生成において重要な問題である。これまでの研究は通常、歴史をモデル化するために様々なニューラルネットワークアーキテクチャを使用していた。本稿では,ランキング拡張対話生成フレームワークを提案する。
論文参考訳（メタデータ） (2020-08-13T01:49:56Z)
Beyond 512 Tokens: Siamese Multi-depth Transformer-based Hierarchical Encoder for Long-Form Document Matching [28.190001111358438]
長文文書マッチングのためのシームズ多層変換器を用いたSMITHを提案する。我々のモデルには、より長いテキスト入力に自己注意モデルを適用するためのいくつかの革新が含まれている。われわれはウィキペディアベースのベンチマークデータセット、コード、トレーニング済みのチェックポイントをオープンソース化し、長文文書マッチングの今後の研究を加速する。
論文参考訳（メタデータ） (2020-04-26T07:04:08Z)
Paraphrase Augmented Task-Oriented Dialog Generation [68.1790912977053]
本稿では,パラフレーズモデルと応答生成モデルを協調訓練するパラフレーズ拡張応答生成(PARG)フレームワークを提案する。また、ダイアログ状態とダイアログアクトラベルに基づいて、パラフレーズトレーニングデータセットを自動構築する手法も設計する。
論文参考訳（メタデータ） (2020-04-16T05:12:36Z)
DSTC8-AVSD: Multimodal Semantic Transformer Network with Retrieval Style Word Generator [61.70748716353692]
オーディオ・ビジュアル・シーン・アウェア・ダイアログ(AVSD)は、あるシーン、ビデオ、オーディオ、ダイアログの前のターン履歴で質問に対する応答を生成するタスクである。このタスクの既存のシステムは、エンコーダ-デコーダフレームワークを備えたトランスフォーマーまたはリカレントニューラルネットワークベースのアーキテクチャを採用している。本稿では,マルチモーダル・セマンティック・トランスフォーマー・ネットワークを提案し,単語の埋め込みを問合せすることで単語を生成する単語埋め込み層を備えたトランスフォーマー・アーキテクチャを提案する。
論文参考訳（メタデータ） (2020-04-01T07:10:08Z)
Variational Hierarchical Dialog Autoencoder for Dialog State Tracking Data Augmentation [59.174903564894954]
本研究では,この手法を,ゴール指向対話のための対話状態追跡タスクに拡張する。目的指向ダイアログの完全な側面をモデル化するための変分階層型ダイアログオートエンコーダ(VHDA)を提案する。各種ダイアログデータセットを用いた実験により、生成データ拡張による下流ダイアログトラッカーのロバスト性の向上が示された。
論文参考訳（メタデータ） (2020-01-23T15:34:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。