論文の概要: A Conditional Generative Chatbot using Transformer Model
- arxiv url: http://arxiv.org/abs/2306.02074v1
- Date: Sat, 3 Jun 2023 10:35:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-06 20:26:16.339426
- Title: A Conditional Generative Chatbot using Transformer Model
- Title（参考訳）: 変圧器モデルを用いた条件付き生成チャットボット
- Authors: Nura Esfandiari, Kourosh Kiani, Razieh Rastgoo
- Abstract要約: 生成的回答は、人間と機械との間のコミュニケーションツールとして機能し、人間の入力に基づいて適切な回答を達成する。
本稿では,条件付きGene Adrial Networksと代々応答するトランスフォーマーモデルを用いて,新しいエンドツーエンドアーキテクチャを提案する。
The proposed model on the Cornell Movie-Dialog corpus and the Chit-Chat datas confirm the superiority of the proposed model than the state-of-the-art alternatives。
- 参考スコア（独自算出の注目度）: 30.303988078888217
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: A Chatbot serves as a communication tool between a human user and a machine
to achieve an appropriate answer based on the human input. In more recent
approaches, a combination of Natural Language Processing and sequential models
are used to build a generative Chatbot. The main challenge of these models is
their sequential nature, which leads to less accurate results. To tackle this
challenge, in this paper, a novel end-to-end architecture is proposed using
conditional Wasserstein Generative Adversarial Networks and a transformer model
for answer generation in Chatbots. While the generator of the proposed model
consists of a full transformer model to generate an answer, the discriminator
includes only the encoder part of a transformer model followed by a classifier.
To the best of our knowledge, this is the first time that a generative Chatbot
is proposed using the embedded transformer in both generator and discriminator
models. Relying on the parallel computing of the transformer model, the results
of the proposed model on the Cornell Movie-Dialog corpus and the Chit-Chat
datasets confirm the superiority of the proposed model compared to
state-of-the-art alternatives using different evaluation metrics.
- Abstract（参考訳）: チャットボットは、人間と機械との間のコミュニケーションツールとして機能し、人間の入力に基づいて適切な回答を達成する。
より最近のアプローチでは、生成的なチャットボットを構築するために自然言語処理とシーケンシャルモデルを組み合わせています。
これらのモデルの主な課題はシーケンシャルな性質であり、その結果はより正確ではない。
この課題に対処するために,条件付きワッサースタイン生成適応ネットワークとChatbotにおける応答生成のためのトランスフォーマーモデルを用いて,新しいエンドツーエンドアーキテクチャを提案する。
提案モデルの生成元は答えを生成するためのフルトランスモデルから構成される一方、識別器は変換器モデルのエンコーダ部のみを含み、次に分類器が続く。
我々の知る限りでは、生成型Chatbotがジェネレータと識別器モデルの両方に組込み変換器を用いて提案されたのはこれが初めてである。
変圧器モデルの並列計算に依拠して,提案モデルのコーネル・ムービー・ダイアログ・コーパスとchit-chatデータセットによる評価結果から,提案モデルが,評価指標の異なる最先端の代替品と比較して優れていることを確認した。
関連論文リスト
- Distinguishing Chatbot from Human [1.1249583407496218]
我々は,75万以上の人文文からなる新しいデータセットを開発した。
このデータセットに基づいて、テキストの起源を決定するために機械学習(ML)技術を適用する。
提案手法は高い分類精度を提供し,テキスト解析に有用なツールである。
論文 参考訳（メタデータ） (2024-08-03T13:18:04Z) - Representing Rule-based Chatbots with Transformers [35.30128900987116]
ELIZAプログラムを実装したTransformerを構築することで,先行作業に基づいて構築する。
ELIZAは会話設定の際立った課題をいくつか挙げている。
我々は、合成されたERIZA会話のデータセット上でトランスフォーマーを訓練し、モデルが学習するメカニズムを調査する。
論文 参考訳（メタデータ） (2024-07-15T17:45:53Z) - Computational Argumentation-based Chatbots: a Survey [0.4024850952459757]
本調査は,このような議論に基づくボットに関する論文をレビューするために,文献を精査する。
このアプローチの欠点とメリットについて結論を導きます。
また、Transformerベースのアーキテクチャや最先端の大規模言語モデルとの将来の開発や統合も検討している。
論文 参考訳（メタデータ） (2024-01-07T11:20:42Z) - Probabilistic Transformer: A Probabilistic Dependency Model for
Contextual Word Representation [52.270712965271656]
本稿では,文脈表現の新しいモデルを提案する。
モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。
実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
論文 参考訳（メタデータ） (2023-11-26T06:56:02Z) - Transformer Based Bengali Chatbot Using General Knowledge Dataset [0.0]
本研究では,ベンガルの一般知識質問応答(QA)データセットに基づいて,ベンガルの一般知識チャットボットに対してトランスフォーマーモデルを適用した。
適用QAデータに対して85.0BLEUをスコアし、トランスフォーマーモデルの性能の比較を確認するために、23.5BLEUのスコアを持つデータセットに着目してセック2seqモデルを訓練した。
論文 参考訳（メタデータ） (2021-11-06T18:33:20Z) - Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。
我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。
本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
論文 参考訳（メタデータ） (2021-08-31T19:39:55Z) - Auto-tagging of Short Conversational Sentences using Natural Language
Processing Methods [0.0]
手動で10の基本的なカテゴリに約14万のビジターインプットをタグ付けしました。
我々は3種類の最先端モデルを検討し、自動タグ付け機能について報告した。
これらの実験で使用されるモデルの実装は、GitHubリポジトリからクローンすることができ、同様の自動タグ問題に対して、多くの労力なしでテストできます。
論文 参考訳（メタデータ） (2021-06-09T10:14:05Z) - Parameter Efficient Multimodal Transformers for Video Representation
Learning [108.8517364784009]
本研究は,映像表現学習におけるマルチモーダルトランスフォーマーのパラメータの削減に焦点をあてる。
このアプローチではパラメータを80$%まで削減し、モデルのエンドツーエンドをスクラッチからトレーニングできるようにしています。
本研究では,Kinetics-700から30秒のクリップをプレトレーニングし,それを音声視覚分類タスクに転送する。
論文 参考訳（メタデータ） (2020-12-08T00:16:13Z) - Long Range Arena: A Benchmark for Efficient Transformers [115.1654897514089]
ロングレンジアリーナベンチマーク(Long-rangearena benchmark)は、1Kドルから16Kドルまでの一連のタスクからなるスイートである。
我々は,新たに提案したベンチマークスイートを用いて,よく確立された10種類の長距離トランスフォーマーモデルを体系的に評価した。
論文 参考訳（メタデータ） (2020-11-08T15:53:56Z) - Investigation of Sentiment Controllable Chatbot [50.34061353512263]
本稿では,反応の感情をスケールまたは調整する4つのモデルについて検討する。
モデルはペルソナベースのモデル、強化学習、プラグアンドプレイモデル、CycleGANである。
入力に対して応答が妥当かどうかを推定するために,機械評価メトリクスを開発する。
論文 参考訳（メタデータ） (2020-07-11T16:04:30Z) - Variational Transformers for Diverse Response Generation [71.53159402053392]
変分変換器(VT)は、変分自己注意フィードフォワードシーケンスモデルである。
VTはトランスフォーマーの並列化性と大域的受容場計算とCVAEの変動特性を組み合わせる。
本稿では,1)大域潜伏変数を用いた談話レベルの多様性のモデル化,2)細粒潜伏変数の列によるトランスフォーマーデコーダの拡張,の2種類のVTについて検討する。
論文 参考訳（メタデータ） (2020-03-28T07:48:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。