論文の概要: Chatbot Interaction with Artificial Intelligence: Human Data Augmentation with T5 and Language Transformer Ensemble for Text Classification

• arxiv url: http://arxiv.org/abs/2010.05990v2
• Date: Thu, 22 Oct 2020 14:33:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 05:49:34.295705
• Title: Chatbot Interaction with Artificial Intelligence: Human Data Augmentation with T5 and Language Transformer Ensemble for Text Classification
• Title（参考訳）: チャットボットと人工知能: t5と言語トランスフォーマーアンサンブルによるテキスト分類による人間データ拡張
• Authors: Jordan J. Bird, Anik\'o Ek\'art, Diego R. Faria
• Abstract要約: 本稿では,タスク分類のための深層学習チャットボットの訓練へのアプローチとして,人工知能(CI-AI)フレームワークを提案する。 このインテリジェントシステムは、大量のトレーニングデータを生成するために、人工的なパラフレーズによって人為的なデータを増強する。 トレーニングデータをT5モデルで拡張すると,すべてのモデルが改善されることがわかった。
• 参考スコア（独自算出の注目度）: 2.492300648514128
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we present the Chatbot Interaction with Artificial Intelligence (CI-AI) framework as an approach to the training of deep learning chatbots for task classification. The intelligent system augments human-sourced data via artificial paraphrasing in order to generate a large set of training data for further classical, attention, and language transformation-based learning approaches for Natural Language Processing. Human beings are asked to paraphrase commands and questions for task identification for further execution of a machine. The commands and questions are split into training and validation sets. A total of 483 responses were recorded. Secondly, the training set is paraphrased by the T5 model in order to augment it with further data. Seven state-of-the-art transformer-based text classification algorithms (BERT, DistilBERT, RoBERTa, DistilRoBERTa, XLM, XLM-RoBERTa, and XLNet) are benchmarked for both sets after fine-tuning on the training data for two epochs. We find that all models are improved when training data is augmented by the T5 model, with an average increase of classification accuracy by 4.01%. The best result was the RoBERTa model trained on T5 augmented data which achieved 98.96% classification accuracy. Finally, we found that an ensemble of the five best-performing transformer models via Logistic Regression of output label predictions led to an accuracy of 99.59% on the dataset of human responses. A highly-performing model allows the intelligent system to interpret human commands at the social-interaction level through a chatbot-like interface (e.g. "Robot, can we have a conversation?") and allows for better accessibility to AI by non-technical users.
• Abstract（参考訳）: 本稿では,タスク分類のための深層学習チャットボットの訓練へのアプローチとして,Chatbot Interaction with Artificial Intelligence (CI-AI)フレームワークを提案する。 このインテリジェントシステムは、自然言語処理のための古典的、注意深い、言語変換に基づく学習アプローチのために、大量のトレーニングデータを生成するために、人工パラフレーズを使用して、人為的なデータを拡張する。 人間は、機械のさらなる実行のために、タスク識別のためのコマンドと質問を言い換えるよう求められます。 コマンドと質問は、トレーニングと検証セットに分割される。 合計483件の反応が記録された。 第2に、トレーニングセットは、さらなるデータで拡張するために、T5モデルによって言い換えられる。 7つの最先端トランスフォーマーベースのテキスト分類アルゴリズム(BERT, DistilBERT, RoBERTa, DistilRoBERTa, XLM, XLM-RoBERTa, XLNet)を2つのエポックのトレーニングデータを微調整した後にベンチマークした。 トレーニングデータをT5モデルで拡張すると,すべてのモデルが改善され,分類精度が平均4.01%向上することがわかった。 最も優れた結果は、98.96%の分類精度を達成したT5拡張データに基づいて訓練されたRoBERTaモデルであった。 最後に、出力ラベル予測のロジスティック回帰による5つの最高のトランスフォーマーモデルのアンサンブルにより、人間の反応のデータセットにおいて99.59%の精度が得られた。 高いパフォーマンスのモデルにより、インテリジェントシステムはチャットボットのようなインターフェース(例えば「ロボットは会話ができるか?」など)を通じて人間のコマンドを社会的相互作用レベルで解釈することができ、非技術ユーザによるAIへのより良いアクセシビリティを実現することができる。

関連論文リスト

• Distinguishing Chatbot from Human [1.1249583407496218]
  我々は,75万以上の人文文からなる新しいデータセットを開発した。 このデータセットに基づいて、テキストの起源を決定するために機械学習(ML)技術を適用する。 提案手法は高い分類精度を提供し,テキスト解析に有用なツールである。
  論文  参考訳（メタデータ） (2024-08-03T13:18:04Z)
• A Transformer-based Approach for Augmenting Software Engineering Chatbots Datasets [4.311626046942916]
  ソフトウェアエンジニアリングデータセットを拡張するための自動トランスフォーマーベースのアプローチを提案する。 3つのソフトウェアエンジニアリングデータセットを用いて,拡張アプローチがRasa NLUの性能に与える影響を評価する。
  論文  参考訳（メタデータ） (2024-07-16T17:48:44Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• Investigating Pre-trained Language Models on Cross-Domain Datasets, a Step Closer to General AI [0.8889304968879164]
  本研究では、事前学習された言語モデルが、異なる非言語タスクに一般化する能力について検討する。 私たちが使用した4つの事前訓練モデル、T5、BART、BERT、GPT-2は優れた結果を得た。
  論文  参考訳（メタデータ） (2023-06-21T11:55:17Z)
• Generate labeled training data using Prompt Programming and GPT-3. An example of Big Five Personality Classification [0.0]
  GPT-3におけるプロンプトプログラミングを用いて、ビッグファイブパーソナリティ特性をラベル付けした25,000の会話を生成する。 そして、これらのデータを用いてBig Five分類モデルをトレーニングし、生成した対話データと人間のアノテーションによってBig Fiveにラベル付けされた実際の会話データセットから2500データで評価する。
  論文  参考訳（メタデータ） (2023-03-22T03:12:40Z)
• RT-1: Robotics Transformer for Real-World Control at Scale [98.09428483862165]
  我々は,有望なスケーラブルなモデル特性を示す,ロボティクストランスフォーマーと呼ばれるモデルクラスを提示する。 実世界の課題を遂行する実ロボットの大規模データ収集に基づいて,様々なモデルクラスと,データサイズ,モデルサイズ,データの多様性の関数として一般化する能力について検証した。
  論文  参考訳（メタデータ） (2022-12-13T18:55:15Z)
• HaT5: Hate Language Identification using Text-to-Text Transfer Transformer [1.2532400738980594]
  比較的多様な2つのデータセットから5つのタスクにまたがる最先端技術(SoTA)アーキテクチャT5の性能について検討する。 性能向上のために,自己回帰モデルを用いてトレーニングデータを増強する。 サンプルの小さなセットを使用することで、データアノテーションが貧弱であることの難しさを明らかにします。
  論文  参考訳（メタデータ） (2022-02-11T15:21:27Z)
• Logical Reasoning for Task Oriented Dialogue Systems [57.440956636333325]
  本稿では,ロバータやT5などの変圧器モデルに対して,与えられた対話コンテキストにおける事実の集合を推論する新しい手法を提案する。 本手法は,モデルが論理関係を学習するのに役立つ合成データ生成機構を含む。 対話コンテキストが全ての必要な情報を含む場合、変換器に基づくモデルが論理的推論を行い、質問に答えることを示す。
  論文  参考訳（メタデータ） (2022-02-08T21:46:27Z)
• Few-shot learning through contextual data augmentation [74.20290390065475]
  機械翻訳モデルは、時間とともに性能を維持するために新しいデータに適応する必要がある。 一つの例から5つの例への適応が可能であることを示す。 本モデルでは,平均313個の並列例でトレーニングした基準システムよりも精度がよいことを示す。
  論文  参考訳（メタデータ） (2021-03-31T09:05:43Z)
• Investigation of Sentiment Controllable Chatbot [50.34061353512263]
  本稿では,反応の感情をスケールまたは調整する4つのモデルについて検討する。 モデルはペルソナベースのモデル、強化学習、プラグアンドプレイモデル、CycleGANである。 入力に対して応答が妥当かどうかを推定するために,機械評価メトリクスを開発する。
  論文  参考訳（メタデータ） (2020-07-11T16:04:30Z)
• Learning Predictive Models From Observation and Interaction [137.77887825854768]
  世界との相互作用から予測モデルを学ぶことで、ロボットのようなエージェントが世界がどのように働くかを学ぶことができる。 しかし、複雑なスキルのダイナミクスを捉えるモデルを学ぶことは大きな課題である。 本研究では,人間などの他のエージェントの観察データを用いて,トレーニングセットを増強する手法を提案する。
  論文  参考訳（メタデータ） (2019-12-30T01:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。