論文の概要: Empathetic BERT2BERT Conversational Model: Learning Arabic Language
Generation with Little Data
- arxiv url: http://arxiv.org/abs/2103.04353v1
- Date: Sun, 7 Mar 2021 13:23:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-09 15:45:22.922031
- Title: Empathetic BERT2BERT Conversational Model: Learning Arabic Language
Generation with Little Data
- Title（参考訳）: 共感的BERT2BERT会話モデル:少ないデータでアラビア語生成を学習する
- Authors: Tarek Naous, Wissam Antoun, Reem A. Mahmoud, and Hazem Hajj
- Abstract要約: AraBERTパラメータを持つトランスベースのエンコーダデコーダを提案する。
エンコーダとデコーダの重みをアラマント事前訓練された重みで初期化することで,知識伝達を活用できた。
本モデルでは, 従来モデルと比較して, 17.0 の低パープレキシティ値と 5 bleu ポイントの増大を達成した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Enabling empathetic behavior in Arabic dialogue agents is an important aspect
of building human-like conversational models. While Arabic Natural Language
Processing has seen significant advances in Natural Language Understanding
(NLU) with language models such as AraBERT, Natural Language Generation (NLG)
remains a challenge. The shortcomings of NLG encoder-decoder models are
primarily due to the lack of Arabic datasets suitable to train NLG models such
as conversational agents. To overcome this issue, we propose a
transformer-based encoder-decoder initialized with AraBERT parameters. By
initializing the weights of the encoder and decoder with AraBERT pre-trained
weights, our model was able to leverage knowledge transfer and boost
performance in response generation. To enable empathy in our conversational
model, we train it using the ArabicEmpatheticDialogues dataset and achieve high
performance in empathetic response generation. Specifically, our model achieved
a low perplexity value of 17.0 and an increase in 5 BLEU points compared to the
previous state-of-the-art model. Also, our proposed model was rated highly by
85 human evaluators, validating its high capability in exhibiting empathy while
generating relevant and fluent responses in open-domain settings.
- Abstract（参考訳）: アラビア語対話エージェントにおける共感行動の実現は、人間のような会話モデルを構築する上で重要な側面である。
アラビア自然言語処理はAraBERTのような言語モデルで自然言語理解(NLU)に大きな進歩を遂げているが、自然言語生成(NLG)は依然として課題である。
NLGエンコーダデコーダモデルの欠点は、主に会話エージェントなどのNLGモデルのトレーニングに適したアラビア語データセットがないためです。
そこで本論文では,AraBERTパラメータを初期化したトランスベースのエンコーダデコーダを提案する。
エンコーダとデコーダの重みをAraBERT事前学習重みで初期化することにより,本モデルでは知識伝達の活用と応答生成の性能向上を実現した。
会話モデルにおける共感を可能にするために, arabicempatheticdialoguesデータセットを用いて学習し, 共感応答生成における高いパフォーマンスを達成する。
具体的には,従来の最先端モデルと比較して,低パープレキシティ値 17.0 と 5 BLEU 点の増加を達成した。
また,提案モデルは85人の評価者によって高く評価され,オープンドメイン設定において,共感を呈示する上で高い能力が検証された。
関連論文リスト
- On the importance of Data Scale in Pretraining Arabic Language Models [46.431706010614334]
アラビア事前訓練言語モデル(PLM)におけるデータの役割に関する総合的研究を行う。
我々は、大規模で高品質なアラビアコーパスを用いて、最先端のアラビアPLMの性能を再評価する。
我々の分析は、データの事前学習がパフォーマンスの主要な要因であり、他の要因を超えていることを強く示唆している。
論文 参考訳（メタデータ） (2024-01-15T15:11:15Z) - Enhancing Chat Language Models by Scaling High-quality Instructional
Conversations [91.98516412612739]
まず,UltraChatという,体系的に設計され,多様で,情報的,大規模な会話データセットを提供する。
我々の目標は、人間がAIアシスタントで持つであろう対話の幅を捉えることです。
我々はLLaMAモデルを微調整し、強力な対話モデルであるUltraLLaMAを作成する。
論文 参考訳（メタデータ） (2023-05-23T16:49:14Z) - Extrapolating Multilingual Understanding Models as Multilingual
Generators [82.1355802012414]
本稿では,多言語理解モデルに統一モデルを得るための生成能力を付与する手法について検討する。
少数の新しいパラメータを持つ多言語ジェネレータにエンコーダを適用するために,textbfSemantic-textbfGuided textbfAlignment-then-Denoising (SGA)アプローチを提案する。
論文 参考訳（メタデータ） (2023-05-22T15:33:21Z) - Neural Models for Offensive Language Detection [0.0]
攻撃的言語検出は、成長を続ける自然言語処理(NLP)アプリケーションである。
このような有害なコンテンツと戦うために、さまざまな機械学習モデルの改善と比較に貢献することが、この論文の重要な、挑戦的な目標である、と私たちは信じています。
論文 参考訳（メタデータ） (2021-05-30T13:02:45Z) - Generative Adversarial Imitation Learning for Empathy-based AI [0.0]
GAIL(Generative Adversarial mimicion Learning)は、高次元環境における複雑な振る舞いを模倣する強力な結果をもたらすモデルのないアルゴリズムである。
本稿では,GAILモデルをテキスト生成に利用し,共感に基づく文脈認識型会話型AIを開発する。
論文 参考訳（メタデータ） (2021-05-27T17:37:37Z) - AraGPT2: Pre-Trained Transformer for Arabic Language Generation [0.0]
我々は,インターネットテキストとニュース記事の巨大なアラビア語コーパスをスクラッチから学習した,最初の先進アラビア語言語生成モデルであるalagpt2を開発した。
当社の最大のモデルであるAraGPT2-megaは、1.46億のパラメータを持ち、アラビア言語モデルとして最大です。
テキスト生成では、wikipediaの記事に29.8のパープレキシティを達成する。
論文 参考訳（メタデータ） (2020-12-31T09:48:05Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z) - Plug-and-Play Conversational Models [62.77150879036442]
我々はデコード時にさらなる計算を必要としないアプローチを導入し、また大きな言語モデルの微調整も必要としない。
我々は、広範囲な自動的・人的評価を通じて、複数の望ましい属性について、生成した会話応答に対する高い制御を実証する。
論文 参考訳（メタデータ） (2020-10-09T03:17:51Z) - InfoBERT: Improving Robustness of Language Models from An Information
Theoretic Perspective [84.78604733927887]
BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。
近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。
本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
論文 参考訳（メタデータ） (2020-10-05T20:49:26Z) - ParsBERT: Transformer-based Model for Persian Language Understanding [0.7646713951724012]
本稿ではペルシャ語用単言語BERT(ParsBERT)を提案する。
他のアーキテクチャや多言語モデルと比較すると、最先端のパフォーマンスを示している。
ParsBERTは、既存のデータセットや合成データセットを含む、すべてのデータセットでより高いスコアを取得する。
論文 参考訳（メタデータ） (2020-05-26T05:05:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。