論文の概要: Empirical Analysis of Training Strategies of Transformer-based Japanese Chit-chat Systems

• arxiv url: http://arxiv.org/abs/2109.05217v1
• Date: Sat, 11 Sep 2021 08:24:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-14 16:10:55.487134
• Title: Empirical Analysis of Training Strategies of Transformer-based Japanese Chit-chat Systems
• Title（参考訳）: 変圧器を用いたチットチャットシステムの訓練戦略に関する実証分析
• Authors: Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, Toyomi Meguro
• Abstract要約: 我々は,大規模トランスフォーマーに基づく日本語対話モデルと日本語のチャットデータセットを開発する。 我々は、異なる微調整データセット、モデルパラメータ、追加情報の使用における人間の対話の印象を評価し、分析した。
• 参考スコア（独自算出の注目度）: 9.13601675997284
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, several high-performance conversational systems have been proposed based on the Transformer encoder-decoder model. Although previous studies analyzed the effects of the model parameters and the decoding method on subjective dialogue evaluations with overall metrics, they did not analyze how the differences of fine-tuning datasets affect on user's detailed impression. In addition, the Transformer-based approach has only been verified for English, not for such languages with large inter-language distances as Japanese. In this study, we develop large-scale Transformer-based Japanese dialogue models and Japanese chit-chat datasets to examine the effectiveness of the Transformer-based approach for building chit-chat dialogue systems. We evaluated and analyzed the impressions of human dialogues in different fine-tuning datasets, model parameters, and the use of additional information.
• Abstract（参考訳）: 近年,Transformerエンコーダ-デコーダモデルに基づく高性能な対話システムが提案されている。 過去の研究では,モデルパラメータと復号法が主観的対話評価に与える影響を総合評価で分析したが,微調整データセットの違いがユーザの詳細な印象に与える影響は分析されなかった。 さらに、トランスフォーマーベースのアプローチは、日本語のように言語間距離が大きい言語に対してではなく、英語でのみ検証されている。 本研究では,大規模なトランスフォーマーに基づく日本語対話モデルと日本語のチトチャットデータセットを開発し,チトチャット対話システム構築におけるトランスフォーマーベースのアプローチの有効性を検討する。 異なる微調整データセット,モデルパラメータ,追加情報の利用において,人間の対話の印象を評価し分析した。

関連論文リスト

• SPECTRUM: Speaker-Enhanced Pre-Training for Long Dialogue Summarization [48.284512017469524]
  マルチターン対話は、その長さとターンテイクな会話の存在によって特徴づけられる。 伝統的な言語モデルは、しばしばそれらの対話の特徴を通常のテキストとして扱うことによって見落としている。 長文対話要約のための話者強化事前学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-31T04:50:00Z)
• Stateful Memory-Augmented Transformers for Efficient Dialogue Modeling [69.31802246621963]
  本稿では、既存のトレーニング済みエンコーダデコーダモデルと互換性のある新しいメモリ拡張トランスを提案する。 事前訓練された変換器と共に別々のメモリモジュールを組み込むことで、モデルはメモリ状態と現在の入力コンテキストの間で情報を効果的に交換することができる。
  論文  参考訳（メタデータ） (2022-09-15T22:37:22Z)
• Cross-Lingual Dialogue Dataset Creation via Outline-Based Generation [70.81596088969378]
  言語間アウトラインに基づく対話データセット(COD)は、自然言語の理解を可能にする。 CODは、4つの異なる言語で対話状態の追跡とエンドツーエンドの対話モデリングと評価を可能にする。
  論文  参考訳（メタデータ） (2022-01-31T18:11:21Z)
• Factorized Neural Transducer for Efficient Language Model Adaptation [51.81097243306204]
  空白および語彙予測を分解し,ニューラルトランスデューサの因子化モデルを提案する。 この因子化は、音声認識のためのトランスデューサにスタンドアロン言語モデルの改善を移すことが期待できる。 提案した因子化ニューラルトランスデューサは、言語モデル適応にドメイン外テキストデータを使用する場合、15%から20%のWER改善が得られることを示す。
  論文  参考訳（メタデータ） (2021-09-27T15:04:00Z)
• Stylistic Retrieval-based Dialogue System with Unparallel Training Data [19.777894827625275]
  本稿では,並列データを持たない特定のペルソナの言語スタイルを模倣するために,汎用的な検索ベース対話システムに適応するフレキシブルなフレームワークを提案する。 提案手法は, ジェルゴンの使用法を学習し, ジェルゴンを組み込むことで, ジェネリックな会話をスタイル化されたものに書き換えることによって, スタイル化されたデータの自動生成に基づく。
  論文  参考訳（メタデータ） (2021-09-12T09:56:24Z)
• EVA: An Open-Domain Chinese Dialogue System with Large-Scale Generative Pre-Training [40.85554509137999]
  本研究では,2.8Bパラメータを持つ中国最大の事前学習対話モデルを含む中国語対話システムであるEVAを提案する。 このモデルを構築するために、様々なソーシャルメディアからWDC-Dialogueという名前の中国語対話データセットを収集する。 自動評価と人的評価の実験は、EVAが他の中国の事前学習対話モデルより優れていることを示している。
  論文  参考訳（メタデータ） (2021-08-03T14:55:24Z)
• I like fish, especially dolphins: Addressing Contradictions in Dialogue Modeling [104.09033240889106]
  DialoguE Contradiction Detection Task(DECODE)と、人間とロボットの矛盾した対話の両方を含む新しい会話データセットを紹介します。 次に、事前学習したトランスフォーマーモデルを用いて、定型的非構造的アプローチと矛盾検出を行う構造的発話に基づくアプローチを比較する。
  論文  参考訳（メタデータ） (2020-12-24T18:47:49Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• An Empirical Investigation of Pre-Trained Transformer Language Models for Open-Domain Dialogue Generation [23.343006562849126]
  本稿では,オープンドメイン対話生成作業のための事前学習型トランスフォーマーに基づく自動回帰言語モデルについて実験的に検討する。 事前訓練と微調整の訓練パラダイムは、学習を行うために使用される。 実験は、Weibo、Douban、Reddit、DailyDialog、Persona-Chatといった典型的なシングルターンとマルチターンの対話コーパスで行われる。
  論文  参考訳（メタデータ） (2020-03-09T15:20:21Z)
• EmpTransfo: A Multi-head Transformer Architecture for Creating Empathetic Dialog Systems [4.41738804598711]
  本稿では,共感対話システムを構築するためのマルチヘッドトランスフォーマーアーキテクチャであるEmpTransfoを提案する。 感情やメタデータの履歴を活用することで、生成した会話の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-03-05T23:09:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。