論文の概要: Sm{\aa}prat: DialoGPT for Natural Language Generation of Swedish Dialogue by Transfer Learning

• arxiv url: http://arxiv.org/abs/2110.06273v1
• Date: Tue, 12 Oct 2021 18:46:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-15 08:49:11.483012
• Title: Sm{\aa}prat: DialoGPT for Natural Language Generation of Swedish Dialogue by Transfer Learning
• Title（参考訳）: sm{\aa}prat:転送学習によるスウェーデン語対話の自然言語生成のためのダイアログ
• Authors: Tosin Adewumi, Nosheen Abid, Maryam Pahlavan, Rickard Br\"annvall, Sana Sabah Sabry, Foteini Liwicki and Marcus Liwicki
• Abstract要約: 自然言語対話生成のための最先端のモデルは、英語で人間のような単行会話をシミュレートする際、印象的な性能を示した。 この研究は、経験的な研究により、そのようなモデルのスウェーデン語への変換学習の可能性について調査する。
• 参考スコア（独自算出の注目度）: 1.6111818380407035
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Building open-domain conversational systems (or chatbots) that produce convincing responses is a recognized challenge. Recent state-of-the-art (SoTA) transformer-based models for the generation of natural language dialogue have demonstrated impressive performance in simulating human-like, single-turn conversations in English. This work investigates, by an empirical study, the potential for transfer learning of such models to Swedish language. DialoGPT, an English language pre-trained model, is adapted by training on three different Swedish language conversational datasets obtained from publicly available sources. Perplexity score (an automated intrinsic language model metric) and surveys by human evaluation were used to assess the performances of the fine-tuned models, with results that indicate that the capacity for transfer learning can be exploited with considerable success. Human evaluators asked to score the simulated dialogue judged over 57% of the chatbot responses to be human-like for the model trained on the largest (Swedish) dataset. We provide the demos and model checkpoints of our English and Swedish chatbots on the HuggingFace platform for public use.
• Abstract（参考訳）: 説得力のある応答を生成するオープンドメインの会話システム(あるいはチャットボット)を構築することは、認識される課題である。 最近の自然言語対話生成のためのsota(state-of-the-art)トランスフォーマーモデルでは、英語で人間のような単ターン会話をシミュレートする素晴らしい性能を示している。 本研究は,実験的な研究により,そのようなモデルのスウェーデン語への転用学習の可能性について検討する。 英語の事前学習モデルであるDiloGPTは、公開されているソースから得られる3つの異なるスウェーデン語会話データセットのトレーニングによって適応される。 パープレキシティスコア(自動内在的言語モデルメトリクス)と人間評価によるサーベイは、微調整されたモデルのパフォーマンスを評価するために用いられ、トランスファー学習の能力は相当な成功で活用できることを示した。 人間の評価者は、最大(スウェーデン)データセットでトレーニングされたモデルに対して、チャットボットの反応の57%以上が人間に近いと判断されたシミュレーション対話のスコアを要求された。 私たちはHuggingFaceプラットフォーム上で、英語とスウェーデン語のチャットボットのデモとモデルチェックポイントを提供しています。

関連論文リスト

• Evaluating Large Language Models with Human Feedback: Establishing a Swedish Benchmark [0.0]
  大規模言語モデル(LLM)は、多数のアプリケーションにまたがる重要な機能を示している。 本研究では,スウェーデン語テキストの理解と生成におけるLLMの有効性を評価するための総合的人間ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-05-22T21:22:51Z)
• Can Language Models Learn to Listen? [96.01685069483025]
  本稿では,話者の言葉に基づく社会的対話における聞き手から適切な表情応答を生成するための枠組みを提案する。 提案手法は,VQ-VAEを用いて定量化したリスナーの顔のジェスチャー列であるリスナーの応答を自己回帰的に予測する。 生成したリスナーの動きは,定量的メトリクスと質的ユーザスタディを通じて,言語意味論に精通し,反映していることを示す。
  論文  参考訳（メタデータ） (2023-08-21T17:59:02Z)
• Chain of Hindsight Aligns Language Models with Feedback [62.68665658130472]
  我々は,その極性に関係なく,任意の形式のフィードバックから学習し,最適化が容易な新しい手法であるChain of Hindsightを提案する。 我々は、あらゆる種類のフィードバックを文のシーケンスに変換し、それをモデルを微調整するために使用する。 そうすることで、モデルはフィードバックに基づいて出力を生成するように訓練され、負の属性やエラーを特定し修正する。
  論文  参考訳（メタデータ） (2023-02-06T10:28:16Z)
• Human Language Modeling [20.66485974271458]
  本稿では,文書のシーケンスを接続する人間レベルが存在する言語モデリング問題に対する階層的拡張を提案する。 本稿では,約10万人のソーシャルメディアユーザを対象に,Humleタスクのための大規模トランスフォーマーモデルHaRTを紹介する。 すべてのタスクの結果が、現在の最先端の状況を満たしたり、超えたりします。
  論文  参考訳（メタデータ） (2022-05-10T19:11:12Z)
• Training Language Models with Natural Language Feedback [51.36137482891037]
  3段階学習アルゴリズムを用いてモデル出力の言語フィードバックから学習する。 合成実験において、まず言語モデルがフィードバックを正確に組み込んで改良を行うかどうかを評価する。 人間の手書きフィードバックのサンプルは100程度しかなく, 学習アルゴリズムはGPT-3モデルを微調整し, ほぼ人間レベルの要約を行う。
  論文  参考訳（メタデータ） (2022-04-29T15:06:58Z)
• Building a Swedish Open-Domain Conversational Language Model [0.0]
  我々は、スウェーデン語で会話する訓練を受けた最初の大きな生成言語モデルを評価するための進行中の作業について紹介する。 私たちは、モデルがしばしば人間的および有益な方法で会話に応答できることを示す人間の評価パイロット研究を行います。
  論文  参考訳（メタデータ） (2021-04-12T08:18:48Z)
• A Visuospatial Dataset for Naturalistic Verb Learning [18.654373173232205]
  基礎言語モデルのトレーニングと評価のための新しいデータセットを導入する。 我々のデータはバーチャルリアリティー環境で収集され、言語データの品質をエミュレートするように設計されている。 収集したデータを用いて、動詞学習のための複数の分布意味論モデルを比較する。
  論文  参考訳（メタデータ） (2020-10-28T20:47:13Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• The Adapter-Bot: All-In-One Controllable Conversational Model [66.48164003532484]
  本稿では、DialGPTなどの固定バックボーンモデルを用いて、異なるアダプタを介してオンデマンド対話スキルをトリガーする対話モデルを提案する。 スキルに応じて、モデルはテキスト、テーブル、強調応答などの複数の知識タイプを処理できる。 我々は,既存の会話モデルと比較し,自動評価を用いたモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-08-28T10:59:31Z)
• XPersona: Evaluating Multilingual Personalized Chatbot [76.00426517401894]
  我々はペルソナ・チャットの多言語拡張(XPersona)を提案する。 我々のデータセットには、多言語パーソナライズされたエージェントの構築と評価のための英語以外の6言語でのペルソナ会話が含まれています。
  論文  参考訳（メタデータ） (2020-03-17T07:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。