論文の概要: PLATO-2: Towards Building an Open-Domain Chatbot via Curriculum Learning

• arxiv url: http://arxiv.org/abs/2006.16779v4
• Date: Fri, 28 May 2021 11:20:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 05:37:17.474270
• Title: PLATO-2: Towards Building an Open-Domain Chatbot via Curriculum Learning
• Title（参考訳）: PLATO-2:カリキュラム学習によるオープンドメインチャットボットの構築に向けて
• Authors: Siqi Bao, Huang He, Fan Wang, Hua Wu, Haifeng Wang, Wenquan Wu, Zhen Guo, Zhibin Liu, Xinchao Xu
• Abstract要約: 本稿では,カリキュラム学習によるPLATO-2の効果的な学習プロセスについて紹介する。 PLATO-2は中国語と英語のデータの両方で訓練され、その効果と優位性が確認された。
• 参考スコア（独自算出の注目度）: 46.28798015182126
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To build a high-quality open-domain chatbot, we introduce the effective training process of PLATO-2 via curriculum learning. There are two stages involved in the learning process. In the first stage, a coarse-grained generation model is trained to learn response generation under the simplified framework of one-to-one mapping. In the second stage, a fine-grained generative model augmented with latent variables and an evaluation model are further trained to generate diverse responses and to select the best response, respectively. PLATO-2 was trained on both Chinese and English data, whose effectiveness and superiority are verified through comprehensive evaluations, achieving new state-of-the-art results.
• Abstract（参考訳）: 高品質なオープンドメインチャットボットを構築するために,カリキュラム学習を通じてPLATO-2の効果的なトレーニングプロセスを導入する。 学習プロセスには2つの段階があります。 最初の段階では、1対1マッピングの簡易な枠組みの下で、応答生成を学習するために粗い粒度の生成モデルを訓練する。 第2段階では、潜伏変数を付加した細粒度生成モデルと評価モデルとをさらに訓練し、多様な応答を生成し、それぞれ最適な応答を選択する。 PLATO-2は中国語と英語のデータの両方で訓練され、その効果と優位性は総合的な評価によって検証され、新しい最先端の結果が得られた。

関連論文リスト

• T2V-Turbo-v2: Enhancing Video Generation Model Post-Training through Data, Reward, and Conditional Guidance Design [79.7289790249621]
  提案手法であるT2V-Turbo-v2は、様々な監視信号を統合することにより、大幅な進歩をもたらす。 特定の学習目標に対するデータセットの調整の重要性を強調した。 トレーニングデータセットから動作ガイダンスを抽出し,ODEソルバに組み込むことにより,このアプローチの可能性を示す。
  論文  参考訳（メタデータ） (2024-10-08T04:30:06Z)
• InternLM2 Technical Report [159.70692271378581]
  本稿では,オープンソースのLarge Language Models (LLM) であるInternLM2を紹介する。 InternLM2の事前トレーニングプロセスは細部まで詳細に書かれており、多様なデータ型の準備が強調されている。 InternLM2は、4kトークンでトレーニングされた長期的依存関係を効率的にキャプチャし、事前トレーニングおよび微調整の段階で32kトークンに進む。
  論文  参考訳（メタデータ） (2024-03-26T00:53:24Z)
• CLearViD: Curriculum Learning for Video Description [3.5293199207536627]
  ビデオ記述は、与えられたビデオの内容をナレーションするコヒーレントな自然言語文を自動的に生成する。 本稿では,ビデオ記述生成のためのトランスフォーマーベースモデルであるCLearViDを紹介する。 ActivityNet CaptionsとYouCook2という2つのデータセットの結果から、CLearViDは精度と多様性の両方の観点から既存の最先端モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-11-08T06:20:32Z)
• RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control [140.48218261864153]
  本研究では,インターネット規模のデータに基づいて学習した視覚言語モデルを,エンドツーエンドのロボット制御に直接組み込む方法について検討する。 提案手法は,インターネット規模のトレーニングから,RT-2による創発的能力の獲得を可能にした。
  論文  参考訳（メタデータ） (2023-07-28T21:18:02Z)
• Curriculum-Guided Abstractive Summarization [45.57561926145256]
  最近のTransformerベースの要約モデルは、抽象的な要約に有望なアプローチを提供してきた。 これらのモデルには2つの欠点がある:(1)コンテンツ選択が不十分な場合が多く、(2)トレーニング戦略があまり効率的ではないため、モデルの性能が制限される。 本稿では,これらの落とし穴を補うための2つの方法について検討する。まず,デコーダ内に文のクロスアテンションモジュールを配置することでトランスフォーマーネットワークを拡張し,より健全なコンテンツの抽象化を促進する。
  論文  参考訳（メタデータ） (2023-02-02T11:09:37Z)
• Masked Autoencoders As The Unified Learners For Pre-Trained Sentence Representation [77.47617360812023]
  我々は、最近提案されたMAEスタイルの事前学習戦略であるRetroMAEを拡張し、幅広い文表現タスクをサポートする。 最初のステージでは、ベースモデルが学習されるWikipedia、BookCorpusなど、一般的なコーパス上でRetroMAEを実行する。 第2段階はドメイン固有のデータ、例えばMS MARCOやNLIで行われ、ベースモデルはRetroMAEとコントラスト学習に基づいて継続的に訓練される。
  論文  参考訳（メタデータ） (2022-07-30T14:34:55Z)
• A Unified Pre-training Framework for Conversational AI [25.514505462661763]
  PLATO-2は、簡略化された1対1のマッピング関係に適合するように、2段階のカリキュラム学習によって訓練される。 PLATO-2は3つのタスクで1位を獲得し、様々な対話システムのための統一されたフレームワークとしての有効性を検証する。
  論文  参考訳（メタデータ） (2021-05-06T07:27:11Z)
• KgPLM: Knowledge-guided Language Model Pre-training via Generative and Discriminative Learning [45.067001062192844]
  事実の知識の完成と検証によって導かれる言語モデル事前トレーニングフレームワークを提示する。 ゼロショットクローゼ型質問応答タスクのセットであるLAMAの実験結果は、私たちのモデルが従来の訓練済み言語モデルよりも豊富な事実知識を含んでいることを示しています。
  論文  参考訳（メタデータ） (2020-12-07T09:39:25Z)
• MinTL: Minimalist Transfer Learning for Task-Oriented Dialogue Systems [75.43457658815943]
  タスク指向対話システムのシステム設計プロセスを簡単にするミニマリスト変換学習(MinTL)を提案する。 MinTLはシンプルだが効果的な転送学習フレームワークであり、事前訓練されたSeq2seqモデルのプラグインと再生を可能にする。 トレーニング済みの2つのバックボーン(T5とBART)で学習フレームワークをインスタンス化し、MultiWOZで評価する。
  論文  参考訳（メタデータ） (2020-09-25T02:19:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。