論文の概要: ProphetNet-X: Large-Scale Pre-training Models for English, Chinese, Multi-lingual, Dialog, and Code Generation

• arxiv url: http://arxiv.org/abs/2104.08006v1
• Date: Fri, 16 Apr 2021 10:00:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-19 14:26:55.908206
• Title: ProphetNet-X: Large-Scale Pre-training Models for English, Chinese, Multi-lingual, Dialog, and Code Generation
• Title（参考訳）: ProphetNet-X: 英語、中国語、多言語、ダイアログ、コード生成のための大規模事前学習モデル
• Authors: Weizhen Qi, Yeyun Gong, Yu Yan, Can Xu, Bolun Yao, Bartuer Zhou, Biao Cheng, Daxin Jiang, Jiusheng Chen, Ruofei Zhang, Houqiang Li, Nan Duan
• Abstract要約: ProphetNetは、事前トレーニングベースの自然言語生成方法です。 ProphetNetを他のドメインや言語に拡張し、ProphetNetファミリープレトレーニングモデルであるProphetNet-Xを提示する。 実験では,ProphetNet-Xモデルが10ベンチマークで新しい最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 80.24825368138625
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Now, the pre-training technique is ubiquitous in natural language processing field. ProphetNet is a pre-training based natural language generation method which shows powerful performance on English text summarization and question generation tasks. In this paper, we extend ProphetNet into other domains and languages, and present the ProphetNet family pre-training models, named ProphetNet-X, where X can be English, Chinese, Multi-lingual, and so on. We pre-train a cross-lingual generation model ProphetNet-Multi, a Chinese generation model ProphetNet-Zh, two open-domain dialog generation models ProphetNet-Dialog-En and ProphetNet-Dialog-Zh. And also, we provide a PLG (Programming Language Generation) model ProphetNet-Code to show the generation performance besides NLG (Natural Language Generation) tasks. In our experiments, ProphetNet-X models achieve new state-of-the-art performance on 10 benchmarks. All the models of ProphetNet-X share the same model structure, which allows users to easily switch between different models. We make the code and models publicly available, and we will keep updating more pre-training models and finetuning scripts. A video to introduce ProphetNet-X usage is also released.
• Abstract（参考訳）: 現在、事前学習技術は自然言語処理分野で広く使われている。 ProphetNetは、英語のテキスト要約と質問生成タスクで強力なパフォーマンスを示す、事前学習ベースの自然言語生成手法である。 本稿では, prophetnet を他のドメインや言語に拡張し, prophetnet-x と呼ばれる prophetnet ファミリー事前学習モデルを提案する。 我々は,中国語生成モデルProphetNet-Multi,中国語生成モデルProphetNet-Zh,オープンドメインダイアログ生成モデルProphetNet-Dialog-En,ProphetNet-Dialog-Zhを事前学習する。 また, PLG (Programming Language Generation) モデル ProphetNet-Code を提供し, NLG (Natural Language Generation) タスク以外の生成性能を示す。 実験では,ProphetNet-Xモデルが10ベンチマークで新しい最先端性能を実現する。 ProphetNet-Xのすべてのモデルは同じモデル構造を共有しており、ユーザーは異なるモデルを簡単に切り替えることができる。 コードとモデルを公開し、より多くの事前トレーニングモデルと微調整スクリプトをアップデートし続けます。 ProphetNet-Xの使用法を紹介するビデオもリリースされている。

関連論文リスト

• CMULAB: An Open-Source Framework for Training and Deployment of Natural Language Processing Models [59.91221728187576]
  本稿では,NLPモデルのモデル展開と連続的なヒューマン・イン・ザ・ループの微調整を簡単にするオープンソースフレームワークであるCMU言語バックエンドを紹介する。 CMULABは、マルチ言語モデルのパワーを活用して、音声認識、OCR、翻訳、構文解析などの既存のツールを新しい言語に迅速に適応し、拡張することができる。
  論文  参考訳（メタデータ） (2024-04-03T02:21:46Z)
• Babel-ImageNet: Massively Multilingual Evaluation of Vision-and-Language Representations [53.89380284760555]
  Babel-ImageNetは,100言語へのイメージネットラベルの部分的翻訳を提供する,多言語ベンチマークである。 我々は,11の公開多言語CLIPモデルをベンチマークで評価し,イングリッシュイメージネットの性能と高ソース言語との差を顕著に示した。 パラメータ効率のよい言語特化学習を行う低リソース言語に対して,多言語CLIPの性能を劇的に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T17:53:06Z)
• Generating Images with Multimodal Language Models [78.6660334861137]
  本稿では,凍結したテキストのみの大規模言語モデルを,事前学習した画像エンコーダとデコーダモデルで融合する手法を提案する。 本モデルでは,画像検索,新しい画像生成,マルチモーダル対話など,多モーダルな機能群を示す。
  論文  参考訳（メタデータ） (2023-05-26T19:22:03Z)
• Accidental Learners: Spoken Language Identification in Multilingual Self-Supervised Models [11.439430077017635]
  事前学習された音声モデルは,下位層における言語識別情報を最適に符号化する。 これらの層から得られる埋め込みは、目に見えない言語を分類するのに非常に堅牢であることを示す。 NVIDIA NeMoツールキットを通じてモデルをオープンソースにしています。
  論文  参考訳（メタデータ） (2022-11-09T18:53:59Z)
• ASR-Generated Text for Language Model Pre-training Applied to Speech Tasks [20.83731188652985]
  我々は、フランス国立音響研究所(INA)のコレクションを活用し、多様なテレビ番組の35万時間にASRを適用した後、19GBのテキストを取得する。 新たなモデル(FlauBERT-Oral)がコミュニティと共有され、音声言語理解、テレビ番組の分類、音声構文解析の3つのダウンストリームタスクに対して評価される。
  論文  参考訳（メタデータ） (2022-07-05T08:47:51Z)
• NeuralProphet: Explainable Forecasting at Scale [5.268856245794001]
  我々はFacebook Prophetの後継であるNeuralProphetを紹介する。 Prophet氏は、説明可能な、スケーラブルで、ユーザフレンドリーな予測フレームワークのための業界標準を設定した。 以上の結果から,NeuralProphetはProphetと同等あるいは優れた品質の解釈可能な予測成分を生成することがわかった。
  論文  参考訳（メタデータ） (2021-11-29T18:34:20Z)
• Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition [80.446770909975]
  言語知識はシーンのテキスト認識に非常に有益である。 エンドツーエンドのディープネットワークで言語規則を効果的にモデル化する方法はまだ研究の課題です。 シーンテキスト認識のための自律的双方向反復型ABINetを提案する。
  論文  参考訳（メタデータ） (2021-03-11T06:47:45Z)
• RoBERTa-wwm-ext Fine-Tuning for Chinese Text Classification [5.71097144710995]
  変換器による双方向表現(BERT)は、様々な自然言語処理タスクにおけるパフォーマンスを劇的に向上させる、有望な方法である。 本プロジェクトでは,中国語テキスト分類にroberta-wwm-extプリトレイン言語モデルを適用し,微調整を行った。 モデルは、法行動の記述と違法行為の記述を含む2つの分類に分類することができた。
  論文  参考訳（メタデータ） (2021-02-24T18:57:57Z)
• Constructing Taxonomies from Pretrained Language Models [52.53846972667636]
  本稿では,事前学習した言語モデルを用いて分類木(WordNetなど)を構築する手法を提案する。 我々のアプローチは2つのモジュールから構成されており、1つは親関係を予測し、もう1つはそれらの予測を木に調整する。 我々は、WordNetからサンプリングされたサブツリーでモデルをトレーニングし、重複しないWordNetサブツリーでテストする。
  論文  参考訳（メタデータ） (2020-10-24T07:16:21Z)
• WikiBERT models: deep transfer learning for many languages [1.3455090151301572]
  ウィキペディアデータから言語固有のBERTモデルを作成するための、単純で完全に自動化されたパイプラインを導入します。 我々は,これらのモデルの有効性を,Universal Dependenciesデータに基づく最先端のUDifyを用いて評価する。
  論文  参考訳（メタデータ） (2020-06-02T11:57:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。