論文の概要: EasyTransfer -- A Simple and Scalable Deep Transfer Learning Platform
for NLP Applications
- arxiv url: http://arxiv.org/abs/2011.09463v3
- Date: Fri, 20 Aug 2021 07:24:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-24 04:03:26.458202
- Title: EasyTransfer -- A Simple and Scalable Deep Transfer Learning Platform
for NLP Applications
- Title（参考訳）: EasyTransfer - NLPアプリケーションのためのシンプルでスケーラブルなディープラーニング学習プラットフォーム
- Authors: Minghui Qiu and Peng Li and Chengyu Wang and Hanjie Pan and Ang Wang
and Cen Chen and Xianyan Jia and Yaliang Li and Jun Huang and Deng Cai and
Wei Lin
- Abstract要約: EasyTransferは自然言語処理(NLP)アプリケーションのためのディープトランスファー学習アルゴリズムを開発するためのプラットフォームである。
EasyTransfer は ModelZoo で様々な NLP モデルをサポートしている。
EasyTransferは現在Alibabaにデプロイされており、さまざまなビジネスシナリオをサポートしている。
- 参考スコア（独自算出の注目度）: 65.87067607849757
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The literature has witnessed the success of leveraging Pre-trained Language
Models (PLMs) and Transfer Learning (TL) algorithms to a wide range of Natural
Language Processing (NLP) applications, yet it is not easy to build an
easy-to-use and scalable TL toolkit for this purpose. To bridge this gap, the
EasyTransfer platform is designed to develop deep TL algorithms for NLP
applications. EasyTransfer is backended with a high-performance and scalable
engine for efficient training and inference, and also integrates comprehensive
deep TL algorithms, to make the development of industrial-scale TL applications
easier. In EasyTransfer, the built-in data and model parallelism strategies,
combined with AI compiler optimization, show to be 4.0x faster than the
community version of distributed training. EasyTransfer supports various NLP
models in the ModelZoo, including mainstream PLMs and multi-modality models. It
also features various in-house developed TL algorithms, together with the
AppZoo for NLP applications. The toolkit is convenient for users to quickly
start model training, evaluation, and online deployment. EasyTransfer is
currently deployed at Alibaba to support a variety of business scenarios,
including item recommendation, personalized search, conversational question
answering, etc. Extensive experiments on real-world datasets and online
applications show that EasyTransfer is suitable for online production with
cutting-edge performance for various applications. The source code of
EasyTransfer is released at Github (https://github.com/alibaba/EasyTransfer).
- Abstract（参考訳）: この文献は、事前訓練された言語モデル(PLM)とトランスファーラーニング(TL)アルゴリズムを幅広い自然言語処理(NLP)アプリケーションに活用することの成功を目撃しているが、この目的のために使いやすくスケーラブルなTLツールキットを構築するのは容易ではない。
このギャップを埋めるため、EasyTransferプラットフォームは、NLPアプリケーションのためのディープTLアルゴリズムを開発するように設計されている。
easytransferは、効率的なトレーニングと推論のための高性能でスケーラブルなエンジンを備えており、工業規模のtlアプリケーションの開発を容易にするために、包括的な深いtlアルゴリズムを統合する。
EasyTransferでは、組込みデータとモデル並列化戦略とAIコンパイラの最適化を組み合わせることで、分散トレーニングのコミュニティバージョンよりも4.0倍高速であることが示されている。
EasyTransfer は ModelZoo で様々な NLP モデルをサポートしている。
また、NLPアプリケーション用のAppZooとともに、社内で開発された様々なTLアルゴリズムも備えている。
このツールキットは、モデルトレーニング、評価、オンラインデプロイメントを素早く始めるのに便利です。
EasyTransferは現在Alibabaにデプロイされており、アイテムレコメンデーション、パーソナライズされた検索、会話による質問応答など、さまざまなビジネスシナリオをサポートする。
実世界のデータセットとオンラインアプリケーションに関する大規模な実験によると、EasyTransferはオンライン生産に適している。
EasyTransferのソースコードはGithub(https://github.com/alibaba/EasyTransfer)で公開されている。
関連論文リスト
- Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。
In-Context Learning (ICL) など。
効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。
下流タスクへのLLM。
我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
論文 参考訳（メタデータ） (2024-09-30T10:48:20Z) - NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。
トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。
我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
論文 参考訳（メタデータ） (2024-09-17T17:59:06Z) - TransformerRanker: A Tool for Efficiently Finding the Best-Suited Language Models for Downstream Classification Tasks [2.497666465251894]
TransformerRankerは、事前訓練された言語モデルの分類タスクをランク付けする軽量ライブラリである。
我々のライブラリは、転送可能性推定のための現在のアプローチを実装している。
TransformerRankerは,Pipインストール可能なオープンソースライブラリとして利用可能です。
論文 参考訳（メタデータ） (2024-09-09T18:47:00Z) - Federated Transfer Learning with Task Personalization for Condition Monitoring in Ultrasonic Metal Welding [3.079885946230076]
本稿ではトランスファーラーニングについて述べる。
分散分散学習フレームワークでデータ機能を提供するFTLTP(Federated Task Task Architecture)。
FTL-TPフレームワークは、様々な製造アプリケーションに容易に適用できる。
論文 参考訳（メタデータ） (2024-04-20T05:31:59Z) - CoLLiE: Collaborative Training of Large Language Models in an Efficient
Way [59.09824823710863]
CoLLiEは、大規模な言語モデルの協調トレーニングを容易にする効率的なライブラリである。
モジュール設計と包括的な機能により、CoLLiEは効率性、使いやすさ、カスタマイズのバランスのとれたブレンドを提供する。
論文 参考訳（メタデータ） (2023-12-01T08:02:16Z) - Simultaneous Machine Translation with Large Language Models [51.470478122113356]
我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。
MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。
その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
論文 参考訳（メタデータ） (2023-09-13T04:06:47Z) - Challenges and Opportunities of Using Transformer-Based Multi-Task
Learning in NLP Through ML Lifecycle: A Survey [0.6240603866868214]
MTL(Multi-Task Learning)は,共同学習による効率向上とパフォーマンス向上のための,有望なアプローチとして登場した。
本稿では,機械学習ライフサイクルの典型的な段階を通じて,MLLアプローチを使用する上での課題と機会について論じる。
MTLと継続学習の両方を扱えるモデルを持つことは現実的だと思います。
論文 参考訳（メタデータ） (2023-08-16T09:11:00Z) - Deformable Mixer Transformer with Gating for Multi-Task Learning of
Dense Prediction [126.34551436845133]
CNNとTransformerには独自の利点があり、MTL(Multi-task Learning)の高密度予測に広く使われている。
本稿では,変形可能なCNNと問合せベースのTransformerの長所を共用したMTLモデルを提案する。
論文 参考訳（メタデータ） (2023-08-10T17:37:49Z) - EasyNLP: A Comprehensive and Easy-to-use Toolkit for Natural Language
Processing [38.9428437204642]
EasyNLPは、NLPアプリケーションを簡単に構築できるように設計されている。
知識に富んだ事前訓練、知識蒸留、数発の学習が特徴である。
EasyNLPはAlibaba Group内の10以上のビジネスユニットに電力を供給している。
論文 参考訳（メタデータ） (2022-04-30T13:03:53Z) - On The Cross-Modal Transfer from Natural Language to Code through
Adapter Modules [0.0]
ソフトウェア工学におけるアダプタを用いた知識伝達について検討する。
C/C++、Python、Javaの3つのプログラミング言語が、アダプタに最適な設定に関する広範な実験とともに研究されている。
私たちの結果は、より小さなモデルを構築するための新しい方向を開くことができます。
論文 参考訳（メタデータ） (2022-04-19T04:18:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。