論文の概要: The Microsoft Toolkit of Multi-Task Deep Neural Networks for Natural Language Understanding

• arxiv url: http://arxiv.org/abs/2002.07972v2
• Date: Fri, 15 May 2020 21:47:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 13:52:45.707074
• Title: The Microsoft Toolkit of Multi-Task Deep Neural Networks for Natural Language Understanding
• Title（参考訳）: 自然言語理解のためのマルチタスク深層ニューラルネットワークのmicrosoftツールキット
• Authors: Xiaodong Liu, Yu Wang, Jianshu Ji, Hao Cheng, Xueyun Zhu, Emmanuel Awa, Pengcheng He, Weizhu Chen, Hoifung Poon, Guihong Cao and Jianfeng Gao
• Abstract要約: MT-DNNはオープンソースの自然言語理解(NLU)ツールキットであり、研究者や開発者がカスタマイズされたディープラーニングモデルを訓練しやすくする。 PyTorchとTransformersをベースとして開発されたMT-DNNは、幅広いNLUタスクの迅速なカスタマイズを容易にするように設計されている。 MT-DNNのユニークな特徴は、対戦型マルチタスク学習パラダイムを用いた堅牢で移動可能な学習のサポートである。
• 参考スコア（独自算出の注目度）: 97.85957811603251
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present MT-DNN, an open-source natural language understanding (NLU) toolkit that makes it easy for researchers and developers to train customized deep learning models. Built upon PyTorch and Transformers, MT-DNN is designed to facilitate rapid customization for a broad spectrum of NLU tasks, using a variety of objectives (classification, regression, structured prediction) and text encoders (e.g., RNNs, BERT, RoBERTa, UniLM). A unique feature of MT-DNN is its built-in support for robust and transferable learning using the adversarial multi-task learning paradigm. To enable efficient production deployment, MT-DNN supports multi-task knowledge distillation, which can substantially compress a deep neural model without significant performance drop. We demonstrate the effectiveness of MT-DNN on a wide range of NLU applications across general and biomedical domains. The software and pre-trained models will be publicly available at https://github.com/namisan/mt-dnn.
• Abstract（参考訳）: MT-DNNはオープンソースの自然言語理解(NLU)ツールキットであり、研究者や開発者がカスタマイズされたディープラーニングモデルを訓練しやすくする。 PyTorchとTransformersをベースに開発されたMT-DNNは、様々な目的(分類、回帰、構造化予測)とテキストエンコーダ(例えばRNN、BERT、RoBERTa、UniLM)を用いて、幅広いNLUタスクの迅速なカスタマイズを容易にするように設計されている。 MT-DNNのユニークな特徴は、対戦型マルチタスク学習パラダイムを用いた堅牢で移動可能な学習のサポートである。 効率的な生産展開を実現するため、MT-DNNはマルチタスクの知識蒸留をサポートしており、大きな性能低下なしにディープニューラルネットワークモデルを実質的に圧縮することができる。 MT-DNNが一般および生物医学領域にまたがる幅広いNLU応用に有効であることを示す。 ソフトウェアと事前訓練されたモデルはhttps://github.com/namisan/mt-dnn.comで公開される。

関連論文リスト

• Scalable Mechanistic Neural Networks [52.28945097811129]
  長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。 元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。 大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
  論文  参考訳（メタデータ） (2024-10-08T14:27:28Z)
• Learning Universal Predictors [23.18743879588599]
  メタラーニングを限界まで活用することで、最も強力な普遍的予測子であるソロモノフ誘導(SI)をニューラルネットワークに記憶させる可能性を探る。 我々はUniversal Turing Machines (UTM) を用いて、幅広いパターンにネットワークを公開するトレーニングデータを生成する。 この結果から,UTMデータはメタラーニングに有用な資源であり,普遍的な予測戦略を学習可能なニューラルネットワークのトレーニングに有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-01-26T15:37:16Z)
• NExT-GPT: Any-to-Any Multimodal LLM [75.5656492989924]
  我々は,NExT-GPTという汎用的なMM-LLMシステムを提案する。 NExT-GPTは入力を知覚し、テキスト、画像、ビデオ、オーディオの任意の組み合わせで出力を生成することができる。 モーダリティ・スイッチング・インストラクション・チューニング(MosIT)を導入し,複雑なモーダリティ・セマンティック・理解とコンテンツ生成によってNExT-GPTが強化されたMosITの高品質なデータセットを手作業でキュレートする。
  論文  参考訳（メタデータ） (2023-09-11T15:02:25Z)
• Deformable Mixer Transformer with Gating for Multi-Task Learning of Dense Prediction [126.34551436845133]
  CNNとTransformerには独自の利点があり、MTL(Multi-task Learning)の高密度予測に広く使われている。 本稿では,変形可能なCNNと問合せベースのTransformerの長所を共用したMTLモデルを提案する。
  論文  参考訳（メタデータ） (2023-08-10T17:37:49Z)
• IGNNITION: Bridging the Gap Between Graph Neural Networks and Networking Systems [4.1591055164123665]
  本稿では,ネットワークシステムのためのグラフニューラルネットワーク(GNN)の高速プロトタイピングを可能にする,新しいオープンソースフレームワークIGNNITIONを提案する。 IGNNITIONは、GNNの背後にある複雑さを隠す直感的な高レベルの抽象化に基づいている。 IGNNITIONが生成するGNNモデルは,ネイティブ実装の精度と性能の点で同等であることを示す。
  論文  参考訳（メタデータ） (2021-09-14T14:28:21Z)
• A Microarchitecture Implementation Framework for Online Learning with Temporal Neural Networks [1.4530235554268331]
  時間的ニューラルネットワーク(TNN)は、情報を表現し処理するためのリソースとして時間を使用するニューラルネットワークをスパイクしている。 本研究では,標準CMOSを用いたTNN実装のためのマイクロアーキテクチャフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-27T15:59:54Z)
• Fast On-Device Adaptation for Spiking Neural Networks via Online-Within-Online Meta-Learning [31.78005607111787]
  Spiking Neural Networks(SNN)は、デバイス上のエッジインテリジェンスのための機械学習モデルとして最近人気を集めている。 本稿では, OWOML-SNN と呼ばれる SNN のオンラインメタ学習ルールを提案する。
  論文  参考訳（メタデータ） (2021-02-21T04:28:49Z)
• Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning [60.20150317299749]
  本稿では,全データ学習による音声強調のためのディープタイム遅延ニューラルネットワーク(TDNN)を提案する。 トレーニングデータを完全に活用するために,音声強調のための完全なデータ学習手法を提案する。
  論文  参考訳（メタデータ） (2020-11-11T06:32:37Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Dynamic Sparsity Neural Networks for Automatic Speech Recognition [44.352231175123215]
  動的スパシティニューラルネットワーク(DSNN)は、トレーニングが完了すれば、実行時に任意の定義済みのスパシティ設定に即時に切り替えることができる。 したがって、トレーニングされたDSNNモデルは、トレーニングプロセスを大幅に緩和し、リソース制約のある多様なシナリオでのデプロイを簡素化できます。
  論文  参考訳（メタデータ） (2020-05-16T22:08:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。