論文の概要: jiant: A Software Toolkit for Research on General-Purpose Text
Understanding Models
- arxiv url: http://arxiv.org/abs/2003.02249v2
- Date: Wed, 13 May 2020 16:33:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 13:08:37.012844
- Title: jiant: A Software Toolkit for Research on General-Purpose Text
Understanding Models
- Title(参考訳): jiant:汎用テキスト理解モデル研究のためのソフトウェアツールキット
- Authors: Yada Pruksachatkun, Phil Yeres, Haokun Liu, Jason Phang, Phu Mon Htut,
Alex Wang, Ian Tenney and Samuel R. Bowman
- Abstract要約: jiantは、英語のNLUタスクでマルチタスクおよびトランスファー学習実験を行うためのオープンソースツールキットである。
jiantは、モジュール化と構成駆動による、最先端のモデルの実験を可能にする。
Jiantは、GLUEとSuperGLUEベンチマークタスクを含む50以上のNLUタスクを実装している。
- 参考スコア(独自算出の注目度): 29.765682157464674
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce jiant, an open source toolkit for conducting multitask and
transfer learning experiments on English NLU tasks. jiant enables modular and
configuration-driven experimentation with state-of-the-art models and
implements a broad set of tasks for probing, transfer learning, and multitask
training experiments. jiant implements over 50 NLU tasks, including all GLUE
and SuperGLUE benchmark tasks. We demonstrate that jiant reproduces published
performance on a variety of tasks and models, including BERT and RoBERTa. jiant
is available at https://jiant.info.
- Abstract(参考訳): 英語のnluタスクでマルチタスクおよび転送学習実験を行うためのオープンソースツールキットであるjiantを紹介する。
jiantは最新モデルのモジュール化と構成駆動の実験を可能にし、探索、転送学習、マルチタスクトレーニング実験のための幅広いタスクセットを実装している。
Jiantは、GLUEとSuperGLUEベンチマークタスクを含む50以上のNLUタスクを実装している。
我々は、BERTやRoBERTaなど、さまざまなタスクやモデル上で、jiantがパブリッシュパフォーマンスを再現することを示した。
jiantはhttps://jiant.info.comで入手できる。
関連論文リスト
- UniverSLU: Universal Spoken Language Understanding for Diverse
Classification and Sequence Generation Tasks with a Single Network [57.94075999363722]
我々は様々な音声言語理解タスクを共同で行うモデルを構築した。
個別のプロンプトとして様々なタスクやデータセットの仕様化を行う。
その結果、UniverSLUは競争性能を達成し、タスク固有のモデルを超えていることがわかった。
論文 参考訳(メタデータ) (2023-10-04T17:10:23Z) - mPLUG-2: A Modularized Multi-modal Foundation Model Across Text, Image
and Video [89.19867891570945]
mPLUG-2は、マルチモーダル事前訓練のためのモジュール化された設計を備えた新しい統一パラダイムである。
モダリティ協力のための共通普遍加群を共有し、モダリティの絡み合いを扱うために異なるモダリティ加群を切り離す。
テキスト、画像、ビデオを含むすべてのモダリティの異なる理解タスクと生成タスクのために、異なるモジュールを選択することは柔軟です。
論文 参考訳(メタデータ) (2023-02-01T12:40:03Z) - MultiInstruct: Improving Multi-Modal Zero-Shot Learning via Instruction
Tuning [24.741736629886564]
インストラクションチューニングは、命令によって指定されたタスクで事前訓練された言語モデルを微調整する新しい学習パラダイムである。
MUL-TIINSTRUCTは,最初のマルチモーダル・インストラクション・チューニング・ベンチマーク・データセットである。
各種マルチモーダルタスクにおけるゼロショット性能と,テキストのみの命令データセットからの変換学習の利点を示す。
論文 参考訳(メタデータ) (2022-12-21T05:17:06Z) - Improving Cross-task Generalization of Unified Table-to-text Models with
Compositional Task Configurations [63.04466647849211]
メソッドは通常、タスク情報をエンコーダのプレフィックスとして単純なデータセット名でエンコードする。
本稿では,エンコーダがタスク間の一般化を改善するためのプロンプトセットであるコンポジションタスク構成を提案する。
これは、モデルがトレーニング中に異なるタスク間で共有知識をより良く学習できるだけでなく、新しい構成を構築することでモデルを制御できることを示している。
論文 参考訳(メタデータ) (2022-12-17T02:20:14Z) - OFASys: A Multi-Modal Multi-Task Learning System for Building Generalist
Models [72.8156832931841]
ジェネリストモデルは、単一のモデル内でタスクに依存しない方法で多様なマルチモーダルタスクを実行することができる。
マルチモーダル命令と呼ばれる宣言型タスクインタフェース上に構築された汎用モデル学習システムOFASysをリリースする。
論文 参考訳(メタデータ) (2022-12-08T17:07:09Z) - Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。
タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。
我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
論文 参考訳(メタデータ) (2022-10-12T15:02:04Z) - Explaining the Effectiveness of Multi-Task Learning for Efficient
Knowledge Extraction from Spine MRI Reports [2.5953185061765884]
一つのマルチタスクモデルがタスク固有のモデルの性能にマッチすることを示す。
内科医による頚椎, 腰椎への注視所見について検討した。
論文 参考訳(メタデータ) (2022-05-06T01:51:19Z) - The Effect of Diversity in Meta-Learning [79.56118674435844]
少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。
近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。
タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
論文 参考訳(メタデータ) (2022-01-27T19:39:07Z) - Analysis and Prediction of NLP Models Via Task Embeddings [25.311690222754454]
我々は101ドルのNLPタスクのコレクションであるMetaEvalを提案する。
学習した埋め込みを条件にしながら、単一のトランスフォーマーをすべてのMetaEvalタスクに共同で適合させます。
結果として生じるタスクの埋め込みは、タスクの空間の新たな分析を可能にする。
論文 参考訳(メタデータ) (2021-12-10T16:23:24Z) - Boosting a Model Zoo for Multi-Task and Continual Learning [15.110807414130923]
モデル動物園」はモデルのアンサンブルを構築するアルゴリズムであり、それぞれが非常に小さく、小さなタスクセットで訓練されている。
モデルZooは,マルチタスクおよび連続学習における最先端手法と比較して,予測精度が大きく向上する。
論文 参考訳(メタデータ) (2021-06-06T04:25:09Z) - Understanding and Improving Information Transfer in Multi-Task Learning [14.43111978531182]
すべてのタスクに対して共有モジュール,各タスクに対して別個の出力モジュールを備えたアーキテクチャについて検討する。
タスクデータ間の不一致が負の転送(または性能の低下)を引き起こし、ポジティブな転送に十分な条件を提供することを示す。
理論的洞察から着想を得た結果,タスクの埋め込みレイヤの整合がマルチタスクトレーニングやトランスファー学習のパフォーマンス向上につながることが示された。
論文 参考訳(メタデータ) (2020-05-02T23:43:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。