Fugu-MT 論文翻訳(概要): jiant: A Software Toolkit for Research on General-Purpose Text Understanding Models

論文の概要: jiant: A Software Toolkit for Research on General-Purpose Text Understanding Models

arxiv url: http://arxiv.org/abs/2003.02249v2
Date: Wed, 13 May 2020 16:33:56 GMT
ステータス: 処理完了
システム内更新日: 2022-12-26 13:08:37.012844
Title: jiant: A Software Toolkit for Research on General-Purpose Text Understanding Models
Title（参考訳）: jiant:汎用テキスト理解モデル研究のためのソフトウェアツールキット
Authors: Yada Pruksachatkun, Phil Yeres, Haokun Liu, Jason Phang, Phu Mon Htut, Alex Wang, Ian Tenney and Samuel R. Bowman
Abstract要約: jiantは、英語のNLUタスクでマルチタスクおよびトランスファー学習実験を行うためのオープンソースツールキットである。 jiantは、モジュール化と構成駆動による、最先端のモデルの実験を可能にする。 Jiantは、GLUEとSuperGLUEベンチマークタスクを含む50以上のNLUタスクを実装している。
参考スコア（独自算出の注目度）: 29.765682157464674
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce jiant, an open source toolkit for conducting multitask and transfer learning experiments on English NLU tasks. jiant enables modular and configuration-driven experimentation with state-of-the-art models and implements a broad set of tasks for probing, transfer learning, and multitask training experiments. jiant implements over 50 NLU tasks, including all GLUE and SuperGLUE benchmark tasks. We demonstrate that jiant reproduces published performance on a variety of tasks and models, including BERT and RoBERTa. jiant is available at https://jiant.info.
Abstract（参考訳）: 英語のnluタスクでマルチタスクおよび転送学習実験を行うためのオープンソースツールキットであるjiantを紹介する。 jiantは最新モデルのモジュール化と構成駆動の実験を可能にし、探索、転送学習、マルチタスクトレーニング実験のための幅広いタスクセットを実装している。 Jiantは、GLUEとSuperGLUEベンチマークタスクを含む50以上のNLUタスクを実装している。我々は、BERTやRoBERTaなど、さまざまなタスクやモデル上で、jiantがパブリッシュパフォーマンスを再現することを示した。 jiantはhttps://jiant.info.comで入手できる。

関連論文リスト

How does Multi-Task Training Affect Transformer In-Context Capabilities? Investigations with Function Classes [6.652837942112205]
大規模言語モデル(LLM)は、テキストとして提供される少数の例に基づいて、目に見えないタスクを実行するという異常な能力を示している。我々は、ICLモデルによるデータ効率の向上と、より安定した収束を実現するための効果的なカリキュラム学習戦略をいくつか提案する。実験の結果, ICLモデルでは, 従来の課題を混在させながら, 段階的に難しいタスクを学習することで, 難易度を効果的に学習できることが判明した。
論文参考訳（メタデータ） (2024-04-04T16:15:23Z)
STG-MTL: Scalable Task Grouping for Multi-Task Learning Using Data Map [4.263847576433289]
MTL(Multi-Task Learning)は、従来のSTL(Single-Task Learning)よりも性能が向上し、普及した強力な技術である。しかし、MTLは指数的なタスクグルーピング数が多いため、しばしば困難である。本稿では,これらの課題に対処し,課題分類のためのスケーラブルでモジュール化されたソリューションを提供する新しいデータ駆動手法を提案する。
論文参考訳（メタデータ） (2023-07-07T03:54:26Z)
mPLUG-2: A Modularized Multi-modal Foundation Model Across Text, Image and Video [89.19867891570945]
mPLUG-2は、マルチモーダル事前訓練のためのモジュール化された設計を備えた新しい統一パラダイムである。モダリティ協力のための共通普遍加群を共有し、モダリティの絡み合いを扱うために異なるモダリティ加群を切り離す。テキスト、画像、ビデオを含むすべてのモダリティの異なる理解タスクと生成タスクのために、異なるモジュールを選択することは柔軟です。
論文参考訳（メタデータ） (2023-02-01T12:40:03Z)
MultiInstruct: Improving Multi-Modal Zero-Shot Learning via Instruction Tuning [24.741736629886564]
インストラクションチューニングは、命令によって指定されたタスクで事前訓練された言語モデルを微調整する新しい学習パラダイムである。 MUL-TIINSTRUCTは,最初のマルチモーダル・インストラクション・チューニング・ベンチマーク・データセットである。各種マルチモーダルタスクにおけるゼロショット性能と,テキストのみの命令データセットからの変換学習の利点を示す。
論文参考訳（メタデータ） (2022-12-21T05:17:06Z)
Improving Cross-task Generalization of Unified Table-to-text Models with Compositional Task Configurations [63.04466647849211]
メソッドは通常、タスク情報をエンコーダのプレフィックスとして単純なデータセット名でエンコードする。本稿では,エンコーダがタスク間の一般化を改善するためのプロンプトセットであるコンポジションタスク構成を提案する。これは、モデルがトレーニング中に異なるタスク間で共有知識をより良く学習できるだけでなく、新しい構成を構築することでモデルを制御できることを示している。
論文参考訳（メタデータ） (2022-12-17T02:20:14Z)
OFASys: A Multi-Modal Multi-Task Learning System for Building Generalist Models [72.8156832931841]
ジェネリストモデルは、単一のモデル内でタスクに依存しない方法で多様なマルチモーダルタスクを実行することができる。マルチモーダル命令と呼ばれる宣言型タスクインタフェース上に構築された汎用モデル学習システムOFASysをリリースする。
論文参考訳（メタデータ） (2022-12-08T17:07:09Z)
Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
論文参考訳（メタデータ） (2022-10-12T15:02:04Z)
Explaining the Effectiveness of Multi-Task Learning for Efficient Knowledge Extraction from Spine MRI Reports [2.5953185061765884]
一つのマルチタスクモデルがタスク固有のモデルの性能にマッチすることを示す。内科医による頚椎, 腰椎への注視所見について検討した。
論文参考訳（メタデータ） (2022-05-06T01:51:19Z)
The Effect of Diversity in Meta-Learning [79.56118674435844]
少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
論文参考訳（メタデータ） (2022-01-27T19:39:07Z)
Multitask Prompted Training Enables Zero-Shot Task Generalization [70.12770442071657]
本研究では,一般的な自然言語タスクを人間に読まれる入力形式にマッピングするシステムを開発した。様々なタスクをカバーしたマルチタスクミックス上に,事前学習したエンコーダ・デコーダモデルを微調整する。このモデルは、いくつかの標準データセット上で強力なゼロショット性能を達成し、しばしば16倍のサイズのモデルより優れている。
論文参考訳（メタデータ） (2021-10-15T17:08:57Z)
Understanding and Improving Information Transfer in Multi-Task Learning [14.43111978531182]
すべてのタスクに対して共有モジュール,各タスクに対して別個の出力モジュールを備えたアーキテクチャについて検討する。タスクデータ間の不一致が負の転送(または性能の低下)を引き起こし、ポジティブな転送に十分な条件を提供することを示す。理論的洞察から着想を得た結果,タスクの埋め込みレイヤの整合がマルチタスクトレーニングやトランスファー学習のパフォーマンス向上につながることが示された。
論文参考訳（メタデータ） (2020-05-02T23:43:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。