Fugu-MT 論文翻訳(概要): Massive Choice, Ample Tasks (MaChAmp): A Toolkit for Multi-task Learning in NLP

論文の概要: Massive Choice, Ample Tasks (MaChAmp): A Toolkit for Multi-task Learning in NLP

arxiv url: http://arxiv.org/abs/2005.14672v4
Date: Thu, 11 Mar 2021 16:30:11 GMT
ステータス: 処理完了
システム内更新日: 2022-11-26 23:21:07.497465
Title: Massive Choice, Ample Tasks (MaChAmp): A Toolkit for Multi-task Learning in NLP
Title（参考訳）: large choice, ample tasks (machamp): nlpにおけるマルチタスク学習のためのツールキット
Authors: Rob van der Goot, Ahmet \"Ust\"un, Alan Ramponi, Ibrahim Sharaf, Barbara Plank
Abstract要約: MaChAmpは、マルチタスク設定におけるコンテキスト化された埋め込みを簡単に微調整するためのツールキットである。 MaChAmpの利点は、フレキシブルな設定オプションと、統一ツールキットで様々な自然言語処理タスクをサポートすることである。
参考スコア（独自算出の注目度）: 24.981991538150584
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Transfer learning, particularly approaches that combine multi-task learning with pre-trained contextualized embeddings and fine-tuning, have advanced the field of Natural Language Processing tremendously in recent years. In this paper we present MaChAmp, a toolkit for easy fine-tuning of contextualized embeddings in multi-task settings. The benefits of MaChAmp are its flexible configuration options, and the support of a variety of natural language processing tasks in a uniform toolkit, from text classification and sequence labeling to dependency parsing, masked language modeling, and text generation.
Abstract（参考訳）: トランスファーラーニング、特にマルチタスク学習と事前訓練された文脈埋め込みと微調整を組み合わせたアプローチは、近年、自然言語処理の分野を大いに進歩させてきた。本稿では,マルチタスク設定におけるコンテキスト埋め込みの微調整を容易にするツールキットMaChAmpを提案する。 MaChAmpの利点は、柔軟性のある設定オプションと、テキスト分類やシーケンスラベリング、依存性解析、マスク付き言語モデリング、テキスト生成など、統一ツールキットでのさまざまな自然言語処理タスクのサポートである。

関連論文リスト

Meta-Task Prompting Elicits Embeddings from Large Language Models [54.757445048329735]
本稿では,新しい教師なしテキスト埋め込み手法であるMeta-Task Prompting with Explicit One-Word Limitationを紹介する。モデル微調整を必要とせずに,大規模言語モデルから高品質な文埋め込みを生成する。提案法は,多種多様なシナリオにまたがって生成を組み込む汎用的で資源効率のよい手法を提供する。
論文参考訳（メタデータ） (2024-02-28T16:35:52Z)
Fine-tuning Large Language Models for Multigenerator, Multidomain, and Multilingual Machine-Generated Text Detection [3.6433784431752434]
SemEval-2024 Task 8は、多種多様な大言語モデル(LLM)から機械生成テキストを特定するという課題を導入するタスクは3つのサブタスクから構成される: 単言語および多言語におけるバイナリ分類(Subtask A)、多クラス分類(Subtask B)、混合テキスト検出(Subtask C)。
論文参考訳（メタデータ） (2024-01-22T19:39:05Z)
MPrompt: Exploring Multi-level Prompt Tuning for Machine Reading Comprehension [19.12663587559988]
機械読取理解のためのマルチレベルプロンプトチューニング(MPrompt)手法を提案する。タスク特化、ドメイン特化、コンテキスト特化レベルでのプロンプトを利用して、入力セマンティクスの理解を強化する。各種QAフォーマットのベンチマーク12件について広範な実験を行い,最先端手法よりも平均1.94%向上した。
論文参考訳（メタデータ） (2023-10-27T14:24:06Z)
Making Small Language Models Better Multi-task Learners with Mixture-of-Task-Adapters [13.6682552098234]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクにおいて、驚くべきゼロショット学習性能を達成した。マルチタスク学習者に対して,小型言語モデルに基づくmixTure-of-task-adapterを効果的に構築するシステムであるALTERを提案する。少ない計算コストでアダプタ間の協調を最適化する2段階の学習手法を提案する。
論文参考訳（メタデータ） (2023-09-20T03:39:56Z)
ART: Automatic multi-step reasoning and tool-use for large language models [105.57550426609396]
大規模言語モデル(LLM)は、数秒とゼロショットの設定で複雑な推論を行うことができる。各推論ステップは、コアLLM機能を超えて計算をサポートする外部ツールに依存することができる。プログラムとして中間推論ステップを自動生成するために凍結LDMを使用するフレームワークであるART(Automatic Reasoning and Tool-use)を導入する。
論文参考訳（メタデータ） (2023-03-16T01:04:45Z)
Few-shot Multimodal Multitask Multilingual Learning [0.0]
我々は、事前学習された視覚と言語モデルを適用することで、マルチモーダルマルチタスク(FM3)設定のための数ショット学習を提案する。 FM3は、ビジョンと言語領域における最も顕著なタスクと、それらの交差点を学習する。
論文参考訳（メタデータ） (2023-02-19T03:48:46Z)
Unified Multimodal Pre-training and Prompt-based Tuning for Vision-Language Understanding and Generation [86.26522210882699]
視覚言語理解と生成のための統一型マルチモーダル事前学習を提案する。提案したUniVLは、理解タスクと生成タスクの両方を扱うことができる。実験の結果,同じモデルを用いた場合,理解タスクと生成タスクとの間にはトレードオフがあることが判明した。
論文参考訳（メタデータ） (2021-12-10T14:59:06Z)
XtremeDistilTransformers: Task Transfer for Task-agnostic Distillation [80.18830380517753]
我々は新しいタスク非依存蒸留フレームワーク XtremeDistilTransformers を開発した。本研究は, 蒸留における複数のソースタスク, 拡張資源, モデルアーキテクチャの伝達可能性について検討する。
論文参考訳（メタデータ） (2021-06-08T17:49:33Z)
N-LTP: An Open-source Neural Language Technology Platform for Chinese [68.58732970171747]
textttN-は、中国の6つの基本的なNLPタスクをサポートする、オープンソースのニューラルネットワークテクノロジプラットフォームである。 textttN-は、中国のタスク間で共有知識をキャプチャする利点がある共有事前学習モデルを使用することで、マルチタスクフレームワークを採用する。
論文参考訳（メタデータ） (2020-09-24T11:45:39Z)
Hierarchical Multi Task Learning with Subword Contextual Embeddings for Languages with Rich Morphology [5.5217350574838875]
自然言語処理(NLP)における多くのシーケンスラベリングタスクにおける形態情報の重要性本研究では, 単語文脈埋め込みを用いて, 豊富な形態素を持つ言語に対する形態情報を取得することを提案する。我々のモデルは、トルコ語の両方のタスクにおける過去の最先端モデルよりも優れています。
論文参考訳（メタデータ） (2020-04-25T22:55:56Z)
Learning to Multi-Task Learn for Better Neural Machine Translation [53.06405021125476]
マルチタスク学習は、言語関連バイアスをニューラルネットワーク翻訳モデルに注入するエレガントなアプローチである。本稿では,学習スケジュールの学習,マルチタスク学習のための新しいフレームワークを提案する。実験の結果、自動学習したトレーニングスケジューラがベストと競い合っており、最大1.1BLEUスコアが向上している。
論文参考訳（メタデータ） (2020-01-10T03:12:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。