論文の概要: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

• arxiv url: http://arxiv.org/abs/1910.10683v4
• Date: Tue, 19 Sep 2023 15:14:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 21:12:39.773683
• Title: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
• Title（参考訳）: テキスト変換器の統一化による移動学習限界の探索
• Authors: Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li and Peter J. Liu
• Abstract要約: 下流タスクで微調整される前に、まずデータリッチタスクでモデルが事前訓練されるトランスファーラーニングは、自然言語処理(NLP)において強力な手法として登場した。 本稿では,すべてのテキストベースの言語問題をテキスト・トゥ・テキスト・フォーマットに変換する統一フレームワークにより,NLPのためのトランスファー学習手法を導入する状況について検討する。
• 参考スコア（独自算出の注目度）: 64.22926988297685
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transfer learning, where a model is first pre-trained on a data-rich task before being fine-tuned on a downstream task, has emerged as a powerful technique in natural language processing (NLP). The effectiveness of transfer learning has given rise to a diversity of approaches, methodology, and practice. In this paper, we explore the landscape of transfer learning techniques for NLP by introducing a unified framework that converts all text-based language problems into a text-to-text format. Our systematic study compares pre-training objectives, architectures, unlabeled data sets, transfer approaches, and other factors on dozens of language understanding tasks. By combining the insights from our exploration with scale and our new ``Colossal Clean Crawled Corpus'', we achieve state-of-the-art results on many benchmarks covering summarization, question answering, text classification, and more. To facilitate future work on transfer learning for NLP, we release our data set, pre-trained models, and code.
• Abstract（参考訳）: 下流タスクで微調整される前に、データリッチタスクでモデルを事前訓練するトランスファーラーニングは、自然言語処理(NLP)において強力な技術として登場した。 伝達学習の有効性は、様々なアプローチ、方法論、実践を生み出している。 本稿では,すべてのテキストベースの言語問題をテキストからテキストへ変換する統一フレームワークを導入することにより,NLPにおける転写学習技術の展望を考察する。 本研究は,事前学習目標,アーキテクチャ,ラベル付きデータセット,転送アプローチ,その他数十の言語理解タスクにおける要素を比較した。 調査から得られた知見と,新たな ‘Colossal Clean Crawled Corpus'' を組み合わせることで,要約や質問応答,テキスト分類などを含む多くのベンチマークにおいて,最先端の成果が得られる。 NLPにおける転送学習の今後の取り組みを容易にするため、我々はデータセット、事前訓練されたモデル、コードをリリースする。

関連論文リスト

• Pointer-Guided Pre-Training: Infusing Large Language Models with Paragraph-Level Contextual Awareness [3.2925222641796554]
  ポインター誘導セグメントオーダリング(SO)は,段落レベルのテキスト表現の文脈的理解を高めることを目的とした,新しい事前学習手法である。 実験の結果,ポインタ誘導型事前学習は複雑な文書構造を理解する能力を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-06-06T15:17:51Z)
• A Novel Cartography-Based Curriculum Learning Method Applied on RoNLI: The First Romanian Natural Language Inference Corpus [71.77214818319054]
  自然言語推論は自然言語理解のプロキシである。 ルーマニア語のNLIコーパスは公開されていない。 58Kの訓練文対からなるルーマニア初のNLIコーパス(RoNLI)を紹介する。
  論文  参考訳（メタデータ） (2024-05-20T08:41:15Z)
• CSSL-MHTR: Continual Self-Supervised Learning for Scalable Multi-script Handwritten Text Recognition [16.987008461171065]
  我々は,手書き文字認識における破滅的な忘れの問題を軽減するために,連続的な自己指導型学習の可能性を探究する。 提案手法は,各タスクにアダプタと呼ばれる中間層を追加し,現在のタスクを学習しながら,前モデルからの知識を効率的に抽出する。 私たちは英語、イタリア語、ロシア語のスクリプトで最先端のパフォーマンスを達成しましたが、タスクごとにいくつかのパラメータしか追加していません。
  論文  参考訳（メタデータ） (2023-03-16T14:27:45Z)
• An Inclusive Notion of Text [69.36678873492373]
  テキストの概念の明確さは再現可能で一般化可能なNLPにとって不可欠である,と我々は主張する。 言語的および非言語的要素の2層分類を導入し,NLPモデリングに使用することができる。
  論文  参考訳（メタデータ） (2022-11-10T14:26:43Z)
• Pre-training Language Model Incorporating Domain-specific Heterogeneous Knowledge into A Unified Representation [49.89831914386982]
  本研究では, 構造化されていないテキスト, 半構造化されたテキスト, 十分に構造化されたテキストを含む, あらゆる形式のテキストに対して, 統一された事前学習言語モデル (PLM) を提案する。 提案手法は,データの1/4のみを用いて,プレーンテキストの事前学習に優れる。
  論文  参考訳（メタデータ） (2021-09-02T16:05:24Z)
• Improving Speech Translation by Understanding and Learning from the Auxiliary Text Translation Task [26.703809355057224]
  我々は,タスクがマルチタスク学習フレームワークにおけるメインタスクに与える影響を理解するために,詳細な分析を行う。 解析により、マルチタスク学習は、異なるモダリティから同様のデコーダ表現を生成する傾向があることを確認した。 これらの知見に触発されて,翻訳品質を向上させる3つの方法を提案する。
  論文  参考訳（メタデータ） (2021-07-12T23:53:40Z)
• Cross-Lingual Adaptation for Type Inference [29.234418962960905]
  弱い型付き言語間で深層学習に基づく型推論を行うための言語間適応フレームワークPLATOを提案する。 強く型付けされた言語からのデータを活用することで、PLATOは、バックボーンのクロスプログラミング言語モデルの難易度を改善する。
  論文  参考訳（メタデータ） (2021-07-01T00:20:24Z)
• Deep Learning for Text Style Transfer: A Survey [71.8870854396927]
  テキストスタイル転送は、生成したテキストの特定の属性を制御することを目的として、自然言語生成において重要なタスクである。 2017年の最初のニューラルテキストスタイル転送作業以降,100以上の代表的な記事を対象とした,ニューラルテキストスタイル転送の研究の体系的な調査を行う。 タスクの定式化、既存のデータセットとサブタスク、評価、並列データと非並列データの存在下での豊富な方法論について論じる。
  論文  参考訳（メタデータ） (2020-11-01T04:04:43Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。