論文の概要: Meta Fine-Tuning Neural Language Models for Multi-Domain Text Mining

• arxiv url: http://arxiv.org/abs/2003.13003v2
• Date: Wed, 16 Sep 2020 15:00:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 13:04:21.015187
• Title: Meta Fine-Tuning Neural Language Models for Multi-Domain Text Mining
• Title（参考訳）: マルチドメインテキストマイニングのためのメタ微調整ニューラルネットワークモデル
• Authors: Chengyu Wang, Minghui Qiu, Jun Huang, Xiaofeng He
• Abstract要約: メタファインチューニング(MFT)と呼ばれる効果的な学習手法を提案する。 MFTは、ニューラルネットワークモデルのための同様のNLPタスクのグループを解決するためのメタラーナーとして機能する。 BERT 上で MFT を実装し,複数のマルチドメインテキストマイニングタスクを解決する。
• 参考スコア（独自算出の注目度）: 37.2106265998237
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained neural language models bring significant improvement for various NLP tasks, by fine-tuning the models on task-specific training sets. During fine-tuning, the parameters are initialized from pre-trained models directly, which ignores how the learning process of similar NLP tasks in different domains is correlated and mutually reinforced. In this paper, we propose an effective learning procedure named Meta Fine-Tuning (MFT), served as a meta-learner to solve a group of similar NLP tasks for neural language models. Instead of simply multi-task training over all the datasets, MFT only learns from typical instances of various domains to acquire highly transferable knowledge. It further encourages the language model to encode domain-invariant representations by optimizing a series of novel domain corruption loss functions. After MFT, the model can be fine-tuned for each domain with better parameter initializations and higher generalization ability. We implement MFT upon BERT to solve several multi-domain text mining tasks. Experimental results confirm the effectiveness of MFT and its usefulness for few-shot learning.
• Abstract（参考訳）: 事前学習されたニューラルネットワークモデルは、タスク固有のトレーニングセットでモデルを微調整することで、さまざまなnlpタスクに大幅な改善をもたらす。 微調整中、パラメータは事前訓練されたモデルから直接初期化され、異なる領域における類似のNLPタスクの学習プロセスが相互に相関し強化されていることを無視する。 本稿では,メタファインタニング(Meta Fine-Tuning, MFT)と呼ばれる学習手法を提案する。 すべてのデータセットをマルチタスクでトレーニングする代わりに、MDTはさまざまなドメインの典型的なインスタンスからのみ学習して、高度に伝達可能な知識を取得する。 さらに、新しいドメインの破損損失関数を最適化することで、ドメイン不変表現をエンコードすることを言語モデルに推奨する。 MFTの後、モデルはより優れたパラメータ初期化とより高い一般化能力で各領域に対して微調整できる。 BERT 上で MFT を実装し,複数のマルチドメインテキストマイニングタスクを解決する。 実験結果から, MFTの有効性と, その有用性が確認された。

関連論文リスト

• Investigating the potential of Sparse Mixtures-of-Experts for multi-domain neural machine translation [59.41178047749177]
  トレーニング中に見られるさまざまなドメインのデータを扱うことができ、トレーニング中に見つからないドメインに対して堅牢な効率的なモデルを開発することを目的として、マルチドメインニューラルネットワーク翻訳に重点を置いている。 SMOE(Sparse Mixture-of-Experts)モデルは、効率的なモデルスケーリングを可能にするため、このタスクに適していると仮定する。 マルチドメインシナリオにおけるSMoEの有用性を検証するための一連の実験を行い、Transformerの簡単な幅スケーリングは、実際はよりシンプルで驚くほど効率的なアプローチであり、SMoEと同等の性能レベルに達することを発見した。
  論文  参考訳（メタデータ） (2024-07-01T09:45:22Z)
• MTLoRA: A Low-Rank Adaptation Approach for Efficient Multi-Task Learning [1.4396109429521227]
  大規模データセットに事前トレーニングされたモデルを、さまざまな下流タスクに適応させることは、ディープラーニングにおける一般的な戦略である。 パラメータ効率のよい微調整手法は、最小限のパラメータだけを訓練しながら、事前訓練されたモデルを異なるタスクに適応させる有望な方法として登場した。 本稿では,マルチタスク学習モデルのパラメータ効率向上のための新しいフレームワークMTLoRAを紹介する。
  論文  参考訳（メタデータ） (2024-03-29T17:43:58Z)
• Only Send What You Need: Learning to Communicate Efficiently in Federated Multilingual Machine Translation [19.28500206536013]
  フェデレートラーニング(FL)は多言語課題を解決するための有望なアプローチである。 モデル伝送の通信効率を向上させるメタ学習に基づく適応パラメータ選択手法MetaSendを提案する。 我々は,MetaSendが,限られた通信予算が存在する場合に,翻訳品質のベースラインよりも大幅に改善されることを実証した。
  論文  参考訳（メタデータ） (2024-01-15T04:04:26Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Unified Model Learning for Various Neural Machine Translation [63.320005222549646]
  既存の機械翻訳(NMT)研究は主にデータセット固有のモデルの開発に焦点を当てている。 我々は,NMT(UMLNMT)のための統一モデル学習モデル(Unified Model Learning for NMT)を提案する。 OurNMTは、データセット固有のモデルよりも大幅に改善され、モデルデプロイメントコストが大幅に削減される。
  論文  参考訳（メタデータ） (2023-05-04T12:21:52Z)
• A Systematic Analysis of Vocabulary and BPE Settings for Optimal Fine-tuning of NMT: A Case Study of In-domain Translation [0.0]
  語彙とSWトークン化の選択は、トレーニングとNMTモデルの微調整の両方に重大な影響を与える。 本研究では、SWトークン化と語彙生成のための異なる戦略と、ドメイン固有モデルを微調整するための最適な設定を明らかにするための究極の目標を比較する。
  論文  参考訳（メタデータ） (2023-03-01T18:26:47Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)
• Grad2Task: Improved Few-shot Text Classification Using Gradients for Task Representation [24.488427641442694]
  本稿では,数ショットのテキスト分類のための条件付きニューラルプロセスに基づく新しいアプローチを提案する。 私たちのキーとなるアイデアは、ベースモデルからの勾配情報を使って各タスクを表現することです。 我々のアプローチは、従来の微調整、シーケンシャルトランスファーラーニング、そして最先端のメタラーニングアプローチよりも優れています。
  論文  参考訳（メタデータ） (2022-01-27T15:29:30Z)
• WARP: Word-level Adversarial ReProgramming [13.08689221166729]
  多くのアプリケーションでは、多くのパラメータを複数のタスクで共有できるように、より小さなパラメータセットをチューニングすることが望ましい。 自動プロンプト生成に関する初期の研究を拡張した逆転プログラミングに基づく代替アプローチを提案する。 提案手法は,SST-2およびMNLIデータセット上で,類似のトレーニング可能なパラメータ数で他の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-01-01T00:41:03Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。