論文の概要: SkillNet-NLG: General-Purpose Natural Language Generation with a Sparsely Activated Approach

• arxiv url: http://arxiv.org/abs/2204.12184v1
• Date: Tue, 26 Apr 2022 09:37:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-27 12:11:23.539138
• Title: SkillNet-NLG: General-Purpose Natural Language Generation with a Sparsely Activated Approach
• Title（参考訳）: skillnet-nlg:sparsely activated approachを用いた汎用自然言語生成
• Authors: Junwei Liao, Duyu Tang, Fan Zhang, Shuming Shi
• Abstract要約: SkillNet-NLGは、多くの自然言語生成タスクを1つのモデルで処理するスパースアクティベートなアプローチである。 我々は中国語の自然言語生成タスクを評価する。
• 参考スコア（独自算出の注目度）: 32.79493780508332
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present SkillNet-NLG, a sparsely activated approach that handles many natural language generation tasks with one model. Different from traditional dense models that always activate all the parameters, SkillNet-NLG selectively activates relevant parts of the parameters to accomplish a task, where the relevance is controlled by a set of predefined skills. The strength of such model design is that it provides an opportunity to precisely adapt relevant skills to learn new tasks effectively. We evaluate on Chinese natural language generation tasks. Results show that, with only one model file, SkillNet-NLG outperforms previous best performance methods on four of five tasks. SkillNet-NLG performs better than two multi-task learning baselines (a dense model and a Mixture-of-Expert model) and achieves comparable performance to task-specific models. Lastly, SkillNet-NLG surpasses baseline systems when being adapted to new tasks.
• Abstract（参考訳）: 自然言語生成タスクを1つのモデルで処理する疎結合なアプローチであるskillnet-nlgを提案する。 すべてのパラメータを常に活性化する従来の密集モデルとは異なり、SkillNet-NLGはパラメータの関連部分を選択的に活性化してタスクを達成する。 このようなモデル設計の強みは、関連するスキルを正確に適用して新しいタスクを効果的に学習する機会を提供することです。 我々は中国語の自然言語生成タスクを評価する。 その結果、skillnet-nlgは1つのモデルファイルだけで、5つのタスクのうち4つで以前の最高のパフォーマンスメソッドを上回っている。 SkillNet-NLGは2つのマルチタスク学習ベースライン(密集モデルとMixture-of-Expertモデル)より優れ、タスク固有のモデルと同等のパフォーマンスを達成する。 最後に、SkillNet-NLGは、新しいタスクに適応する際にベースラインシステムを上回る。

関連論文リスト

• UniverSLU: Universal Spoken Language Understanding for Diverse Tasks with Natural Language Instructions [64.50935101415776]
  我々は,様々な音声言語理解(SLU)タスクを共同で行う単一モデルを構築した。 我々は17のデータセットと9の言語にまたがる12の音声分類とシーケンス生成タスクタイプに対して,1つのマルチタスク学習モデル"UniverSLU"の有効性を実証した。
  論文  参考訳（メタデータ） (2023-10-04T17:10:23Z)
• SkillNet-X: A Multilingual Multitask Model with Sparsely Activated Skills [51.74947795895178]
  本稿では,SkillNet-Xという多言語マルチタスクモデルを提案する。 いくつかの言語固有のスキルとタスク固有のスキルを定義し、それぞれがスキルモジュールに対応する。 我々はSkillNet-Xを4言語で11の自然言語理解データセット上で評価した。
  論文  参考訳（メタデータ） (2023-06-28T12:53:30Z)
• Skill-Based Few-Shot Selection for In-Context Learning [123.26522773708683]
  Skill-KNNは、文脈内学習のためのスキルベースの少ショット選択手法である。 モデルはトレーニングや微調整を必要とせず、頻繁に銀行を拡大したり変更したりするのに適している。 5つのドメイン間セマンティックパーシングデータセットと6つのバックボーンモデルによる実験結果から、Skill-KNNは既存の手法よりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-23T16:28:29Z)
• One Model, Multiple Modalities: A Sparsely Activated Approach for Text, Sound, Image, Video and Code [26.40920402395547]
  本稿では,単一モデルを用いた複数モーダル情報処理に優れた手法を提案する。 我々は,テキスト,画像,音声,ビデオ,コードを含む5つのモダリティのモデルを開発した。 我々のモデルは、同じ疎活性化された方法で自己教師付き事前訓練をサポートし、その結果、異なるモーダルのパラメータがより良くなる。
  論文  参考訳（メタデータ） (2022-05-12T14:39:21Z)
• One Model, Multiple Tasks: Pathways for Natural Language Understanding [34.58880663537492]
  本稿では,複数のタスクを同時に処理するためのPathwaysアプローチを提案する。 個々のタスクに過度に特化し、新しいタスクに拡張された時にスクラッチから学習する一般的な単一目的モデルとは異なり、我々のアプローチは既存のスキルを縫い合わせ、新しいタスクをより効果的に学習する能力で汎用的である。
  論文  参考訳（メタデータ） (2022-03-07T11:48:09Z)
• GLGE: A New General Language Generation Evaluation Benchmark [139.25515221280767]
  General Language Generation Evaluation (GLGE)は、NLGモデルの一般化能力を評価するための新しいマルチタスクベンチマークである。 NLGモデルにおける事前学習と伝達学習の研究を促進するため、GLGEを一般公開し、強力なベースラインを持つリーダーボードを構築する。
  論文  参考訳（メタデータ） (2020-11-24T06:59:45Z)
• HyperGrid: Efficient Multi-Task Transformers with Grid-wise Decomposable Hyper Projections [96.64246471034195]
  我々は,マルチタスク学習を効果的に行う新しいアプローチであるtextscHyperGridを提案する。 本手法は,微調整とマルチタスク学習のギャップを埋めるのに役立つ。
  論文  参考訳（メタデータ） (2020-07-12T02:49:16Z)
• Exploring Versatile Generative Language Model Via Parameter-Efficient Transfer Learning [70.81910984985683]
  本稿では,1つの大規模事前学習モデルを用いて,複数のダウンストリーム生成タスクを同時に微調整する効果的な方法を提案する。 5つの多様な言語生成タスクの実験は、各タスクに2-3%のパラメータを追加するだけで、モデル全体の微調整性能を維持または改善できることを示している。
  論文  参考訳（メタデータ） (2020-04-08T06:18:44Z)
• Modelling Latent Skills for Multitask Language Generation [15.126163032403811]
  マルチタスク条件言語生成のための生成モデルを提案する。 我々の指導的仮説は、共通の潜在スキルの集合が、多くの異なる言語生成タスクの根底にあるというものである。 このタスク埋め込み空間を潜在変数列列列モデルにおける潜在変数としてインスタンス化する。
  論文  参考訳（メタデータ） (2020-02-21T20:39:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。