論文の概要: Language Model is All You Need: Natural Language Understanding as Question Answering

• arxiv url: http://arxiv.org/abs/2011.03023v1
• Date: Thu, 5 Nov 2020 18:31:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-29 11:23:15.330561
• Title: Language Model is All You Need: Natural Language Understanding as Question Answering
• Title（参考訳）: 必要な言語モデル - 質問への回答としての自然言語理解
• Authors: Mahdi Namazifar, Alexandros Papangelis, Gokhan Tur, Dilek Hakkani-T\"ur
• Abstract要約: 本研究では、対象ドメインをソースドメインにマッピングする、特定の転送学習のファミリーの使用について検討する。 提案手法は,同性能に必要なデータ量を最大10倍に削減できることを示す。
• 参考スコア（独自算出の注目度）: 75.26830242165742
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Different flavors of transfer learning have shown tremendous impact in advancing research and applications of machine learning. In this work we study the use of a specific family of transfer learning, where the target domain is mapped to the source domain. Specifically we map Natural Language Understanding (NLU) problems to QuestionAnswering (QA) problems and we show that in low data regimes this approach offers significant improvements compared to other approaches to NLU. Moreover we show that these gains could be increased through sequential transfer learning across NLU problems from different domains. We show that our approach could reduce the amount of required data for the same performance by up to a factor of 10.
• Abstract（参考訳）: トランスファーラーニングの異なるフレーバーは、機械学習の研究と応用の進展に大きな影響を与えている。 そこで本研究では,対象ドメインをソースドメインにマッピングする,転送学習の特定のファミリーの利用について検討する。 具体的には、自然言語理解(NLU)問題を質問回答(QA)問題にマッピングし、低データ構造において、このアプローチがNLUの他のアプローチと比較して大幅に改善されていることを示す。 さらに,NLU問題間での逐次移動学習により,これらのゲインを増大させることができることを示す。 当社のアプローチは、同じパフォーマンスで必要なデータ量を最大10倍に削減できることを示しました。

関連論文リスト

• Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
  ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。 パフォーマンスギャップを実証的に説明するための一連の実験を考案する。
  論文  参考訳（メタデータ） (2024-09-27T05:06:43Z)
• Characterization of effects of transfer learning across domains and languages [0.0]
  事前学習されたニューラルネットワークモデルからのトランスファーラーニング(TL)は、長年にわたって強力なテクニックとして現れてきた。 本研究では,TLが3つの自然言語処理(NLP)タスクに対して,一般的な事前学習モデルの性能にどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2022-10-03T17:17:07Z)
• Deep invariant networks with differentiable augmentation layers [87.22033101185201]
  データ拡張ポリシーの学習方法は、保持データを必要とし、二段階最適化の問題に基づいている。 我々のアプローチは、現代の自動データ拡張技術よりも訓練が簡単で高速であることを示す。
  論文  参考訳（メタデータ） (2022-02-04T14:12:31Z)
• A Bayesian Approach to (Online) Transfer Learning: Theory and Algorithms [6.193838300896449]
  本稿では,パラメトリック統計モデルを用いたベイズ的観点からの移動学習について検討する。 具体的には,移動学習問題,即時学習,オンライン学習,時変学習の3つの変種について検討する。 各問題に対して、適切な目的関数を定義し、学習性能の正確な表現または上限を提供する。 例は、小さなサンプルサイズであっても、導出した境界が正確であることを示している。
  論文  参考訳（メタデータ） (2021-09-03T08:43:29Z)
• Transfer Learning for Aided Target Recognition: Comparing Deep Learning to other Machine Learning Approaches [0.0]
  AiTR(Aided target recognition)は、産業や防衛分野のアプリケーションにおいて重要な問題である。 ディープラーニング(DL)は、最近の現実世界の問題に対して、例外的なモデリングの柔軟性と精度を提供する。 私たちのゴールは、DLフレームワーク内の転送学習と、転送タスクとデータセットをまたいだ他のMLアプローチを比較することで、この欠点に対処することにあります。
  論文  参考訳（メタデータ） (2020-11-25T14:25:49Z)
• What is being transferred in transfer learning? [51.6991244438545]
  事前訓練した重量からトレーニングを行うと、モデルは損失景観の同じ流域に留まることを示す。 事前学習した重みからトレーニングする場合、モデルは損失ランドスケープの同じ流域に留まり、そのようなモデルの異なるインスタンスは特徴空間と類似しており、パラメータ空間は近接している。
  論文  参考訳（メタデータ） (2020-08-26T17:23:40Z)
• Limits of Transfer Learning [0.0]
  我々は、転送する情報の集合を慎重に選択する必要性と、転送される情報とターゲット問題との依存関係の必要性を示す。 これらの結果は、機械学習のためのアルゴリズム検索フレームワークの上に構築され、転送を用いた幅広い学習問題に適用できる。
  論文  参考訳（メタデータ） (2020-06-23T01:48:23Z)
• Exploring and Predicting Transferability across NLP Tasks [115.6278033699853]
  本研究では,33のNLPタスク間の伝達可能性について検討した。 以上の結果から,転帰学習は従来考えられていたよりも有益であることが示唆された。 また,特定の対象タスクに対して最も転送可能なソースタスクを予測するために使用できるタスク埋め込みも開発した。
  論文  参考訳（メタデータ） (2020-05-02T09:39:36Z)
• Multi-Domain Spoken Language Understanding Using Domain- and Task-Aware Parameterization [78.93669377251396]
  音声言語理解は、各ドメインでトレーニングデータのセットが利用できる教師付き学習問題として対処されてきた。 既存の1つのアプローチは、ドメイン間の共同トレーニングに共有パラメータを使用して、マルチドメイン学習を行うことによって、この問題を解決する。 本稿では,ドメイン固有モデルパラメータとタスク固有モデルパラメータを用いて,この手法のパラメータ化を改善することを提案する。
  論文  参考訳（メタデータ） (2020-04-30T15:15:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。