論文の概要: A Survey on Recent Approaches for Natural Language Processing in Low-Resource Scenarios

• arxiv url: http://arxiv.org/abs/2010.12309v3
• Date: Fri, 9 Apr 2021 13:48:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 21:41:39.707345
• Title: A Survey on Recent Approaches for Natural Language Processing in Low-Resource Scenarios
• Title（参考訳）: 低リソースシナリオにおける自然言語処理の最近のアプローチに関する調査
• Authors: Michael A. Hedderich, Lukas Lange, Heike Adel, Jannik Str\"otgen, Dietrich Klakow
• Abstract要約: ディープニューラルネットワークと巨大な言語モデルが、自然言語アプリケーションにおいて一様化しつつある。 大量のトレーニングデータを必要とすることで知られているため、低リソース環境でのパフォーマンスを改善するための作業が増えている。 ニューラルモデルに対する最近の根本的な変化と、一般的なプレトレインおよびファインチューンパラダイムにより、低リソースの自然言語処理に対する有望なアプローチを調査した。
• 参考スコア（独自算出の注目度）: 30.391291221959545
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks and huge language models are becoming omnipresent in natural language applications. As they are known for requiring large amounts of training data, there is a growing body of work to improve the performance in low-resource settings. Motivated by the recent fundamental changes towards neural models and the popular pre-train and fine-tune paradigm, we survey promising approaches for low-resource natural language processing. After a discussion about the different dimensions of data availability, we give a structured overview of methods that enable learning when training data is sparse. This includes mechanisms to create additional labeled data like data augmentation and distant supervision as well as transfer learning settings that reduce the need for target supervision. A goal of our survey is to explain how these methods differ in their requirements as understanding them is essential for choosing a technique suited for a specific low-resource setting. Further key aspects of this work are to highlight open issues and to outline promising directions for future research.
• Abstract（参考訳）: ディープニューラルネットワークと巨大な言語モデルが、自然言語アプリケーションにおいて一様化しつつある。 大量のトレーニングデータを必要とすることで知られているため、低リソース環境でのパフォーマンスを改善するための作業が増えている。 ニューラルモデルに対する最近の根本的な変化と、一般的なプレトレインおよびファインチューンパラダイムにより、低リソースの自然言語処理に対する有望なアプローチを調査した。 データ可用性の異なる次元に関する議論の後、トレーニングデータが少ない場合の学習を可能にする方法の構造化概要を述べる。 これには、データ拡張や遠隔監視といったラベル付きデータを追加するメカニズムや、ターゲット監視の必要性を減らすための転送学習設定が含まれる。 調査の目的は,これらの手法が,特定の低リソース環境に適した手法を選択する上で,それらの理解が不可欠であることから,それぞれの要件においてどのように異なるかを説明することである。 この研究のさらに重要な側面は、オープンな問題を強調し、将来の研究に向けた有望な方向性を概説することである。

関連論文リスト

• A Practical Guide to Fine-tuning Language Models with Limited Data [9.413178499853156]
  事前訓練されたLarge Language Models (LLM) を採用することは、膨大なデータ要件にもかかわらず、自然言語処理(NLP)における事実上の標準となっている。 限られたデータを用いたLLMの学習に焦点をあてた最近の研究の急増に触発された本研究では、データ不足の下流タスクにおけるモデル性能を最適化するための、近年のトランスファー学習アプローチについて調査する。
  論文  参考訳（メタデータ） (2024-11-14T15:55:37Z)
• Unsupervised Data Validation Methods for Efficient Model Training [0.0]
  自然言語処理(NLP)、テキスト音声処理(TTS)、音声テキスト処理(STT)、視覚言語モデル(VLM)は大規模なデータセットに大きく依存している。 本研究では,「品質データ」の定義,適切なデータ生成方法の開発,モデルトレーニングへのアクセシビリティ向上など,重要な分野について検討する。
  論文  参考訳（メタデータ） (2024-10-10T13:00:53Z)
• SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
  大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。 メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。 実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-15T08:33:08Z)
• Exploring Large Language Model for Graph Data Understanding in Online Job Recommendations [63.19448893196642]
  本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。 この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
  論文  参考訳（メタデータ） (2023-07-10T11:29:41Z)
• A Survey of Large Language Models [81.06947636926638]
  言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。 近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。 パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
  論文  参考訳（メタデータ） (2023-03-31T17:28:46Z)
• Mitigating Data Scarcity for Large Language Models [7.259279261659759]
  近年,事前学習型ニューラルネットワークモデル (PNLM) が嵐による自然言語処理の分野に進出している。 データ不足は、医学などの専門分野や、AI研究によって調査されていない低リソース言語でよく見られる。 この論文では、データ強化とニューラルアンサンブル学習技術を用いて、データの不足を軽減することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-02-03T15:17:53Z)
• Leveraging pre-trained language models for conversational information seeking from text [2.8425118603312]
  本稿では,プロセス記述文書から情報抽出の問題に対処するために,文脈内学習と事前学習言語表現モデルの使用について検討する。 その結果、このアプローチの可能性と、コンテキスト内学習のカスタマイズの有用性が浮き彫りになった。
  論文  参考訳（メタデータ） (2022-03-31T09:00:46Z)
• Reprogramming Language Models for Molecular Representation Learning [65.00999660425731]
  本稿では,分子学習タスクのための事前学習言語モデルに対して,辞書学習(R2DL)による表現再プログラミングを提案する。 対比プログラムは、k-SVDソルバを用いて、高密度ソースモデル入力空間(言語データ)とスパースターゲットモデル入力空間(例えば、化学および生物学的分子データ)との間の線形変換を学習する。 R2DLは、ドメイン固有のデータに基づいて訓練されたアート毒性予測モデルの状態によって確立されたベースラインを達成し、限られたトレーニングデータ設定でベースラインを上回る。
  論文  参考訳（メタデータ） (2020-12-07T05:50:27Z)
• Low-Resource Adaptation of Neural NLP Models [0.30458514384586405]
  本論文は,情報抽出と自然言語理解における低リソースシナリオを扱う手法について考察する。 ニューラルNLPモデルを開発し,学習データを最小限にしたNLPタスクに関する多くの研究課題を探索する。
  論文  参考訳（メタデータ） (2020-11-09T12:13:55Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。