Fugu-MT 論文翻訳(概要): The Importance of Context in Very Low Resource Language Modeling

論文の概要: The Importance of Context in Very Low Resource Language Modeling

arxiv url: http://arxiv.org/abs/2205.04810v1
Date: Tue, 10 May 2022 11:19:56 GMT
ステータス: 処理完了
システム内更新日: 2022-05-12 18:52:58.237767
Title: The Importance of Context in Very Low Resource Language Modeling
Title（参考訳）: 超低リソース言語モデリングにおける文脈の重要性
Authors: Lukas Edman, Antonio Toral, Gertjan van Noord
Abstract要約: 非常に低いリソースシナリオでは、統計的なn-gram言語モデルは最先端のニューラルモデルより優れている。低リソース環境におけるニューラルモデルの性能向上のための3つの手法を提案する。
参考スコア（独自算出の注目度）: 3.734153902687548
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper investigates very low resource language model pretraining, when less than 100 thousand sentences are available. We find that, in very low resource scenarios, statistical n-gram language models outperform state-of-the-art neural models. Our experiments show that this is mainly due to the focus of the former on a local context. As such, we introduce three methods to improve a neural model's performance in the low-resource setting, finding that limiting the model's self-attention is the most effective one, improving on downstream tasks such as NLI and POS tagging by up to 5% for the languages we test on: English, Hindi, and Turkish.
Abstract（参考訳）: 本稿では,10万文未満の資源言語モデルの事前学習について検討する。非常に低いリソースシナリオでは、統計的なn-gram言語モデルは最先端のニューラルモデルより優れている。実験の結果,これは主に局所的な文脈における前者の焦点が原因であることが示唆された。そこで我々は,低リソース環境におけるニューラルモデルの性能を向上させるための3つの手法を導入し,モデルの自己認識を制限することが最も効果的であることを見出し,テスト対象言語である英語,ヒンディー語,トルコ語に対して,nliやposタグなどの下流タスクを最大5%改善した。

関連論文リスト

A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
論文参考訳（メタデータ） (2022-04-11T18:31:53Z)
Dependency-based Mixture Language Models [53.152011258252315]
依存性に基づく混合言語モデルを紹介する。より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
論文参考訳（メタデータ） (2022-03-19T06:28:30Z)
Can Character-based Language Models Improve Downstream Task Performance in Low-Resource and Noisy Language Scenarios? [0.0]
我々は、ナラビジ(NArabizi)と呼ばれるラテン文字の拡張を用いて書かれた北アフリカ方言のアラビア語に焦点を当てている。ナラビジの99k文のみを学習し,小さな木バンクで微調整したキャラクタベースモデルは,大規模多言語モデルとモノリンガルモデルで事前学習した同じアーキテクチャで得られたものに近い性能を示す。
論文参考訳（メタデータ） (2021-10-26T14:59:16Z)
Language Models are Few-shot Multilingual Learners [66.11011385895195]
我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
論文参考訳（メタデータ） (2021-09-16T03:08:22Z)
Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。類型的に多様な訓練言語のサンプルからこの分布を推測する。我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文参考訳（メタデータ） (2021-08-06T23:49:18Z)
Specializing Multilingual Language Models: An Empirical Study [50.7526245872855]
事前訓練された多言語モデルからの文脈化語表現は、自然言語タスクに対処するデファクトスタンダードとなっている。これらのモデルではまれに、あるいは一度も見られない言語では、そのようなモデルを直接使用すると、最適な表現やデータの使用につながることが多い。
論文参考訳（メタデータ） (2021-06-16T18:13:55Z)
How Low is Too Low? A Computational Perspective on Extremely Low-Resource Languages [1.7625363344837164]
シュメール語のための最初の言語間情報抽出パイプラインを紹介する。また、低リソースNLPのための解釈可能性ツールキットであるInterpretLRをキュレートする。パイプラインのほとんどのコンポーネントは、解釈可能な実行を得るために、他の言語に一般化することができます。
論文参考訳（メタデータ） (2021-05-30T12:09:59Z)
AmericasNLI: Evaluating Zero-shot Natural Language Understanding of Pretrained Multilingual Models in Truly Low-resource Languages [75.08199398141744]
我々は、XNLI(Conneau et al)の拡張である AmericasNLI を提示する。は、アメリカ大陸の10の原住民の言語である。 XLM-Rで実験を行い、複数のゼロショットおよび翻訳ベースのアプローチをテストします。 XLM-Rのゼロショット性能は全10言語で低調であり、平均性能は38.62%である。
論文参考訳（メタデータ） (2021-04-18T05:32:28Z)
BanglaBERT: Combating Embedding Barrier for Low-Resource Language Understanding [1.7000879291900044]
私たちはバングラ自然言語理解モデルを構築し、インターネット上のトップバングラのサイトから収集した18.6gbのデータに基づいてトレーニングした。本モデルは,多言語ベースラインを上回り,前回の結果を1～6%上回った。我々は、記述スクリプトを高リソースと共有しない低リソース言語のパフォーマンスを損なう多言語モデルの主な欠点を特定します。
論文参考訳（メタデータ） (2021-01-01T09:28:45Z)
Making Pre-trained Language Models Better Few-shot Learners [11.90626040104822]
最近のGPT-3モデルは、自然言語プロンプトといくつかのタスクデモンストレーションを入力コンテキストとして活用することで、驚くべき数ショットパフォーマンスを実現します。これらの知見に触発されて,より実用的なシナリオで,微調整が計算効率のよい小型言語モデルを用いて,小数点学習の研究を行った。 LM-BFF - 少数の注釈付き例で、言語モデルの微調整のためのシンプルで補完的な技術のスイート - 言語モデルのより良い少数ショット微調整を提示します。
論文参考訳（メタデータ） (2020-12-31T17:21:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。