論文の概要: Toward Micro-Dialect Identification in Diaglossic and Code-Switched
Environments
- arxiv url: http://arxiv.org/abs/2010.04900v2
- Date: Mon, 7 Dec 2020 07:55:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-08 22:28:17.927264
- Title: Toward Micro-Dialect Identification in Diaglossic and Code-Switched
Environments
- Title(参考訳): diaglossic and code-switched environmentにおけるマイクロダイアレクト同定に向けて
- Authors: Muhammad Abdul-Mageed and Chiyu Zhang and AbdelRahim Elmadany and Lyle
Ungar
- Abstract要約: MARBERTは,細粒度を予測できる印象的な言語モデルである。
MarBERTは9.9%のF1、76倍のマイクロダイアレクトを予測している。
我々の新しい言語モデルはまた、いくつかの外部タスクに新しい最先端技術を確立する。
- 参考スコア(独自算出の注目度): 16.027512442813524
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although the prediction of dialects is an important language processing task,
with a wide range of applications, existing work is largely limited to
coarse-grained varieties. Inspired by geolocation research, we propose the
novel task of Micro-Dialect Identification (MDI) and introduce MARBERT, a new
language model with striking abilities to predict a fine-grained variety (as
small as that of a city) given a single, short message. For modeling, we offer
a range of novel spatially and linguistically-motivated multi-task learning
models. To showcase the utility of our models, we introduce a new, large-scale
dataset of Arabic micro-varieties (low-resource) suited to our tasks. MARBERT
predicts micro-dialects with 9.9% F1, ~76X better than a majority class
baseline. Our new language model also establishes new state-of-the-art on
several external tasks.
- Abstract(参考訳): 方言の予測は重要な言語処理タスクであるが、様々な応用があるため、既存の作業は粗い粒度に限られている。
位置情報研究に着想を得て,MDI(Micro-Dialect Identification)の新たな課題を提案し,一つの短いメッセージが与えられた細粒度(都市のそれより小さい)を予測できる印象的な言語モデルであるMARBERTを提案する。
モデリングには,新しい空間的および言語的動機づけのあるマルチタスク学習モデルを提供する。
モデルの有用性を示すために、タスクに適したアラビアのマイクロ変数(低リソース)の大規模データセットを導入します。
MARBERTは9.9%のF1、76倍の精度のマイクロダイアレクトを予測している。
我々の新しい言語モデルはまた、いくつかの外部タスクに新しい最先端技術を確立する。
関連論文リスト
- ColBERT-XM: A Modular Multi-Vector Representation Model for Zero-Shot
Multilingual Information Retrieval [10.664434993386523]
現在のアプローチは、非英語言語における高品質なラベル付きデータの欠如を回避している。
本稿では,単一の高リソース言語のリッチデータから学習するモジュール型高密度検索モデルを提案する。
論文 参考訳(メタデータ) (2024-02-23T02:21:24Z) - Extending Multilingual Machine Translation through Imitation Learning [60.15671816513614]
Imit-MNMTは、タスクを専門家の行動を模倣する模倣学習プロセスとして扱う。
提案手法は,新言語と原言語の翻訳性能を大幅に向上させることを示す。
我々はまた、我々のアプローチがコピーとオフターゲットの問題を解決することができることを示した。
論文 参考訳(メタデータ) (2023-11-14T21:04:03Z) - UniverSLU: Universal Spoken Language Understanding for Diverse
Classification and Sequence Generation Tasks with a Single Network [57.94075999363722]
我々は様々な音声言語理解タスクを共同で行うモデルを構築した。
個別のプロンプトとして様々なタスクやデータセットの仕様化を行う。
その結果、UniverSLUは競争性能を達成し、タスク固有のモデルを超えていることがわかった。
論文 参考訳(メタデータ) (2023-10-04T17:10:23Z) - Developing and Evaluating Tiny to Medium-Sized Turkish BERT Models [0.0]
本研究は,小型・小型・小型・中規模のトルコのBERTモデルを紹介し,評価する。
我々は、複数の情報源から75GB以上のテキストを含む多様なデータセットでこれらのモデルをトレーニングし、マスク予測、感情分析、ニュース分類、ゼロショット分類など、様々なタスクでテストした。
論文 参考訳(メタデータ) (2023-07-26T12:02:30Z) - Attribution-based Task-specific Pruning for Multi-task Language Models [19.106042468549187]
マルチタスク言語モデルは、1つのモデルだけで様々な自然言語理解タスクに優れた性能を示す。
マルチタスク言語モデルのための学習不要なタスク固有プルーニング手法を提案する。
論文 参考訳(メタデータ) (2022-05-09T10:12:08Z) - Analyzing the Limits of Self-Supervision in Handling Bias in Language [52.26068057260399]
我々は、言語モデルが、認識、識別、抽出、言い換えの4つのタスクのセマンティクスをいかにうまく捉えているかを評価する。
分析の結果,言語モデルでは,ジェンダーや政治的アフィリエイトなど,様々なバイアス次元にまたがって,これらのタスクを広範囲にわたって実行することが可能であることが示唆された。
論文 参考訳(メタデータ) (2021-12-16T05:36:08Z) - Towards Language Modelling in the Speech Domain Using Sub-word
Linguistic Units [56.52704348773307]
音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。
限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。
補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
論文 参考訳(メタデータ) (2021-10-31T22:48:30Z) - On the Universality of Deep COntextual Language Models [15.218264849664715]
ELMOやBERTのような深い文脈言語モデル(LM)は、自然言語処理のランドスケープを支配している。
XLM-RやmBERTのような多言語モデルでは、ゼロショットのクロスリンガル転送が期待できる結果となった。
この最初の成功により、訓練済みのモデルはユニバーサル言語モデルとして使用されている。
論文 参考訳(メタデータ) (2021-09-15T08:00:33Z) - Few-Shot Cross-Lingual Stance Detection with Sentiment-Based
Pre-Training [32.800766653254634]
本研究は,現在までの言語間スタンス検出に関する最も包括的な研究である。
6つの言語ファミリーの12言語で15の多様なデータセットを使用します。
実験では,新しいラベルエンコーダの追加を提案し,パターン探索トレーニングを構築した。
論文 参考訳(メタデータ) (2021-09-13T15:20:06Z) - XtremeDistilTransformers: Task Transfer for Task-agnostic Distillation [80.18830380517753]
我々は新しいタスク非依存蒸留フレームワーク XtremeDistilTransformers を開発した。
本研究は, 蒸留における複数のソースタスク, 拡張資源, モデルアーキテクチャの伝達可能性について検討する。
論文 参考訳(メタデータ) (2021-06-08T17:49:33Z) - UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。
キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。
本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
論文 参考訳(メタデータ) (2020-12-31T11:37:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。