論文の概要: AxomiyaBERTa: A Phonologically-aware Transformer Model for Assamese
- arxiv url: http://arxiv.org/abs/2305.13641v1
- Date: Tue, 23 May 2023 03:19:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 19:21:41.677399
- Title: AxomiyaBERTa: A Phonologically-aware Transformer Model for Assamese
- Title(参考訳): AxomiyaBERTa:アサメの音韻変換モデル
- Authors: Abhijnan Nath, Sheikh Mannan, Nikhil Krishnaswamy
- Abstract要約: 本稿では,東インドの形態学的に豊かな低リソース言語であるAssameseのための新しいBERTモデルであるAxomiyaBERTaを紹介する。
AxomiyaBERTa はマスク言語モデリング(MLM)タスクでのみ訓練される。
AxomiyaBERTaは、ECB+コーパスの翻訳版における新たなクロスドキュメント・コア参照タスクなど、より困難なタスクに音声信号を活用することができることを示す。
- 参考スコア(独自算出の注目度): 3.8157982342768033
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite their successes in NLP, Transformer-based language models still
require extensive computing resources and suffer in low-resource or low-compute
settings. In this paper, we present AxomiyaBERTa, a novel BERT model for
Assamese, a morphologically-rich low-resource language (LRL) of Eastern India.
AxomiyaBERTa is trained only on the masked language modeling (MLM) task,
without the typical additional next sentence prediction (NSP) objective, and
our results show that in resource-scarce settings for very low-resource
languages like Assamese, MLM alone can be successfully leveraged for a range of
tasks. AxomiyaBERTa achieves SOTA on token-level tasks like Named Entity
Recognition and also performs well on "longer-context" tasks like Cloze-style
QA and Wiki Title Prediction, with the assistance of a novel embedding
disperser and phonological signals respectively. Moreover, we show that
AxomiyaBERTa can leverage phonological signals for even more challenging tasks,
such as a novel cross-document coreference task on a translated version of the
ECB+ corpus, where we present a new SOTA result for an LRL. Our source code and
evaluation scripts may be found at https://github.com/csu-signal/axomiyaberta.
- Abstract(参考訳): nlpでの成功にもかかわらず、トランスフォーマーベースの言語モデルは依然として広範な計算リソースを必要とし、低リソースまたは低コンピューティング設定に苦しむ。
本稿では,東インドの形態学的に豊かな低リソース言語であるAssameseの新しいBERTモデルであるAxomiyaBERTaを紹介する。
AxomiyaBERTa はマスク付き言語モデリング (MLM) タスクでのみ訓練されており、通常の次の文予測 (NSP) の目的を満たさない。
AxomiyaBERTaは、名前付きエンティティ認識のようなトークンレベルのタスクでSOTAを達成し、新しい埋め込み分散器と音声信号の助けを借りて、ClozeスタイルのQAやWiki Title Predictionのような"より長いコンテキスト"タスクでもうまく機能する。
さらに,axomiyaberta は,翻訳された ecb+ コーパス上の新しいクロスドキュメントコリファレンスタスクなど,さらに困難なタスクに対して音韻信号を活用することが可能であり,そこでは lrl に対して新たな sota 結果を示す。
ソースコードと評価スクリプトはhttps://github.com/csu-signal/axomiyabertaで確認できます。
関連論文リスト
- On Significance of Subword tokenization for Low Resource and Efficient
Named Entity Recognition: A case study in Marathi [1.6383036433216434]
低リソース言語のためのNERに焦点をあて、インド語Marathiの文脈におけるケーススタディを示す。
BERTベースのサブワードトークン化器をバニラCNN/LSTMモデルに統合することで,効率的なNERのためのハイブリッド手法を提案する。
従来の単語ベースのトークン化器をBERTトークン化器に置き換えるという単純なアプローチは,バニラ単層モデルの精度をBERTのような深層事前学習モデルの精度に近づけることを示す。
論文 参考訳(メタデータ) (2023-12-03T06:53:53Z) - Simultaneous Machine Translation with Large Language Models [51.470478122113356]
我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。
MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。
その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
論文 参考訳(メタデータ) (2023-09-13T04:06:47Z) - Neural Machine Translation For Low Resource Languages [0.0]
本稿では,低資源言語の領域を考察し,最先端の結果を得るためにニューラルマシン翻訳モデルを構築する。
本稿は,mBART言語モデルを構築し,様々なNLPおよびディープラーニング技術でそれを拡張するための戦略を探究する。
論文 参考訳(メタデータ) (2023-04-16T19:27:48Z) - Can BERT Refrain from Forgetting on Sequential Tasks? A Probing Study [68.75670223005716]
BERTのような事前学習型言語モデルでは,メモリリプレイが少なくても,逐次学習が可能であることが判明した。
実験の結果,BERT は従来学習したタスクに対して,極めて疎らなリプレイや,さらにはリプレイを行なわずに,長期間にわたって高品質な表現を生成できることが判明した。
論文 参考訳(メタデータ) (2023-03-02T09:03:43Z) - Multilingual Sequence-to-Sequence Models for Hebrew NLP [16.010560946005473]
シーケンス・ツー・シーケンス生成アーキテクチャはヘブライ語のような形態的にリッチな言語(MRL)により適していることを示す。
我々は,ヘブライ語NLPパイプラインのタスクをテキスト・テキスト・タスクとしてキャストすることで,マルチリンガルで事前訓練されたシーケンス・ツー・シーケンスモデルをmT5として活用できることを実証した。
論文 参考訳(メタデータ) (2022-12-19T18:10:23Z) - Towards Language Modelling in the Speech Domain Using Sub-word
Linguistic Units [56.52704348773307]
音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。
限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。
補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
論文 参考訳(メタデータ) (2021-10-31T22:48:30Z) - Learning Domain Specific Language Models for Automatic Speech
Recognition through Machine Translation [0.0]
我々は、タスク固有のテキストデータの翻訳を最初に取得するために、中間ステップとしてNeural Machine Translationを使用します。
我々はNMTビームサーチグラフから単語混乱ネットワークを導出する手法を開発した。
NMT混在ネットワークは、n-gramと繰り返しニューラルネットワークLMの両方の難易度を低減するのに有効であることを示す。
論文 参考訳(メタデータ) (2021-09-21T10:29:20Z) - UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。
キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。
本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
論文 参考訳(メタデータ) (2020-12-31T11:37:28Z) - Adversarial Meta Sampling for Multilingual Low-Resource Speech
Recognition [159.9312272042253]
多言語メタラーニングASR(MML-ASR)を改善するための新しい逆メタサンプリング(AMS)アプローチを開発しています。
AMSは、各ソース言語のタスクサンプリング確率を適応的に決定する。
MML-ASRにAMSを適用すると、2つの多言語データセットの実験結果が大幅にパフォーマンス向上します。
論文 参考訳(メタデータ) (2020-12-22T09:33:14Z) - MAD-X: An Adapter-Based Framework for Multi-Task Cross-Lingual Transfer [136.09386219006123]
我々は、任意のタスクや言語への高いポータビリティとパラメータ効率の移行を可能にするアダプタベースのフレームワークであるMAD-Xを提案する。
MAD-Xは、名前付きエンティティ認識と因果コモンセンス推論に基づいて、タイプボロジーに多様性のある言語群を横断する言語間移動において、芸術の状態を上回ります。
論文 参考訳(メタデータ) (2020-04-30T18:54:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。