論文の概要: AxomiyaBERTa: A Phonologically-aware Transformer Model for Assamese

• arxiv url: http://arxiv.org/abs/2305.13641v1
• Date: Tue, 23 May 2023 03:19:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 19:21:41.677399
• Title: AxomiyaBERTa: A Phonologically-aware Transformer Model for Assamese
• Title（参考訳）: AxomiyaBERTa:アサメの音韻変換モデル
• Authors: Abhijnan Nath, Sheikh Mannan, Nikhil Krishnaswamy
• Abstract要約: 本稿では,東インドの形態学的に豊かな低リソース言語であるAssameseのための新しいBERTモデルであるAxomiyaBERTaを紹介する。 AxomiyaBERTa はマスク言語モデリング(MLM)タスクでのみ訓練される。 AxomiyaBERTaは、ECB+コーパスの翻訳版における新たなクロスドキュメント・コア参照タスクなど、より困難なタスクに音声信号を活用することができることを示す。
• 参考スコア（独自算出の注目度）: 3.8157982342768033
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite their successes in NLP, Transformer-based language models still require extensive computing resources and suffer in low-resource or low-compute settings. In this paper, we present AxomiyaBERTa, a novel BERT model for Assamese, a morphologically-rich low-resource language (LRL) of Eastern India. AxomiyaBERTa is trained only on the masked language modeling (MLM) task, without the typical additional next sentence prediction (NSP) objective, and our results show that in resource-scarce settings for very low-resource languages like Assamese, MLM alone can be successfully leveraged for a range of tasks. AxomiyaBERTa achieves SOTA on token-level tasks like Named Entity Recognition and also performs well on "longer-context" tasks like Cloze-style QA and Wiki Title Prediction, with the assistance of a novel embedding disperser and phonological signals respectively. Moreover, we show that AxomiyaBERTa can leverage phonological signals for even more challenging tasks, such as a novel cross-document coreference task on a translated version of the ECB+ corpus, where we present a new SOTA result for an LRL. Our source code and evaluation scripts may be found at https://github.com/csu-signal/axomiyaberta.
• Abstract（参考訳）: nlpでの成功にもかかわらず、トランスフォーマーベースの言語モデルは依然として広範な計算リソースを必要とし、低リソースまたは低コンピューティング設定に苦しむ。 本稿では,東インドの形態学的に豊かな低リソース言語であるAssameseの新しいBERTモデルであるAxomiyaBERTaを紹介する。 AxomiyaBERTa はマスク付き言語モデリング (MLM) タスクでのみ訓練されており、通常の次の文予測 (NSP) の目的を満たさない。 AxomiyaBERTaは、名前付きエンティティ認識のようなトークンレベルのタスクでSOTAを達成し、新しい埋め込み分散器と音声信号の助けを借りて、ClozeスタイルのQAやWiki Title Predictionのような"より長いコンテキスト"タスクでもうまく機能する。 さらに,axomiyaberta は,翻訳された ecb+ コーパス上の新しいクロスドキュメントコリファレンスタスクなど,さらに困難なタスクに対して音韻信号を活用することが可能であり,そこでは lrl に対して新たな sota 結果を示す。 ソースコードと評価スクリプトはhttps://github.com/csu-signal/axomiyabertaで確認できます。

関連論文リスト

• On Limitations of LLM as Annotator for Low Resource Languages [0.4194295877935868]
  低リソース言語は、教師付き学習、アノテーション、分類といったタスクのための十分な言語データ、リソース、ツールが不足しているため、重大な課題に直面している。 この不足は正確なモデルやデータセットの開発を妨げるため、感情分析やヘイトスピーチ検出といった重要なNLPタスクの実行が困難になる。 このギャップを埋めるために、Large Language Models (LLM) は潜在的なアノテータの機会を提供する。
  論文  参考訳（メタデータ） (2024-11-26T17:55:37Z)
• Chain-of-Translation Prompting (CoTR): A Novel Prompting Technique for Low Resource Languages [0.4499833362998489]
  Chain of Translation Prompting (CoTR)は、低リソース言語における言語モデルの性能を高めるために設計された新しい戦略である。 CoTR再構成は、まず入力コンテキストを低リソース言語から高リソース言語に翻訳する。 本稿では,この手法の有効性を低リソースのインディア言語であるMarathiのケーススタディを通じて実証する。
  論文  参考訳（メタデータ） (2024-09-06T17:15:17Z)
• Trans-Tokenization and Cross-lingual Vocabulary Transfers: Language Adaptation of LLMs for Low-Resource NLP [13.662528492286528]
  本稿では,この課題に対処し,より効率的な言語適応を実現するために,新たな言語間語彙移動戦略であるトランストークン化を提案する。 提案手法は,ソースコードからの意味論的に類似したトークン埋め込みの重み付け平均を用いて,ターゲット言語のトークン埋め込みを初期化することにより,高リソースのモノリンガルLLMを未知のターゲット言語に適応することに焦点を当てる。 複数のスワップ可能な言語モデリングヘッドと埋め込みテーブルを備えたモデルであるHydra LLMを導入し、トランストークン化戦略の能力をさらに拡張した。
  論文  参考訳（メタデータ） (2024-08-08T08:37:28Z)
• Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
  大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。 我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。 Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
  論文  参考訳（メタデータ） (2024-07-04T15:14:17Z)
• Beyond MLE: Investigating SEARNN for Low-Resourced Neural Machine Translation [0.09459165957946088]
  このプロジェクトは、低リソースのアフリカ言語のための機械翻訳を改善するSEARNNの可能性を探求した。 英語をイグボ語に、フランス語をエウス語に、フランス語をグマラ語に翻訳する実験が行われた。 我々は、SEARNNが、低リソース言語のための機械翻訳において、効果的にRNNを訓練するための有効なアルゴリズムであることを証明した。
  論文  参考訳（メタデータ） (2024-05-20T06:28:43Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Learning Domain Specific Language Models for Automatic Speech Recognition through Machine Translation [0.0]
  我々は、タスク固有のテキストデータの翻訳を最初に取得するために、中間ステップとしてNeural Machine Translationを使用します。 我々はNMTビームサーチグラフから単語混乱ネットワークを導出する手法を開発した。 NMT混在ネットワークは、n-gramと繰り返しニューラルネットワークLMの両方の難易度を低減するのに有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-21T10:29:20Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Adversarial Meta Sampling for Multilingual Low-Resource Speech Recognition [159.9312272042253]
  多言語メタラーニングASR(MML-ASR)を改善するための新しい逆メタサンプリング(AMS)アプローチを開発しています。 AMSは、各ソース言語のタスクサンプリング確率を適応的に決定する。 MML-ASRにAMSを適用すると、2つの多言語データセットの実験結果が大幅にパフォーマンス向上します。
  論文  参考訳（メタデータ） (2020-12-22T09:33:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。