論文の概要: NusaBERT: Teaching IndoBERT to be Multilingual and Multicultural

• arxiv url: http://arxiv.org/abs/2403.01817v1
• Date: Mon, 4 Mar 2024 08:05:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 19:38:11.385588
• Title: NusaBERT: Teaching IndoBERT to be Multilingual and Multicultural
• Title（参考訳）: NusaBERT:IndoBERTを多言語・多文化に教える
• Authors: Wilson Wongso, David Samuel Setiawan, Steven Limcorn, Ananto Joyoadikusumo
• Abstract要約: NusaBERTは、語彙拡張を取り入れ、地域言語や方言を含む多言語コーパスを活用することで、IndoBERT上に構築されている。 NusaBERTは、さまざまなベンチマークの厳格な評価を通じて、インドネシアの複数の言語に関わるタスクにおける最先端のパフォーマンスを実証している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Indonesia's linguistic landscape is remarkably diverse, encompassing over 700 languages and dialects, making it one of the world's most linguistically rich nations. This diversity, coupled with the widespread practice of code-switching and the presence of low-resource regional languages, presents unique challenges for modern pre-trained language models. In response to these challenges, we developed NusaBERT, building upon IndoBERT by incorporating vocabulary expansion and leveraging a diverse multilingual corpus that includes regional languages and dialects. Through rigorous evaluation across a range of benchmarks, NusaBERT demonstrates state-of-the-art performance in tasks involving multiple languages of Indonesia, paving the way for future natural language understanding research for under-represented languages.
• Abstract（参考訳）: インドネシアの言語学的景観は、700以上の言語と方言を包含し、世界で最も言語的に豊かな国の一つである。 この多様性は、コードスイッチングと低リソースの地域言語の存在の広範な実践と相まって、現代の事前訓練言語モデルに固有の課題を提示している。 これらの課題に対応して,語彙拡張を取り入れ,地域言語や方言を含む多言語コーパスを活用することで,IndoBERTを基盤としたNusaBERTを開発した。 NusaBERTは、様々なベンチマークの厳密な評価を通じて、インドネシアの複数の言語に関わるタスクにおける最先端のパフォーマンスを示し、非表現言語に対する将来の自然言語理解研究の道を開く。

関連論文リスト

• Pangea: A Fully Open Multilingual Multimodal LLM for 39 Languages [55.36534539177367]
  本稿では,39言語にまたがる多様な6M命令データセットに基づいて訓練された多言語多言語多言語大言語モデル(MLLM)であるPangeaを紹介する。 P Pangeaは、多言語設定や多様な文化的コンテキストにおいて、既存のオープンソースモデルよりも大幅に優れています。 我々は、包括的で堅牢な多言語MLLMの開発を容易にするために、データ、コード、訓練されたチェックポイントを完全にオープンソースにしています。
  論文  参考訳（メタデータ） (2024-10-21T16:19:41Z)
• Multilingual Text Representation [3.4447129363520337]
  現代のNLPのブレークスルーには、100以上の言語でタスクを実行できる大規模な多言語モデルが含まれている。 最先端の言語モデルは、単語の単純な1ホット表現から始まり、長い道のりを歩んだ。 我々は、言語民主化の潜在能力が、既知の限界を超えてどのように得られるかについて論じる。
  論文  参考訳（メタデータ） (2023-09-02T14:21:22Z)
• Lexical Diversity in Kinship Across Languages and Dialects [6.80465507148218]
  本稿では,言語多様性に関する内容と計算語彙を融合させる手法を提案する。 本手法は、血縁用語に関する2つの大規模ケーススタディを通じて検証される。
  論文  参考訳（メタデータ） (2023-08-24T19:49:30Z)
• Multi-lingual and Multi-cultural Figurative Language Understanding [69.47641938200817]
  図形言語は人間のコミュニケーションに浸透するが、NLPでは比較的過小評価されている。 Hindi, Indonesian, Javanese, Kannada, Sundanese, Swahili, Yorubaの7つの多様な言語に関するデータセットを作成しました。 我々のデータセットから,各言語は,同じ領域から派生した言語間で最も高い重なり合いを持つ,図形表現の文化的・地域的概念に依存していることが明らかとなった。 全ての言語は、事前学習データと微調整データの可用性を反映した性能の変化により、英語と比較して大きな欠陥がある。
  論文  参考訳（メタデータ） (2023-05-25T15:30:31Z)
• One Country, 700+ Languages: NLP Challenges for Underrepresented Languages and Dialects in Indonesia [60.87739250251769]
  インドネシアの700以上の言語を対象としたNLP研究の現状について概説する。 インドネシアのNLPにおける課題と、現在のNLPシステムの性能にどのように影響するかを強調します。
  論文  参考訳（メタデータ） (2022-03-24T22:07:22Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• To What Degree Can Language Borders Be Blurred In BERT-based Multilingual Spoken Language Understanding? [7.245261469258502]
  BERTをベースとした多言語言語理解(SLU)モデルは, 遠隔言語群でもかなりうまく機能するが, 理想的な多言語言語性能にはまだギャップがあることを示す。 本稿では,多言語SLUのための言語共有および言語固有表現を学習するための,BERTに基づく新しい逆モデルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-11-10T09:59:24Z)
• CoSDA-ML: Multi-Lingual Code-Switching Data Augmentation for Zero-Shot Cross-Lingual NLP [68.2650714613869]
  我々は,mBERTを微調整するための多言語コードスイッチングデータを生成するためのデータ拡張フレームワークを提案する。 既存の研究と比較すると,本手法は訓練にバイリンガル文を頼らず,複数の対象言語に対して1つの学習プロセスしか必要としない。
  論文  参考訳（メタデータ） (2020-06-11T13:15:59Z)
• Finding Universal Grammatical Relations in Multilingual BERT [47.74015366712623]
  mBERT表現のサブスペースは、英語以外の言語で構文木の距離を回復することを示す。 我々は,mBERTが構文依存ラベルの表現を学習する証拠を提供する教師なし解析手法を提案する。
  論文  参考訳（メタデータ） (2020-05-09T20:46:02Z)
• The State and Fate of Linguistic Diversity and Inclusion in the NLP World [12.936270946393483]
  言語技術は、世界中の多言語主義と言語多様性の促進に寄与している。 世界中で7000を超える言語のごく少数のみが、急速に進化する言語技術やアプリケーションで表現されている。
  論文  参考訳（メタデータ） (2020-04-20T07:19:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。