論文の概要: BanglaEmbed: Efficient Sentence Embedding Models for a Low-Resource Language Using Cross-Lingual Distillation Techniques

• arxiv url: http://arxiv.org/abs/2411.15270v1
• Date: Fri, 22 Nov 2024 13:03:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:23:54.975288
• Title: BanglaEmbed: Efficient Sentence Embedding Models for a Low-Resource Language Using Cross-Lingual Distillation Techniques
• Title（参考訳）: BanglaEmbed: クロスリンガル蒸留技術を用いた低リソース言語のための効率的な文埋め込みモデル
• Authors: Muhammad Rafsan Kabir, Md. Mohibur Rahman Nabil, Mohammad Ashrafuzzaman Khan,
• Abstract要約: この研究はバングラ語のための2つの軽量な文変換器を導入している。 この方法は、事前訓練されたハイパフォーマンスな英語文変換器からの知識を蒸留する。 新しい手法は既存のBangla文変換器を一貫して上回った。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Sentence-level embedding is essential for various tasks that require understanding natural language. Many studies have explored such embeddings for high-resource languages like English. However, low-resource languages like Bengali (a language spoken by almost two hundred and thirty million people) are still under-explored. This work introduces two lightweight sentence transformers for the Bangla language, leveraging a novel cross-lingual knowledge distillation approach. This method distills knowledge from a pre-trained, high-performing English sentence transformer. Proposed models are evaluated across multiple downstream tasks, including paraphrase detection, semantic textual similarity (STS), and Bangla hate speech detection. The new method consistently outperformed existing Bangla sentence transformers. Moreover, the lightweight architecture and shorter inference time make the models highly suitable for deployment in resource-constrained environments, making them valuable for practical NLP applications in low-resource languages.
• Abstract（参考訳）: 文レベルの埋め込みは、自然言語を理解するために必要な様々なタスクに不可欠である。 多くの研究は、英語のような高リソース言語に対するそのような埋め込みを探求してきた。 しかし、ベンガル語(約200万人から3千万人が話している言語)のような低リソース言語はまだ探索されていない。 この研究はバングラ語のための2つの軽量な文変換器を導入し、新しい言語間知識蒸留手法を利用した。 この方法は、事前訓練されたハイパフォーマンスな英語文変換器からの知識を蒸留する。 提案したモデルは、パラフレーズ検出、セマンティックテキスト類似性(STS)、バングラヘイト音声検出など、複数の下流タスクで評価される。 新しい手法は既存のBangla文変換器を一貫して上回った。 さらに、軽量なアーキテクチャと短い推論時間により、リソース制約のある環境での展開に非常に適しており、低リソース言語における実用的なNLPアプリケーションにとって価値がある。

関連論文リスト

• Syntactic Inductive Bias in Transformer Language Models: Especially Helpful for Low-Resource Languages? [10.324936426012417]
  Transformerベースの言語モデルに関する一連の研究は、事前学習プロセスを強化するために構文的帰納バイアスを使用しようと試みている。 低リソース言語において,これらの手法がデータスパース性を補うことができるかどうかを検討する。 これらの構文的帰納バイアス法は低リソース環境において不均一な結果をもたらすことがわかった。
  論文  参考訳（メタデータ） (2023-11-01T03:32:46Z)
• Hindi as a Second Language: Improving Visually Grounded Speech with Semantically Similar Samples [89.16814518860357]
  本研究の目的は,多言語の観点からの視覚的基盤音声モデル(VGS)の学習を検討することである。 この研究における重要な貢献は、低リソース言語の性能を向上させるために、バイリンガルな視覚的基盤を持つ音声モデルにおける高リソース言語のパワーを活用することである。
  論文  参考訳（メタデータ） (2023-03-30T16:34:10Z)
• Refining Low-Resource Unsupervised Translation by Language Disentanglement of Multilingual Model [16.872474334479026]
  本稿では,事前訓練された多言語UTTモデルから言語を切り離すための簡単な改良手法を提案する。 我々の手法は、ネパール語、シンハラ語、グジャラート語、ラトビア語、エストニア語、カザフ語への英語の完全な教師なし翻訳作業における芸術の状態を達成している。
  論文  参考訳（メタデータ） (2022-05-31T05:14:50Z)
• Exploring Teacher-Student Learning Approach for Multi-lingual Speech-to-Intent Classification [73.5497360800395]
  複数の言語をサポートするエンドツーエンドシステムを開発した。 我々は、事前訓練された多言語自然言語処理モデルからの知識を利用する。
  論文  参考訳（メタデータ） (2021-09-28T04:43:11Z)
• BanglaBERT: Combating Embedding Barrier for Low-Resource Language Understanding [1.7000879291900044]
  私たちはバングラ自然言語理解モデルを構築し、インターネット上のトップバングラのサイトから収集した18.6gbのデータに基づいてトレーニングした。 本モデルは,多言語ベースラインを上回り,前回の結果を1～6%上回った。 我々は、記述スクリプトを高リソースと共有しない低リソース言語のパフォーマンスを損なう多言語モデルの主な欠点を特定します。
  論文  参考訳（メタデータ） (2021-01-01T09:28:45Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Learning Contextualised Cross-lingual Word Embeddings and Alignments for Extremely Low-Resource Languages Using Parallel Corpora [63.5286019659504]
  そこで本稿では,小さな並列コーパスに基づく文脈型言語間単語埋め込み学習手法を提案する。 本手法は,入力文の翻訳と再構成を同時に行うLSTMエンコーダデコーダモデルを用いて単語埋め込みを実現する。
  論文  参考訳（メタデータ） (2020-10-27T22:24:01Z)
• Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation [105.41167108465085]
  言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。 本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。 LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。 複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
  論文  参考訳（メタデータ） (2020-10-27T13:12:17Z)
• Transfer learning and subword sampling for asymmetric-resource one-to-many neural translation [14.116412358534442]
  低リソース言語のためのニューラルマシン翻訳を改善する方法について概説する。 人工的に制限された3つの翻訳タスクと1つの現実世界タスクでテストが行われる。 実験は、特にスケジュールされたマルチタスク学習、denoising autoencoder、サブワードサンプリングに肯定的な効果を示す。
  論文  参考訳（メタデータ） (2020-04-08T14:19:05Z)
• Testing pre-trained Transformer models for Lithuanian news clustering [0.0]
  英語以外の言語は、英語の事前訓練されたモデルでそのような新しい機会を活用できなかった。 我々は、リトアニア語ニュースクラスタリングのタスクの符号化として、事前訓練された多言語BERT、XLM-R、および古い学習テキスト表現法を比較した。 この結果から, 単語ベクトルを超えるように微調整できるが, 特別な訓練を施した doc2vec 埋め込みよりもはるかに低いスコアが得られた。
  論文  参考訳（メタデータ） (2020-04-03T14:41:54Z)
• Cross-lingual, Character-Level Neural Morphological Tagging [57.0020906265213]
  文字レベルのリカレントなニューラルタグをトレーニングし、高リソース言語と低リソース言語を併用して形態的タグ付けを予測する。 複数の関連言語間の共同文字表現の学習は、高リソース言語から低リソース言語への知識伝達を成功させ、モノリンガルモデルの精度を最大30%向上させる。
  論文  参考訳（メタデータ） (2017-08-30T08:14:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。