論文の概要: State-of-the-Art Translation of Text-to-Gloss using mBART : A case study of Bangla

• arxiv url: http://arxiv.org/abs/2504.02293v1
• Date: Thu, 03 Apr 2025 05:47:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-04 12:58:12.460330
• Title: State-of-the-Art Translation of Text-to-Gloss using mBART : A case study of Bangla
• Title（参考訳）: mBARTを用いたテキスト・ツー・グロス翻訳の現状と課題 : バングラを事例として
• Authors: Sharif Md. Abdullah, Abhijit Paul, Shebuti Rayana, Ahmedul Kabir, Zarif Masud,
• Abstract要約: 聴覚障害と愚かな人口は170万人であるにもかかわらず、バングラ手話(BdSL)は未調査領域である。 ドイツとアメリカで使われている文法規則に基づくグロス生成からインスピレーションを得て,BdSLに適応する。 トレーニング済みmBART-50とmBERT-multiclass-uncasedモデルをデータセット上で微調整した。 私たちのmBART-50ファネチューンは、PHOENIX-14TベンチマークでState-of-the-Artのパフォーマンスを示しました。
• 参考スコア（独自算出の注目度）: 0.023301643766310366
• License:
• Abstract: Despite a large deaf and dumb population of 1.7 million, Bangla Sign Language (BdSL) remains a understudied domain. Specifically, there are no works on Bangla text-to-gloss translation task. To address this gap, we begin by addressing the dataset problem. We take inspiration from grammatical rule based gloss generation used in Germany and American sign langauage (ASL) and adapt it for BdSL. We also leverage LLM to generate synthetic data and use back-translation, text generation for data augmentation. With dataset prepared, we started experimentation. We fine-tuned pretrained mBART-50 and mBERT-multiclass-uncased model on our dataset. We also trained GRU, RNN and a novel seq-to-seq model with multi-head attention. We observe significant high performance (ScareBLEU=79.53) with fine-tuning pretrained mBART-50 multilingual model from Facebook. We then explored why we observe such high performance with mBART. We soon notice an interesting property of mBART -- it was trained on shuffled and masked text data. And as we know, gloss form has shuffling property. So we hypothesize that mBART is inherently good at text-to-gloss tasks. To find support against this hypothesis, we trained mBART-50 on PHOENIX-14T benchmark and evaluated it with existing literature. Our mBART-50 finetune demonstrated State-of-the-Art performance on PHOENIX-14T benchmark, far outperforming existing models in all 6 metrics (ScareBLEU = 63.89, BLEU-1 = 55.14, BLEU-2 = 38.07, BLEU-3 = 27.13, BLEU-4 = 20.68, COMET = 0.624). Based on the results, this study proposes a new paradigm for text-to-gloss task using mBART models. Additionally, our results show that BdSL text-to-gloss task can greatly benefit from rule-based synthetic dataset.
• Abstract（参考訳）: 聴覚障害と愚かな人口は170万人であるにもかかわらず、バングラ手話(BdSL)は未調査領域である。 具体的には、Banglaテキスト-グロス翻訳タスクに関する作業はない。 このギャップに対処するために、データセットの問題に対処することから始めます。 ドイツとアメリカで使われている文法規則に基づくグロス生成からインスピレーションを得て,BdSLに適応する。 また、LLMを利用して合成データを生成し、データ拡張のためのテキスト生成であるバックトランスレーションを利用する。 データセットを用意して、実験を始めました。 トレーニング済みmBART-50とmBERT-multiclass-uncasedモデルをデータセット上で微調整した。 また,GRU,RNN,新しいSeq-to-seqモデルの学習を行った。 我々は,FacebookのmBART-50マルチリンガルモデルを用いて,高い性能(ScareBLEU=79.53)を観察した。 そして、mBARTでそのようなハイパフォーマンスを観察する理由を調べた。 間もなく、mBARTの興味深い性質に気付きました -- シャッフルされ、マスクされたテキストデータに基づいてトレーニングされました。 そして、我々が知っているように、光沢形式はシャッフル性を持っている。 したがって、mBARTは本質的にテキスト間通信のタスクに長けているという仮説を立てる。 この仮説に対する支持を得るため,PHOENIX-14TベンチマークでmBART-50をトレーニングし,既存の文献を用いて評価した。 ScareBLEU = 63.89, BLEU-1 = 55.14, BLEU-2 = 38.07, BLEU-3 = 27.13, BLEU-4 = 20.68, COMET = 0.624)。 本研究は,mBARTモデルを用いたテキスト・トゥ・グロス・タスクのための新しいパラダイムを提案する。 さらに,BdSLのテキスト・トゥ・グロス・タスクはルールベースの合成データセットの恩恵を大いに受けられることを示した。

関連論文リスト

• TituLLMs: A Family of Bangla LLMs with Comprehensive Benchmarking [6.070192392563392]
  1b と 3b のパラメータサイズで利用可能な,最初の大規模事前訓練型 Bangla LLM である TituLLM を提案する。 TituLLMsをトレーニングするために、約37億トークンの事前トレーニングデータセットを収集しました。 我々はLlama-3.2トークンを言語や文化固有の知識に組み込むように拡張した。
  論文  参考訳（メタデータ） (2025-02-16T16:22:23Z)
• DataComp-LM: In search of the next generation of training sets for language models [200.5293181577585]
  DataComp for Language Models (DCLM)は、制御されたデータセット実験のためのテストベッドであり、言語モデルを改善することを目的としている。 我々は、Common Crawlから抽出された240Tトークンの標準化コーパス、OpenLMフレームワークに基づく効果的な事前学習レシピ、53の下流評価スイートを提供する。 DCLMベンチマークの参加者は、412Mから7Bパラメータのモデルスケールでの重複、フィルタリング、データ混合などのデータキュレーション戦略を実験することができる。
  論文  参考訳（メタデータ） (2024-06-17T17:42:57Z)
• Japanese-English Sentence Translation Exercises Dataset for Automatic Grading [16.564184260893946]
  本稿では,文翻訳演習(STE)の自動評価タスクを提案する。 日本語と英語のSTEデータセットを作成し、21の質問と合計3,498人の学生回答(平均167件)を収録する。 このデータセットを用いて,テキスト内学習の少ない細調整BERTモデルやGPTモデルを含むベースラインの性能を実演する。
  論文  参考訳（メタデータ） (2024-03-06T01:37:03Z)
• Key ingredients for effective zero-shot cross-lingual knowledge transfer in generative tasks [22.93790760274486]
  ゼロショットの言語間知識伝達により、ある言語でタスクを微調整し、他の言語でタスクの予測を行う多言語事前学習言語モデルが可能になる。 以前の作業では、間違った言語で頻繁に発生する問題に気付き、通常、mT5をバックボーンモデルとして使用して対処するためのアプローチを提案する。 本研究では,mBARTやNLLB-200といった代替バックボーンモデルを含む,統一された設定で文献から提案されるさまざまなアプローチを比較した。
  論文  参考訳（メタデータ） (2024-02-19T16:43:57Z)
• Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [59.056367787688146]
  本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。 我々は10の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。 翻訳を利用して、10個の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
  論文  参考訳（メタデータ） (2023-10-31T08:09:20Z)
• BanglaNLP at BLP-2023 Task 1: Benchmarking different Transformer Models for Violence Inciting Text Detection in Bengali [0.46040036610482665]
  本稿では,バングラでテキスト検出を誘発する暴力行為における,この共有課題を解決するために開発したシステムについて述べる。 私たちは、従来のアプローチと最近のアプローチの両方を説明して、モデルを学習させました。 提案システムでは,テキストに脅威があるかどうかを分類する。
  論文  参考訳（メタデータ） (2023-10-16T19:35:04Z)
• TIM: Teaching Large Language Models to Translate with Comparison [78.66926087162672]
  本稿では,LLMに翻訳学習を教えるために,サンプルを用いた新しいフレームワークを提案する。 我々のアプローチは、正しい翻訳例と間違った翻訳例をモデルに提示し、好みの損失を使ってモデルの学習をガイドすることである。 本研究は,翻訳タスクのための微調整LDMの新しい視点を提供し,高品質な翻訳を実現するための有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2023-07-10T08:15:40Z)
• Tencent AI Lab - Shanghai Jiao Tong University Low-Resource Translation System for the WMT22 Translation Task [49.916963624249355]
  本稿では, Tencent AI Lab - Shanghai Jiao Tong University (TAL-SJTU) Low-Resource Translation system for the WMT22 shared taskについて述べる。 我々は、英語$Leftrightarrow$Livonianの一般的な翻訳作業に参加する。 本システムは,M2M100を対象言語に適応させる新しい手法を用いて構築した。
  論文  参考訳（メタデータ） (2022-10-17T04:34:09Z)
• The USYD-JD Speech Translation System for IWSLT 2021 [85.64797317290349]
  本稿では,シドニー大学とJDが共同でIWSLT 2021低リソース音声翻訳タスクを提出したことを述べる。 私たちは、公式に提供されたASRとMTデータセットでモデルをトレーニングしました。 翻訳性能の向上を目的として, バック翻訳, 知識蒸留, 多機能再構成, トランスダクティブファインタニングなど, 最新の効果的な手法について検討した。
  論文  参考訳（メタデータ） (2021-07-24T09:53:34Z)
• From Universal Language Model to Downstream Task: Improving RoBERTa-Based Vietnamese Hate Speech Detection [8.602181445598776]
  汎用のRoBERTa言語モデルを特定のテキスト分類タスクであるベトナムのヘイト音声検出に適応させるパイプラインを提案する。 実験の結果,提案パイプラインの性能が著しく向上し,0.7221 f1のベトナム人ヘイトスピーチ検出キャンペーンが達成された。
  論文  参考訳（メタデータ） (2021-02-24T09:30:55Z)
• Investigating Pretrained Language Models for Graph-to-Text Generation [55.55151069694146]
  Graph-to-text生成は、グラフベースのデータから流動的なテキストを生成することを目的としている。 本稿では,3つのグラフ領域,つまり表現,ウィキペディア知識グラフ(KG),科学的なKGについて検討する。 我々は, PLM の BART と T5 が新たな最先端の成果を達成し, タスク適応型事前学習戦略が性能をさらに向上することを示す。
  論文  参考訳（メタデータ） (2020-07-16T16:05:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。