論文の概要: Bridging Dialects: Translating Standard Bangla to Regional Variants Using Neural Models

• arxiv url: http://arxiv.org/abs/2501.05749v1
• Date: Fri, 10 Jan 2025 06:50:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:27:42.610331
• Title: Bridging Dialects: Translating Standard Bangla to Regional Variants Using Neural Models
• Title（参考訳）: ブリジング方言:ニューラルネットワークを用いた標準バングラと地域変数の翻訳
• Authors: Md. Arafat Alam Khandaker, Ziyan Shirin Raha, Bidyarthi Paul, Tashreef Muhammad,
• Abstract要約: この研究は、言語多様性を保ち、方言話者間のコミュニケーションを改善する必要性によって動機付けられている。 モデルは"Vashantor"データセットを使用して微調整され、様々な方言で32,500の文が含まれている。 BanglaT5はCERが12.3%、WERが15.7%で優れた性能を示し、方言のニュアンスを捉える効果を強調した。
• 参考スコア（独自算出の注目度）: 1.472830326343432
• License:
• Abstract: The Bangla language includes many regional dialects, adding to its cultural richness. The translation of Bangla Language into regional dialects presents a challenge due to significant variations in vocabulary, pronunciation, and sentence structure across regions like Chittagong, Sylhet, Barishal, Noakhali, and Mymensingh. These dialects, though vital to local identities, lack of representation in technological applications. This study addresses this gap by translating standard Bangla into these dialects using neural machine translation (NMT) models, including BanglaT5, mT5, and mBART50. The work is motivated by the need to preserve linguistic diversity and improve communication among dialect speakers. The models were fine-tuned using the "Vashantor" dataset, containing 32,500 sentences across various dialects, and evaluated through Character Error Rate (CER) and Word Error Rate (WER) metrics. BanglaT5 demonstrated superior performance with a CER of 12.3% and WER of 15.7%, highlighting its effectiveness in capturing dialectal nuances. The outcomes of this research contribute to the development of inclusive language technologies that support regional dialects and promote linguistic diversity.
• Abstract（参考訳）: バングラ語には多くの地域方言があり、その文化的豊かさを増している。 バングラ語の方言への翻訳は、チッタゴン語、シルヘット語、バリシャル語、ノアハリ語、マイメンシング語などの地方で語彙、発音、文構造が著しく変化していることから、課題となっている。 これらの方言は、地域のアイデンティティにとって不可欠であるが、技術応用における表現力の欠如である。 本研究は,BanglaT5,mT5,mBART50を含むニューラルマシン翻訳(NMT)モデルを用いて,標準バングラをこれらの方言に翻訳することで,このギャップを解消する。 この研究は、言語多様性を保ち、方言話者間のコミュニケーションを改善する必要性によって動機付けられている。 モデルは"Vashantor"データセットを使用して微調整され、様々な方言で32,500の文が含まれ、キャラクタエラーレート(CER)とワードエラーレート(WER)メトリクスで評価された。 BanglaT5はCERが12.3%、WERが15.7%で優れた性能を示し、方言のニュアンスを捉える効果を強調した。 本研究の結果は、地域方言をサポートし、言語多様性を促進する包括的言語技術の発展に寄与する。

関連論文リスト

• BanglaDialecto: An End-to-End AI-Powered Regional Speech Standardization [7.059964549363294]
  本研究は、方言のNoakhali音声を標準のBangla音声に変換するためのエンドツーエンドパイプラインを提案する。 約55の異なる方言が1億6000万人が話しており、バングラ方言に対処することは包括的コミュニケーションツールの開発に不可欠である。 実験の結果,Whisper ASRモデルが0.8%,WERが1.5%,BanglaT5モデルが41.6%,BLEUが41.6%であった。
  論文  参考訳（メタデータ） (2024-11-16T20:20:15Z)
• Exploring Diachronic and Diatopic Changes in Dialect Continua: Tasks, Datasets and Challenges [2.572144535177391]
  我々は3つの言語族(スラヴ語、ロマンス語、ゲルマン語)から5つの方言にまたがる9つのタスクとデータセットを批判的に評価する。 本稿では,方言使用の経時的変化,方言データセットの信頼性,話者特性の重要性,方言の限られた範囲,データ収集における倫理的配慮に関する5つのオープンな課題を概説する。 言語の種類や方言の包括的計算手法やデータセットに関する今後の研究に光を当てることを願っています。
  論文  参考訳（メタデータ） (2024-07-04T15:38:38Z)
• Voices Unheard: NLP Resources and Models for Yorùbá Regional Dialects [72.18753241750964]
  Yorub'aは、約4700万人の話者を持つアフリカの言語である。 アフリカ語のためのNLP技術開発への最近の取り組みは、彼らの標準方言に焦点を当てている。 我々は、このギャップを埋めるために、新しい高品質のパラレルテキストと音声コーパスを導入する。
  論文  参考訳（メタデータ） (2024-06-27T22:38:04Z)
• Transcribing Bengali Text with Regional Dialects to IPA using District Guided Tokens [0.0]
  本稿では,バングラデシュの6つの地区にまたがる新しいデータセットについて,DGT(District Guided Tokens)技術を紹介する。 DGTテクニックは、この新しいデータセットに基づいて、いくつかのトランスフォーマーベースのモデルを微調整する。 ByT5モデルを用いたDGTの有効性を示す実験結果が得られた。
  論文  参考訳（メタデータ） (2024-03-26T05:55:21Z)
• What Do Dialect Speakers Want? A Survey of Attitudes Towards Language Technology for German Dialects [60.8361859783634]
  我々はドイツ語に関連する方言と地域言語に関する話者を調査した。 回答者は特に、方言入力で動作する潜在的なNLPツールを好んでいる。
  論文  参考訳（メタデータ） (2024-02-19T09:15:28Z)
• Vashantor: A Large-scale Multilingual Benchmark Dataset for Automated Translation of Bangla Regional Dialects to Bangla Language [0.0]
  バングラ地方方言を標準語に翻訳する際、顕著なギャップがあった。 我々の目的は、これらの方言を標準バングラに翻訳し、正確に地域を検出することである。 これはバングラ地方方言をバングラ機械翻訳に応用した最初の大規模な調査である。
  論文  参考訳（メタデータ） (2023-11-18T18:36:16Z)
• Task-Agnostic Low-Rank Adapters for Unseen English Dialects [52.88554155235167]
  LLM(Large Language Models)は、標準アメリカ英語を好んで不均等に重み付けされたコーパスで訓練される。 HyperLoRAは、方言特化情報と方言横断情報を混同することにより、タスクに依存しない方法で未確認の方言への一般化を改善する。
  論文  参考訳（メタデータ） (2023-11-02T01:17:29Z)
• NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages [54.808217147579036]
  インドネシアの地方言語について事例研究を行う。 データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。 本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-19T14:42:33Z)
• Multi-VALUE: A Framework for Cross-Dialectal English NLP [49.55176102659081]
  マルチディレクト (Multi-Dilect) は、50の英語方言にまたがる制御可能なルールベースの翻訳システムである。 ストレステストは、非標準方言の先行モデルに対する顕著な性能格差を示す。 私たちはチカノやインド英語のネイティブスピーカーと提携して、人気のあるCoQAタスクの新しいゴールドスタンダード版をリリースしています。
  論文  参考訳（メタデータ） (2022-12-15T18:17:01Z)
• Phoneme Recognition through Fine Tuning of Phonetic Representations: a Case Study on Luhya Language Varieties [77.2347265289855]
  音韻アノテーションに基づく多言語認識手法であるAllosaurus を用いた音素認識に焦点を当てた。 挑戦的な実世界シナリオで評価するために,我々は,ケニア西部とウガンダ東部のluhya言語クラスタの2つの種類であるbukusuとsaamiaの音声認識データセットをキュレートした。 私たちは、アロサウルスの微調整がわずか100発話であっても、電話のエラー率を大幅に改善することが分かりました。
  論文  参考訳（メタデータ） (2021-04-04T15:07:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。