論文の概要: DunbaaBERT: From Sacrifice to Semantics

• arxiv url: http://arxiv.org/abs/2605.26935v1
• Date: Tue, 26 May 2026 12:28:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:42.082362
• Title: DunbaaBERT: From Sacrifice to Semantics
• Title（参考訳）: DunbaaBERT:ScrificeからSemanticsへ
• Authors: Iffat Maab, Waleed Jamil, Raphael Schmitt,
• Abstract要約: Urduは、限られたリソースと断片化された評価設定のために、比較的過小評価されている。 我々はUrdu RoBERTaベースモデルのファミリーであるDunbaaBERTを紹介した。
• 参考スコア（独自算出の注目度）: 0.80965206547666
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models have achieved strong performance across many NLP tasks, yet Urdu remains comparatively underexplored due to limited resources and fragmented evaluation settings. To address this gap, we introduce DunbaaBERT, a family of Urdu RoBERTa-base models trained from scratch with Byte-BPE vocabularies of 32k, 52k, and 96k tokens on a deduplicated 17GB Urdu corpus. We evaluate DunbaaBERT across intrinsic and downstream Urdu NLP benchmarks covering linguistic acceptability, news classification, offensive language detection, and sentiment analysis while analyzing vocabulary-size effects on performance and efficiency trade-offs. Across benchmarks, the DunbaaBERT variants achieve competitive performance against strong multilingual baselines while consistently maintaining favorable efficiency trade-offs. Interestingly, larger vocabularies do not consistently improve downstream effectiveness, with DunbaaBERT$_{\text{32k}}$ repeatedly providing the strongest overall efficiency profile. Overall, our results demonstrate that carefully curated Urdu-specific encoder models can remain highly competitive despite comparatively compact model and training scales. All models are released under the MIT license.
• Abstract（参考訳）: 大規模な言語モデルは、多くのNLPタスクで強力なパフォーマンスを達成したが、Urduは限られたリソースと断片化された評価設定のために、比較的過小評価されている。 このギャップに対処するために、Urdu RoBERTaベースモデルのファミリーであるDunbaaBERTを紹介します。 我々は,言語受容性,ニュース分類,攻撃的言語検出,感情分析を対象とし,本質的および下流的Urdu NLPベンチマークを用いてDunbaaBERTの評価を行った。 ベンチマーク全体では、DunbaaBERTの派生型は強い多言語ベースラインに対して競争力を発揮しながら、良好な効率のトレードオフを維持している。 興味深いことに、より大きな語彙はダウンストリームの有効性を一貫して改善しない。DunbaaBERT$_{\text{32k}}$ は、最も強い全体的な効率プロファイルを繰り返し提供する。 以上の結果から,比較的コンパクトなモデルやトレーニングスケールにもかかわらず,厳密にキュレートされたUrdu特化エンコーダモデルは高い競争力を維持することができた。 すべてのモデルはMITライセンスでリリースされている。

関連論文リスト

• A Comparative Analysis of Retrieval-Augmented Generation Techniques for Bengali Standard-to-Dialect Machine Translation Using LLMs [0.3227658251731014]
  標準言語からその地域方言への翻訳は、少ないデータと言語変化のため、重要なNLP課題である。 本稿では,標準的なベンガル翻訳のための2つの新しいRAGパイプラインを提案し,比較する。
  論文  参考訳（メタデータ） (2025-12-16T08:18:18Z)
• DialectGen: Benchmarking and Improving Dialect Robustness in Multimodal Generation [111.94720088481614]
  多モーダル生成モデルは方言テキスト入力を効果的に生成できるのか? 6つの共通英語方言にまたがる大規模ベンチマークを構築した。 マルチモーダル生成モデルのための一般的なエンコーダに基づく緩和戦略を設計する。
  論文  参考訳（メタデータ） (2025-10-16T17:56:55Z)
• Evaluating LLMs' Multilingual Capabilities for Bengali: Benchmark Creation and Performance Analysis [0.0]
  ベンガル語はNLP研究においてあまり表現されていない言語である。 ベンガルのNLP性能を阻害する課題を系統的に検討する。 ベンガル語では英語と比較して一貫した性能差がみられた。
  論文  参考訳（メタデータ） (2025-07-31T05:16:43Z)
• Accelerated Test-Time Scaling with Model-Free Speculative Sampling [58.69141724095398]
  STAND(Stochastic Adaptive N-gram Drafting)は,新しいモデルフリーな投機的デコード手法である。 従来の自己回帰復号法と比較して,STANDは推論遅延を60～65%削減することを示した。 モデルフリーのアプローチとして、STANDは追加のトレーニングなしで既存の言語モデルに適用できる。
  論文  参考訳（メタデータ） (2025-06-05T07:31:18Z)
• Code-Mixed Telugu-English Hate Speech Detection [0.0]
  本研究では,TeleguHateBERT,HateBERT,DeBERTa,Muril,IndicBERT,Roberta,Hindi-Abusive-MuRILなどのトランスフォーマーモデルを用いて,Teluguにおけるヘイトスピーチの分類を行った。 低ランク適応(LoRA)を用いてこれらのモデルを微調整し、効率と性能を最適化する。 Google Translateを使ってTeluguのテキストを英語に翻訳し、分類精度への影響を評価する。
  論文  参考訳（メタデータ） (2025-02-15T02:03:13Z)
• Pre-training Data Quality and Quantity for a Low-Resource Language: New Corpus and BERT Models for Maltese [4.4681678689625715]
  低リソース言語に対するモノリンガルデータによる事前学習の効果を分析する。 新たに作成したマルタ語コーパスを提示し、事前学習データサイズとドメインが下流のパフォーマンスに与える影響を判定する。 スクラッチからトレーニングされた単言語BERTモデル(BERTu)と、さらに事前訓練された多言語BERT(mBERTu)の2つのモデルを比較する。
  論文  参考訳（メタデータ） (2022-05-21T06:44:59Z)
• Towards Efficient NLP: A Standard Evaluation and A Strong Baseline [55.29756535335831]
  本研究は, ELUE (Efficient Language Understanding Evaluation) と標準評価, 効率的なNLPモデルのための公開リーダボードを提案する。 ベンチマークとともに、強いベースラインであるElasticBERTの事前トレーニングとリリースも行います。
  論文  参考訳（メタデータ） (2021-10-13T21:17:15Z)
• Self-Training Sampling with Monolingual Data Uncertainty for Neural Machine Translation [98.83925811122795]
  並列データを補完するために最も情報に富んだ単言語文を選択することでサンプリング手順を改善することを提案する。 並列データから抽出したバイリンガル辞書を用いて単言語文の不確実性を計算した。 大規模WMT英語$Rightarrow$Germanと英語$Rightarrow$ Chineseデータセットの実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-06-02T05:01:36Z)
• Rejuvenating Low-Frequency Words: Making the Most of Parallel Data in Non-Autoregressive Translation [98.11249019844281]
  知識蒸留(KD)は、非自己回帰翻訳(NAT)モデルを訓練するための合成データを構築するために一般的に用いられる。 低周波対象語に対するアライメントを向上するために,逆KDを提案する。 その結果,提案手法は翻訳品質を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2021-06-02T02:41:40Z)
• Understanding and Improving Lexical Choice in Non-Autoregressive Translation [98.11249019844281]
  低周波ワードの有用な情報を復元するために、生データをNATモデルに公開することを提案する。 提案手法は,WMT14英語-ドイツ語とWMT16ルーマニア英語-英語データセットのSOTA NAT性能を27.8BLEU点,33.8BLEU点まで向上させる。
  論文  参考訳（メタデータ） (2020-12-29T03:18:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。