論文の概要: ROMEVA: Geometry-Preserving Vocabulary Expansion for Roman Urdu Language Models

• arxiv url: http://arxiv.org/abs/2606.22478v1
• Date: Sun, 21 Jun 2026 12:40:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:59:26.871812
• Title: ROMEVA: Geometry-Preserving Vocabulary Expansion for Roman Urdu Language Models
• Title（参考訳）: ROMEVA: ローマ・ウルドゥー語モデルのための幾何学保存語彙拡張
• Authors: Mahnoor Khan, Afsheen Asif, Milhan Afzal Khan, Seemab Latif, Mehwish Fatima,
• Abstract要約: ローマのウルドゥー語スペルのバリエーションは、トークン当たり平均1.50のサブワードの断片化を引き起こす。 語彙展開中の埋め込みを安定させるために,textitROMEVA(Roman Urdu Embedding-Preserving Vocabulary Adaptation)を提案する。
• 参考スコア（独自算出の注目度）: 2.1437512265005543
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Multilingual Language Models like mBERT are widely used for low-resource NLP, yet their adaptation to morphologically inconsistent languages such as Roman Urdu remains underexplored. Roman Urdu spelling variation causes severe sub-word fragmentation, averaging 1.50 sub-words per token. We propose \textit{ROMEVA} (Roman Urdu Embedding-preserving Vocabulary Adaptation), which combines sub-word-average initialization and a PCA-guided anchor loss to stabilize embeddings during vocabulary expansion. Using a 36,130-comment Roman Urdu corpus, we add 500 highly fragmented tokens to mBERT and compare naive fine-tuning, sub-word-aware fine-tuning, and \textit{ROMEVA}. While \textit{ROMEVA} most effectively preserves the pretrained embedding space, naive fine-tuning achieves the strongest downstream sentiment classification performance. These findings reveal a disconnect between embedding stability and downstream performance, suggesting that stronger adaptation may be preferable to strict embedding preservation in morphologically inconsistent languages.
• Abstract（参考訳）: mBERTのような多言語言語モデルは、低リソースのNLPに広く使われているが、ローマ・ウルドゥー語のような形態的に一貫性のない言語への適応は未定のままである。 ローマ字のウルドゥー文字の綴りの変化は、トークン当たり平均1.50のサブワードの断片化を引き起こす。 本稿では,単語平均初期化とPCA誘導アンカー損失を組み合わせた‘textit{ROMEVA}(Roman Urdu Embedding-serving Vocabulary Adaptation)’を提案する。 36,130-comment Roman Urdu corpus を用いて、mBERT に 500 個の高度に断片化されたトークンを追加し、単純な微調整、サブワード対応の微調整、および \textit{ROMEVA} を比較します。 textit{ROMEVA} は、トレーニング済みの埋め込み空間を効果的に保存するが、直感的な微調整は、最強の下流の感情分類性能を達成する。 これらの結果から, 組込み安定性と下流性能の相違が指摘され, より強い適応が, 形態的不整合言語における厳密な組込み保存に好適であることが示唆された。

関連論文リスト

• LGSE: Lexically Grounded Subword Embedding Initialization for Low-Resource Language Adaptation [7.623227616015147]
  本稿では,新しいトークンの埋め込みを初期化するための形態的情報セグメント化を導入したLexically Grounded Subword Embedding Initializationフレームワークを提案する。 ランダムなベクトルや任意のサブワードを使う代わりに、LGSEは単語を構成形態素に分解し、意味的に一貫性のある埋め込みを構成する。 質問応答、名前付きエンティティ認識、テキスト分類の3つのNLPタスクにおいて、LGSEを2つの形態的にリッチで低リソースな言語で評価する。
  論文  参考訳（メタデータ） (2026-03-23T23:07:16Z)
• Low-Resource Transliteration for Roman-Urdu and Urdu Using Transformer-Based Models [0.6554326244334868]
  ウルドゥー語とそのローマ字形であるウルドゥー語との音訳は未発見のままである。 我々はm2m100多言語翻訳モデルを用いたトランスフォーマーに基づく手法を提案する。 我々のモデルは、ウルドゥー語で96.37点、ウルドゥー語で97.44点、ウルドゥー語で96.37点という高い音訳性能を達成している。
  論文  参考訳（メタデータ） (2025-03-27T14:18:50Z)
• An Analysis of BPE Vocabulary Trimming in Neural Machine Translation [56.383793805299234]
  語彙トリミング(vocabulary trimming)は、まれなサブワードをコンポーネントサブワードに置き換える後処理のステップである。 ボキャブラリトリミングは性能向上に失敗し,さらに大きな劣化を招きやすいことを示す。
  論文  参考訳（メタデータ） (2024-03-30T15:29:49Z)
• OFA: A Framework of Initializing Unseen Subword Embeddings for Efficient Large-scale Multilingual Continued Pretraining [49.213120730582354]
  言語モデルをスクラッチから事前学習する代わりに、既存の事前学習言語モデル(PLM)を語彙拡張と継続事前学習を通じて新しい言語に適応させることがより効率的な方法である。 我々は、新しいフレームワークを提案する: $textbfO$ne $textbfF$or $textbfA$ll。
  論文  参考訳（メタデータ） (2023-11-15T10:40:45Z)
• Romanization-based Large-scale Adaptation of Multilingual Language Models [124.57923286144515]
  大規模多言語事前学習言語モデル (mPLMs) は,NLPにおける多言語間移動のデファクトステートとなっている。 我々は、mPLMをローマン化および非ロマン化した14の低リソース言語コーパスに適用するためのデータとパラメータ効率の戦略を多数検討し、比較した。 以上の結果から, UROMAN をベースとしたトランスリテラルは,多くの言語で高い性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-04-18T09:58:34Z)
• Data-Driven Mitigation of Adversarial Text Perturbation [1.3649494534428743]
  本研究では,NLPモデルを逆テキスト摂動に対して堅牢にするための難読化パイプラインを提案する。 CW2Vの埋め込みは、文字nグラムに基づく埋め込みよりも、テキストの摂動に対してより堅牢であることを示す。 我々のパイプラインはエンゲージメントベイト分類を0.70から0.67AUCに分類し、敵対的なテキストの摂動を発生させる。
  論文  参考訳（メタデータ） (2022-02-19T00:49:12Z)
• To Augment or Not to Augment? A Comparative Study on Text Augmentation Techniques for Low-Resource NLP [0.0]
  本稿では,構文の変更を行うテキスト拡張手法の3つのカテゴリについて検討する。 音声のタグ付けや依存性解析,セマンティックロールのラベル付けなどにおいて,多種多様な言語ファミリに対して比較を行った。 以上の結果から,mBERTに基づくベースラインの強化により,より高機能化が可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-11-18T10:52:48Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。