論文の概要: Expanding the Lexicon of Ge'ez Based African Languages: A Comparative Study of Amharic and Tigrinya
- arxiv url: http://arxiv.org/abs/2607.15209v1
- Date: Thu, 16 Jul 2026 17:08:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:33.182121
- Title: Expanding the Lexicon of Ge'ez Based African Languages: A Comparative Study of Amharic and Tigrinya
- Title（参考訳）: ゲエズを基盤としたアフリカ諸語の語彙の拡大--アムハラ語とティグリニャ語の比較研究
- Abstract要約: 本稿では,Amharic と Tigrinya の2言語を対象とした語彙拡張型 XLM-R を提案する。
VexMLMは87.0 EM/90.0 F1、XLM-Rは66.0 EM/78.0 F1、Glot500は74.0 EM/78.0 F1を達成する。
SAでは、VEXMLMは80.0%、XLM-Rは77.0%、Glot500は46.0%に達する。
- 参考スコア（独自算出の注目度）: 6.396476220617138
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multilingual pre-trained language models (PLMs) exhibit degraded performance on low-resource, non-Latin-script languages, driven by high out-of-vocabulary (OOV) rates and excessive subword fragmentation that result from Latin-script-centric tokenizer training. We introduce VEXMLM, a vocabulary-extended variant of XLM-R targeting the two highest-resource Ge'ez-script languages, Amharic and Tigrinya, and further evaluated on 17 additional low-resource African languages (19 total). We train a language-specific SentencePiece tokenizer on curated Amharic and Tigrinya monolingual corpora, extend XLM-R's vocabulary with 30,000 Ge'ez-script subwords derived from this tokenizer, and initialize their embeddings by averaging the embeddings of their constituent subwords under XLM-R's original tokenizer. VEXMLM is trained in two stages: (1) continued masked language modeling over the extended vocabulary on the curated corpora, and (2) supervised fine-tuning on question answering (QA), named entity recognition (NER), and sentiment analysis (SA). On Amharic/Tigrinya QA, VEXMLM achieves 87.0 EM /90.0 F1, versus 66.0 EM/78.0 F1 for XLM-R and 74.0 EM/ 78.0 F1 for Glot500. On SA, VEXMLM reaches 80.0\% accuracy versus 77.0\% (XLM-R) and 46.0\% (Glot500). On NER, VEXMLM raises OOV-token entity accuracy from 81.4\% to 94.3\%, averaged over 11 of the 19 evaluated languages for which OOV analysis was possible. Our contributions are: (i) a vocabulary-extension and embedding-initialization procedure tailored to Ge'ez script; (ii) a two-stage training strategy under which vocabulary and continued-pretraining gains on Amharic/Tigrinya transfer to 17 typologically related, unaugmented African languages; and (iii) an evaluation spanning both intrinsic tokenization metrics (vocabulary coverage, fertility, OOV rate) and extrinsic task performance across all 19 languages.
- Abstract（参考訳）: マルチリンガル事前学習言語モデル(PLM)は、低リソースで非ラテン文字言語に対して、高い外語彙率(OOV)とラテン文字中心のトークン化学習による過剰なサブワード断片化によって、劣化した性能を示す。
VEXMLMは,Amharic と Tigrinya という2つの最上位のゲエズ文字言語を対象にしたXLM-Rの語彙拡張版である。
我々は、Amharic と Tigrinya の単言語コーパス上で、言語固有の SentencePiece トークンをトレーニングし、XLM-R の語彙を3万の Ge'ez-script サブワードで拡張し、それらの埋め込みを、XLM-R のオリジナルトークン化の下で、それらの構成要素のサブワードの埋め込みを平均化することによって初期化する。
VEXMLMは,(1)キュレートされたコーパス上の拡張語彙をマスキングした言語モデリングを継続し,(2)質問応答(QA),名前付きエンティティ認識(NER),感情分析(SA)の2段階で訓練される。
Amharic/Tigrinya QAでは、VEXMLMは87.0 EM/90.0 F1、XLM-Rでは66.0 EM/78.0 F1、Glot500では74.0 EM/78.0 F1を達成する。
SAでは、VEXMLM は 77.0\% (XLM-R) と 46.0\% (Glot500) に対して 80.0\% に達する。
NERでは、VEXMLMはOOVを用いたエンティティの精度を81.4\%から94.3\%に引き上げ、OOV分析が可能な19の言語のうち11以上を平均化している。
私たちの貢献は次のとおりです。
一 ゲエズ文字に準ずる語彙拡張及び埋め込み初期化手続
二 アンハラ語・ティグリニヤ語の語彙及び継続事前学習が17の類型的関連未拡張アフリカの言語に移行する二段階の訓練戦略
3) 内因性トークン化指標(語彙カバレッジ, 出生率, OOVレート)と外因性タスク性能を19言語で比較した。
関連論文リスト
- Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech [61.759910921200834]
言語間の文エンコーダは通常、数百の言語をカバーしている。
我々はOmniSONARを紹介した。OmniSONARは全言語、言語横断、言語横断の文埋め込みモデルである。
論文 参考訳（メタデータ） (2026-03-17T14:47:35Z) - TriLex: A Framework for Multilingual Sentiment Analysis in Low-Resource South African Languages [0.0]
低資源のアフリカ諸言語は、感情分析において不足している。
本研究では,コーパスに基づく抽出,クロスリンガルマッピング,RAGによる語彙改善を統一する3段階検索拡張フレームワークTriLexを提案する。
リッチレキシコンを用いて、2つの著名なアフリカの事前訓練言語モデルの性能を評価する。
論文 参考訳（メタデータ） (2025-12-02T14:16:31Z) - IndicSuperTokenizer: An Optimized Tokenizer for Indic Multilingual LLMs [5.068673710249497]
IndicSuperTokenizerは、Indic Multilingual LLMのトークンである。
サブワードとマルチワードトークン化、および言語固有のトークンを事前トークン化する。
LLaMA4より平均出生率39.5%、経度より18%向上している。
論文 参考訳（メタデータ） (2025-11-05T06:57:42Z) - One ruler to measure them all: Benchmarking multilingual long-context language models [31.669282956425658]
我々は26言語にわたる長文言語モデルを評価するために設計された多言語ベンチマークONERULERを提案する。
英語は、長文タスク(26語中6位)における最高のパフォーマンス言語ではなく、ポーランド語が最上位言語として登場した。
異なる言語で命令とコンテキストが現れる言語間シナリオでは、命令言語によってパフォーマンスが最大20%変動する。
論文 参考訳（メタデータ） (2025-03-03T19:12:48Z) - Franken-Adapter: Cross-Lingual Adaptation of LLMs by Embedding Surgery [31.516243610548635]
我々は,デコーダのみの大規模言語モデルに対するモジュール型言語適応アプローチであるtextitFranken-Adapter$を提示する。
提案手法は,対象言語用にカスタマイズされた語彙を作成し,多言語データへの組込みによる言語適応を行うことから始める。
最大27Bパラメータを持つ$ttGemma2$モデルの実験では、96言語で最大20%の改善が示され、識別的タスクと生成的タスクの両方にまたがっている。
論文 参考訳（メタデータ） (2025-02-12T00:38:11Z) - Enhancing Multilingual ASR for Unseen Languages via Language Embedding Modeling [50.62091603179394]
最も先進的なASRモデルの1つであるWhisperは99の言語を効果的に扱う。
しかし、ウィスパーは未確認の言語と戦っているが、それらは事前訓練には含まれていない。
本研究では,これらの関係を利用して未知言語上でのASR性能を向上させる手法を提案する。
論文 参考訳（メタデータ） (2024-12-21T04:05:43Z) - Prompting with Phonemes: Enhancing LLMs' Multilinguality for Non-Latin Script Languages [37.61699757912346]
そこで本研究では,音声の書き起こしを補完信号として活用し,スクリプト不変表現を誘導する手法を提案する。
In-context Learning (ICL) における音素文字と正書法文字がそれぞれ異なる例を検索することを示す。
これにより、提案したMixed-ICL検索戦略のモチベーションが得られ、両者のさらなる集約により性能が大幅に向上する。
論文 参考訳（メタデータ） (2024-11-04T18:59:51Z) - Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [59.056367787688146]
本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。
我々は10の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
翻訳を利用して、10個の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
論文 参考訳（メタデータ） (2023-10-31T08:09:20Z) - Extrapolating Large Language Models to Non-English by Aligning Languages [109.09051737966178]
既存の大きな言語モデルは、異なる言語間で異なる能力を示す。
本稿では,言語間のセマンティックアライメントを構築することで,英語以外の言語に事前学習したLLMを強化する。
論文 参考訳（メタデータ） (2023-08-09T13:32:06Z) - XLM-V: Overcoming the Vocabulary Bottleneck in Multilingual Masked
Language Models [100.29953199404905]
語彙重複の少ない言語間でのトークン共有を非強調化することにより,多言語語彙に拡張する新たなアプローチを提案する。
我々は100万のトークン語彙を持つ多言語言語モデルであるXLM-Vを訓練する。
XLM-V は低リソースの言語タスクに特に有効であり、マサハナーとアメリカの NLI では XLM-R を 11.2% と 5.8% で上回っている。
論文 参考訳（メタデータ） (2023-01-25T09:15:17Z) - AmericasNLI: Evaluating Zero-shot Natural Language Understanding of
Pretrained Multilingual Models in Truly Low-resource Languages [75.08199398141744]
我々は、XNLI(Conneau et al)の拡張である AmericasNLI を提示する。
は、アメリカ大陸の10の原住民の言語である。
XLM-Rで実験を行い、複数のゼロショットおよび翻訳ベースのアプローチをテストします。
XLM-Rのゼロショット性能は全10言語で低調であり、平均性能は38.62%である。
論文 参考訳（メタデータ） (2021-04-18T05:32:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。