論文の概要: Contextual morphologically-guided tokenization for Latin encoder models

• arxiv url: http://arxiv.org/abs/2511.09709v1
• Date: Fri, 14 Nov 2025 01:05:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-14 22:53:22.430122
• Title: Contextual morphologically-guided tokenization for Latin encoder models
• Title（参考訳）: ラテンエンコーダモデルに対する文脈的モルフォロジー誘導トークン化
• Authors: Marisa Hudspeth, Patrick J. Burns, Brendan O'Connor,
• Abstract要約: 形態学的に豊かな言語であるラテン語のトークン化について検討する。 形態的に誘導されたトークン化は、下流4つのタスクにおける全体的なパフォーマンスを改善する。
• 参考スコア（独自算出の注目度）: 2.5578258168516816
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Tokenization is a critical component of language model pretraining, yet standard tokenization methods often prioritize information-theoretical goals like high compression and low fertility rather than linguistic goals like morphological alignment. In fact, they have been shown to be suboptimal for morphologically rich languages, where tokenization quality directly impacts downstream performance. In this work, we investigate morphologically-aware tokenization for Latin, a morphologically rich language that is medium-resource in terms of pretraining data, but high-resource in terms of curated lexical resources -- a distinction that is often overlooked but critical in discussions of low-resource language modeling. We find that morphologically-guided tokenization improves overall performance on four downstream tasks. Performance gains are most pronounced for out of domain texts, highlighting our models' improved generalization ability. Our findings demonstrate the utility of linguistic resources to improve language modeling for morphologically complex languages. For low-resource languages that lack large-scale pretraining data, the development and incorporation of linguistic resources can serve as a feasible alternative to improve LM performance.
• Abstract（参考訳）: トークン化は言語モデルの事前訓練の重要な要素であるが、標準的なトークン化手法は、しばしば、形態的アライメントのような言語的目標よりも、高い圧縮や低出生率といった情報理論的な目標を優先する。 実際、それらは、トークン化の品質が下流のパフォーマンスに直接影響を与える形態的にリッチな言語に最適化されていることが示されている。 本研究では,事前学習データの観点からは中級資源であるラテン語に対する形態学的に認識されるトークン化について検討するが,低リソース言語モデリングの議論においてしばしば見落とされがちだが批判的である。 形態的に誘導されたトークン化は、下流4つのタスクにおける全体的なパフォーマンスを改善する。 パフォーマンス向上はドメインテキスト外で最も顕著であり、モデルの改良された一般化能力を強調します。 本研究は,形態学的に複雑な言語に対する言語モデリングを改善するための言語資源の有用性を示す。 大規模な事前学習データを持たない低リソース言語では、言語資源の開発と導入が、LM性能を改善するための有効な代替手段となり得る。

関連論文リスト

• Low-Resource English-Tigrinya MT: Leveraging Multilingual Models, Custom Tokenizers, and Clean Evaluation Benchmarks [6.177998679139308]
  ニューラルネットワーク翻訳(NMT)の進歩にもかかわらず、Tigrinyaのような低リソース言語はいまだに保存されていない。 本稿では,多言語事前学習モデルを用いた翻訳学習手法について検討し,形態的に豊かな低リソース言語に対する翻訳品質を向上させる。
  論文  参考訳（メタデータ） (2025-09-24T15:02:57Z)
• Adapting Language Models to Indonesian Local Languages: An Empirical Study of Language Transferability on Zero-Shot Settings [1.1556013985948772]
  インドネシアの低リソース言語への事前学習言語モデルの転送性を評価する。 私たちはターゲット言語を、見る、見る、見る、見る、見えない3つのカテゴリに分類します。 マルチ言語モデルは、目に見える言語で、部分的に見られる言語では適度に、目に見えない言語では劣る。 対象言語にラベル付きデータを必要としないため,MAD-Xは性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2025-07-02T12:17:55Z)
• Boosting the Capabilities of Compact Models in Low-Data Contexts with Large Language Models and Retrieval-Augmented Generation [2.9921619703037274]
  本稿では,形態素解析の言語タスクにおいて,より小さなモデルの出力を補正するために,大言語モデル(LLM)を基盤とした検索拡張生成(RAG)フレームワークを提案する。 データ不足や訓練可能なパラメータの不足を補うために,言語情報を活用するとともに,LLMを通して解釈・蒸留された記述文法からの入力を許容する。 コンパクトなRAG支援モデルがデータスカース設定に極めて有効であることを示し、このタスクとターゲット言語に対する新しい最先端技術を実現する。
  論文  参考訳（メタデータ） (2024-10-01T04:20:14Z)
• SMILE: Speech Meta In-Context Learning for Low-Resource Language Automatic Speech Recognition [55.2480439325792]
  音声メタインコンテキスト学習(SMILE)は、メタラーニングと音声インコンテキスト学習(SICL)を組み合わせた革新的なフレームワークである SMILEは、トレーニング不要な多言語ASRタスクにおいて、ベースライン手法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-16T16:04:16Z)
• How Can We Effectively Expand the Vocabulary of LLMs with 0.01GB of Target Language Text? [34.57680190813489]
  大きな言語モデル(LLM)は、英語以外の多くの言語で顕著な能力を示している。 LLMは、英語中心のトークン化や語彙に依存するため、非英語のテキストを生成する際にさらに推論ステップを必要とする。 ターゲット言語トークンによる語彙拡張は、この問題を改善するために広く使われている言語間語彙適応手法である。
  論文  参考訳（メタデータ） (2024-06-17T12:42:34Z)
• Explicit Morphological Knowledge Improves Pre-training of Language Models for Hebrew [19.4968960182412]
  事前学習フェーズに明示的な形態的知識を組み込むことで、形態学的に豊かな言語に対するPLMの性能を向上させることができるという仮説を考察する。 本研究では, モデルが生テキスト以外の形態的手がかりを活用できるように, 様々な形態的トークン化手法を提案する。 実験により, 形態素によるトークン化は, 標準言語に依存しないトークン化と比較して, 改良された結果を示すことが示された。
  論文  参考訳（メタデータ） (2023-11-01T17:02:49Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• On Robustness of Prompt-based Semantic Parsing with Large Pre-trained Language Model: An Empirical Study on Codex [48.588772371355816]
  本稿では,大規模なプロンプトベース言語モデルであるコーデックスの対角的ロバスト性に関する最初の実証的研究について述べる。 この結果から, 最先端の言語モデル(SOTA)は, 慎重に構築された敵の例に対して脆弱であることが示された。
  論文  参考訳（メタデータ） (2023-01-30T13:21:00Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation [127.81351683335143]
  クロスリンガルプリトレーニングは、2つの言語の語彙的表現と高レベル表現を整列させるモデルを必要とする。 これまでの研究では、これは表現が十分に整合していないためです。 本稿では,語彙レベルの情報で事前学習するバイリンガルマスク言語モデルを,型レベルのクロスリンガルサブワード埋め込みを用いて強化する。
  論文  参考訳（メタデータ） (2021-03-18T21:17:58Z)
• Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model [58.27176041092891]
  最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。 本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。 提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
  論文  参考訳（メタデータ） (2020-11-23T16:00:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。