論文の概要: MorphBPE: A Morpho-Aware Tokenizer Bridging Linguistic Complexity for Efficient LLM Training Across Morphologies

• arxiv url: http://arxiv.org/abs/2502.00894v1
• Date: Sun, 02 Feb 2025 20:06:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:04:39.225201
• Title: MorphBPE: A Morpho-Aware Tokenizer Bridging Linguistic Complexity for Efficient LLM Training Across Morphologies
• Title（参考訳）: MorphBPE: モルフォロジー間の効率的なLLMトレーニングのための言語複雑性をブリッジするモルフォ認識型トケナイザ
• Authors: Ehsaneddin Asgari, Yassine El Kheir, Mohammad Ali Sadraei Javaheri,
• Abstract要約: トークン化は自然言語処理(NLP)の基本である MorphBPEはByte Pairのモルフォロジーを意識した拡張である。 統計的効率を保ちながら、言語構造をサブワードトークン化に統合する。
• 参考スコア（独自算出の注目度）: 0.8029049649310211
• License:
• Abstract: Tokenization is fundamental to Natural Language Processing (NLP), directly impacting model efficiency and linguistic fidelity. While Byte Pair Encoding (BPE) is widely used in Large Language Models (LLMs), it often disregards morpheme boundaries, leading to suboptimal segmentation, particularly in morphologically rich languages. We introduce MorphBPE, a morphology-aware extension of BPE that integrates linguistic structure into subword tokenization while preserving statistical efficiency. Additionally, we propose two morphology-based evaluation metrics: (i) Morphological Consistency F1-Score, which quantifies the consistency between morpheme sharing and token sharing, contributing to LLM training convergence, and (ii) Morphological Edit Distance, which measures alignment between morphemes and tokens concerning interpretability. Experiments on English, Russian, Hungarian, and Arabic across 300M and 1B parameter LLMs demonstrate that MorphBPE consistently reduces cross-entropy loss, accelerates convergence, and improves morphological alignment scores. Fully compatible with existing LLM pipelines, MorphBPE requires minimal modifications for integration. The MorphBPE codebase and tokenizer playground will be available at: https://github.com/llm-lab-org/MorphBPE and https://tokenizer.llm-lab.org
• Abstract（参考訳）: トークン化は自然言語処理(NLP)の基本であり、モデル効率と言語忠実性に直接影響を及ぼす。 Byte Pair Encoding (BPE) はLarge Language Models (LLMs) で広く使われているが、しばしば形態素境界を無視し、特に形態学的にリッチな言語において最適部分化をもたらす。 統計的効率を保ちながら言語構造をサブワードトークン化に統合するBPEのモルフォロジー対応拡張であるMorphBPEを紹介する。 さらに,2つの形態素に基づく評価指標を提案する。 一 形態素共有とトークン共有の整合性を定量化し、LLM訓練収束に寄与する形態素整合F1スコア 二 解釈可能性に関する形態素とトークンの整合度を測定する形態素編集距離 英語、ロシア語、ハンガリー語、アラビア語を300Mと1Bパラメータで比較した実験では、MorphBPEが常にクロスエントロピー損失を減らし、収束を加速し、モルフォロジーアライメントスコアを改善することが示されている。 既存のLLMパイプラインと完全に互換性があるため、MorphBPEは統合のために最小限の修正を必要とする。 https://github.com/llm-lab-org/MorphBPEとhttps://tokenizer.llm-lab.org

関連論文リスト

• MAGNET: Improving the Multilingual Fairness of Language Models with Adaptive Gradient-Based Tokenization [81.83460411131931]
  マルチ言語設定では、非ラテン語スクリプトと低リソース言語は通常、言語モデルの実用性、効率、コストの点で不利である。 適応的勾配に基づくサブワードトークン化による過分割を低減するために,多言語適応型勾配ベーストークン化を提案する。
  論文  参考訳（メタデータ） (2024-07-11T18:59:21Z)
• A Truly Joint Neural Architecture for Segmentation and Parsing [15.866519123942457]
  形態的リッチ言語(MRL)の性能は他の言語よりも低い。 空間的に制限された入力トークンのモルフォロジーの複雑さとあいまいさのため、ツリーのノードとして機能する言語単位は事前に分かっていない。 本稿では,入力のすべての形態的あいまいさを保存する格子型表現をアーク分解モデルに提供し,その形態的・構文的解析タスクを一度に解く,結合型ニューラルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-02-04T16:56:08Z)
• MorphPiece : A Linguistic Tokenizer for Large Language Models [3.8073142980733]
  基礎となるテキストの形態的セグメンテーションにもとづく言語的に動機付けられたトークン化スキームであるMorphPieceを提案する。 このトークン化器(MorphGPTと呼ばれる)で訓練されたGPTスタイルの因果言語モデルは、様々な教師付きおよび教師なしのNLPタスクにおいて同等または優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-07-14T10:35:04Z)
• Effects of sub-word segmentation on performance of transformer language models [0.628122931748758]
  統計的セグメンテーションアルゴリズムBPEと形態素セグメンテーションのための2つの教師なしアルゴリズムを用いて訓練されたGPTモデルとBERTモデルを比較した。 形態的セグメンテーションによるトレーニングでは,1は低いパープレキシティを実現し,2はトレーニング時間でより効率的に収束し,3は下流タスクで同等あるいはより良い評価スコアを得る。
  論文  参考訳（メタデータ） (2023-05-09T14:30:29Z)
• UniMorph 4.0: Universal Morphology [104.69846084893298]
  本稿は,過去2年間のいくつかの前線における展開と改善について述べる。 多くの言語学者による共同作業により、30の絶滅危惧言語を含む67の新しい言語が追加された。 前回のUniMorphリリースに合わせて,16言語で形態素セグメンテーションを施したデータベースも拡張した。
  論文  参考訳（メタデータ） (2022-05-07T09:19:02Z)
• Modeling Target-Side Morphology in Neural Machine Translation: A Comparison of Strategies [72.56158036639707]
  形態的に豊かな言語は機械翻訳に困難をもたらす。 多数の異なる屈折する単語曲面は、より大きな語彙を必要とする。 いくつかの頻度の低い用語は、通常、トレーニングコーパスには現れない。 言語的合意は、出力文中の屈折語形間の文法的カテゴリを正しく一致させる必要がある。
  論文  参考訳（メタデータ） (2022-03-25T10:13:20Z)
• GroupBERT: Enhanced Transformer Architecture with Efficient Grouped Structures [57.46093180685175]
  トランスフォーマー層の構造を改良し,より効率的なアーキテクチャを実現する。 自己認識モジュールを補完する畳み込みモジュールを追加し、局所的およびグローバルな相互作用の学習を分離する。 得られたアーキテクチャを言語表現学習に適用し、異なるスケールのBERTモデルと比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2021-06-10T15:41:53Z)
• SML: a new Semantic Embedding Alignment Transformer for efficient cross-lingual Natural Language Inference [71.57324258813674]
  トランスフォーマーが質問応答、自然言語推論(NLI)、要約といった様々なタスクを精度良く実行できることは、現在この種のタスクに対処するための最良のパラダイムの1つとしてランク付けすることができる。 nliは、複雑な文を理解するための知識が必要であり、仮説と前提の関係を確立するため、これらのアーキテクチャをテストする最良のシナリオの1つである。 本稿では,自然言語推論のための多言語組込みを効率的にアライメントするための新しいアーキテクチャ siamese multilingual transformer を提案する。
  論文  参考訳（メタデータ） (2021-03-17T13:23:53Z)
• Enhancing deep neural networks with morphological information [0.0]
  LSTMモデルとBERTモデルに形態学的特徴を加える効果を解析した。 その結果, 形態的特徴の付加は, 特徴の質や課題によって異なることが示唆された。
  論文  参考訳（メタデータ） (2020-11-24T22:35:44Z)
• Byte Pair Encoding is Suboptimal for Language Model Pretraining [49.30780227162387]
  一グラムLMトークン化とバイトペア符号化(BPE)の違いを分析する。 その結果,一グラムのLMトークン化手法は,下流タスクと2つの言語でBPEと一致し,BPEより優れることがわかった。 我々は、将来の事前訓練されたLMの開発者が、より一般的なBPEよりもユニグラムのLMメソッドを採用することを期待する。
  論文  参考訳（メタデータ） (2020-04-07T21:21:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。