論文の概要: MoirfEolas and CríochScore: Developing Resources for and the Evaluation of Tokenization Alignment with Irish Morphology
- arxiv url: http://arxiv.org/abs/2609.05022v1
- Date: Fri, 04 Sep 2026 11:41:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:24.023127
- Title: MoirfEolas and CríochScore: Developing Resources for and the Evaluation of Tokenization Alignment with Irish Morphology
- Title（参考訳）: MoirfEolas と CríochScore:アイルランド形態によるトークン化調整のための資源開発と評価
- Abstract要約: 私たちは、それぞれの日食、接頭辞、接尾辞にマッピングされた35,000以上のアイルランド語のデータセットであるMoirfEolasを紹介します。
我々はCrochScoreを用いた共通トークン化アルゴリズムと、トークン化文献に存在する固有のメトリクスを評価する。
- 参考スコア（独自算出の注目度）: 1.7532684066201514
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents new tokenization resources for Irish and evaluation measures of alignment with the morphological boundaries of the language. We present MoirfEolas, a dataset of over 35,000 Irish words mapped to their respective eclipses, prefixes and suffixes as well as an evaluation metric CríochScore, that evaluates the alignment of tokenizations with the morphological boundaries present in MoirfEolas. We evaluate common tokenization algorithms using CríochScore as well as intrinsic metrics present in the tokenization literature. We find that the Unigram Language Model aligns with Irish morphology more often than the other algorithms evaluated. We also find trade-offs between morphological-alignment of tokenization with both compression as well as vocabulary efficiency, providing practical insights for Irish natural language processing development. This dataset contributes towards combating the Irish language's low-resource status; moreover, the construction process reported in this paper can be emulated by other languages to create specialised morphological resources.
- Abstract（参考訳）: 本稿ではアイルランド語のための新しいトークン化リソースと言語の形態的境界との整合性の評価について述べる。
アイルランド語の35,000以上の単語をそれぞれの日食、接頭辞、接尾辞にマッピングしたデータセットであるMoirfEolasと、MoirfEolasに存在する形態的境界とのトークン化のアライメントを評価する評価指標CríochScoreを提示する。
我々は CríochScore を用いた共通トークン化アルゴリズムとトークン化文献に存在する内在的メトリクスの評価を行った。
We found that the Unigram Language Model are based with Irish morphology compared than the other algorithm。
また, 圧縮と語彙効率の両面から, トークン化の形態的アライメントのトレードオフを見いだし, アイルランドの自然言語処理開発における実践的な洞察を提供する。
このデータセットは、アイルランド語の低リソース状態との戦いに寄与し、また、本論文で報告された構築プロセスは、他の言語によってエミュレートされ、特殊な形態的資源を作り出すことができる。
関連論文リスト
- Tokenizations for Austronesian Language Models: study on languages in Indonesia Archipelago [0.0]
本研究の目的は,インドネシアの地域言語に対する伝統的なインドネシア文字(aksara)の原則を取り入れた音節ベースのトークン化フレームワークを開発することである。
インドネシア語と英語の10言語にまたがる1,000の並列翻訳サンプルからなるNusaXデータセットを用いて評価を行った。
その結果、音節ベースのトークン化はすべての地域言語で一貫したTPC値を示し、GPT-2は英語で最低のTPCを持つ逆パターンを示した。
論文 参考訳（メタデータ） (2026-01-28T14:02:19Z) - MoVoC: Morphology-Aware Subword Construction for Geez Script Languages [7.7761618950496265]
サブワードベースのトークン化法は、しばしば形態的境界を維持するのに失敗する。
我々はMoVoC(Morpheme-aware Subword Vocabulary Construction)とMoVoC-Tokをトレーニングする。
論文 参考訳（メタデータ） (2025-09-10T17:45:10Z) - Rethinking Tokenization for Rich Morphology: The Dominance of Unigram over BPE and Morphological Alignment [8.097278579432908]
トークン化アルゴリズムの選択はパフォーマンスに影響する最も重要な要因であり、Unigramベースのトークン化アルゴリズムは、ほとんどの設定において一貫してBPEを上回っている。
より優れた形態的アライメントは、テキスト分類や構造予測タスクのパフォーマンスと適度で正の相関を示すが、その影響はトークン化アルゴリズムに準じる。
論文 参考訳（メタデータ） (2025-08-11T19:23:59Z) - From Smør-re-brød to Subwords: Training LLMs on Danish, One Morpheme at a Time [8.28573483085828]
我々は、デンマークの注釈付き形態素データセットを利用して、形態素分割のための半教師付きモデルを訓練する。
デンマーク語の単語をテクスチャ的にセグメント化することで,2つのカスタムな形態素トークン化器を含む4つの異なるトークン化器の評価を行った。
その結果、デンマークのBPEトークン化装置が達成した39.28と比べ、F1スコア58.84を達成し、我々のカスタム開発したトークン化装置はモルフォロジーのセグメンテーションを著しく向上させることが判明した。
論文 参考訳（メタデータ） (2025-04-02T09:26:02Z) - MAGNET: Improving the Multilingual Fairness of Language Models with Adaptive Gradient-Based Tokenization [81.83460411131931]
マルチ言語設定では、非ラテン語スクリプトと低リソース言語は通常、言語モデルの実用性、効率、コストの点で不利である。
適応的勾配に基づくサブワードトークン化による過分割を低減するために,多言語適応型勾配ベーストークン化を提案する。
論文 参考訳（メタデータ） (2024-07-11T18:59:21Z) - Lexically Grounded Subword Segmentation [0.0]
トークン化とサブワードセグメンテーションの3つの革新を提示する。
まず,Morfessorを用いた教師なし形態素解析を事前学習に用いることを提案する。
第二に、単語埋め込み空間に接地したサブワード埋め込みを得る方法を提案する。
第3に,単語ビッグラムモデルに基づく効率的なセグメンテーションアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-19T13:48:19Z) - Evaluating Subword Tokenization: Alien Subword Composition and OOV Generalization Challenge [10.721272718226848]
サブワードトークン化のための内在的・外在的評価フレームワークを提案する。
Intrepidの評価は、私たちの新しいUniMorph Labellerツールに基づいており、サブワードのトークン化を形態学または異星人として分類する。
実験の結果、UniMorph Labellerの精度は98%であり、異種トークン化はより低い一般化をもたらすことがわかった。
論文 参考訳（メタデータ） (2024-04-20T06:49:15Z) - Understanding Cross-Lingual Alignment -- A Survey [52.572071017877704]
言語間アライメントは多言語言語モデルにおける言語間の表現の有意義な類似性である。
本研究は,言語間アライメントの向上,手法の分類,分野全体からの洞察の要約といった手法の文献を調査する。
論文 参考訳（メタデータ） (2024-04-09T11:39:53Z) - Multilingual Extraction and Categorization of Lexical Collocations with
Graph-aware Transformers [86.64972552583941]
我々は,グラフ対応トランスフォーマアーキテクチャにより拡張されたBERTに基づくシーケンスタグ付けモデルを提案し,コンテキストにおけるコロケーション認識の課題について評価した。
以上の結果から, モデルアーキテクチャにおける構文的依存関係を明示的に符号化することは有用であり, 英語, スペイン語, フランス語におけるコロケーションのタイプ化の差異について考察する。
論文 参考訳（メタデータ） (2022-05-23T16:47:37Z) - UniMorph 4.0: Universal Morphology [104.69846084893298]
本稿は,過去2年間のいくつかの前線における展開と改善について述べる。
多くの言語学者による共同作業により、30の絶滅危惧言語を含む67の新しい言語が追加された。
前回のUniMorphリリースに合わせて,16言語で形態素セグメンテーションを施したデータベースも拡張した。
論文 参考訳（メタデータ） (2022-05-07T09:19:02Z) - More Than Words: Collocation Tokenization for Latent Dirichlet
Allocation Models [71.42030830910227]
モデルが異なる環境でクラスタリングの品質を測定するための新しい指標を提案する。
マージトークンでトレーニングされたトピックは、マージされていないモデルよりも、より明確で、一貫性があり、トピックを区別する効果が高いトピックキーをもたらすことを示す。
論文 参考訳（メタデータ） (2021-08-24T14:08:19Z) - Evaluating the Morphosyntactic Well-formedness of Generated Texts [88.20502652494521]
L'AMBRE – テキストのモルフォシンタク的整形性を評価する指標を提案する。
形態的に豊かな言語に翻訳するシステムのダイアクロニックスタディを通じて,機械翻訳作業におけるメトリックの有効性を示す。
論文 参考訳（メタデータ） (2021-03-30T18:02:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。