論文の概要: PACUTE: Phonology-, Affix-, and Character-level Understanding of Tokens for Filipino

• arxiv url: http://arxiv.org/abs/2606.15144v1
• Date: Sat, 13 Jun 2026 06:12:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:32.939967
• Title: PACUTE: Phonology-, Affix-, and Character-level Understanding of Tokens for Filipino
• Title（参考訳）: フィリピン語における音韻学, 接尾辞, 文字レベルの理解
• Authors: Jann Railey Montalan, David Demitri Africa, Jimson Paulo Layacan, Richell Isaiah Flores, Ivan Yuri De Leon, Lance Calvin Gamboa,
• Abstract要約: PACUTEは、フィリピンにおける形態学的理解を評価するために設計された4,600のタスクの診断ベンチマークである。 オープンウェイトモデルでは, スケールによらず, 形態素分解にほぼ近い確率で作用することがわかった。 これらの結果は, フィリピン語の単語構造理解の持続的ボトルネックとして, 文字アクセスのみではなく, 生産的形態素組成を同定した。
• 参考スコア（独自算出の注目度）: 1.6481883307499954
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models (LLMs) process text as sequences of subword tokens, which can obscure the character-level and morphological structure that underlies word formation. This limitation is most acute for languages with non-concatenative morphology, where standard tokenizers systematically misalign token boundaries with morpheme boundaries. We introduce PACUTE, a diagnostic benchmark of 4,600 tasks designed to evaluate morphological understanding in Filipino, a language characterized by productive infixation, reduplication, and diacritic-driven lexical distinctions that are typically absent from written text. PACUTE includes a hierarchical diagnostic framework of six compositional levels that localizes where morphological understanding breaks down. Evaluating open-weight LLMs and frontier commercial models, we find that open-weight models perform near chance on morpheme decomposition regardless of scale. Frontier models perform much better, often recovering individual affixes under contains-match scoring, but remain far below their character-level ceilings on compositional tasks of morpheme transformations and syllabification. These results identify productive morphological composition, rather than character access alone, as the persistent bottleneck for Filipino word-structure understanding.
• Abstract（参考訳）: 大きな言語モデル(LLM)はテキストをサブワードトークンのシーケンスとして処理し、単語形成の基盤となる文字レベルと形態構造を曖昧にすることができる。 この制限は非コンカニカルな形態を持つ言語では最も急激であり、標準的なトークン化器は体系的にトークン境界と形態素境界を誤る。 フィリピンにおける形態的理解を評価するために設計された4,600のタスクの診断ベンチマークであるPACUTEを紹介した。 PACUTEには、6つの構成レベルの階層的な診断フレームワークが含まれており、形態的理解が崩壊する場所をローカライズしている。 オープンウェイト LLM とフロンティア商用モデルの評価により, オープンウェイトモデルは, スケールによらず, モーフィム分解にほぼ近い確率で作用することがわかった。 フロンティアモデルはより良く機能し、しばしば包接マッチスコアの下で個々のアフィクスを回復するが、モルフィム変換やシラビフィケーションの合成タスクにおいて、文字レベルの天井よりもはるかに低いままである。 これらの結果は, フィリピン語の単語構造理解の持続的ボトルネックとして, 文字アクセスのみではなく, 生産的形態素組成を同定した。

関連論文リスト

• Morphemes Without Borders: Evaluating Root-Pattern Morphology in Arabic Tokenizers and LLMs [6.520393736113561]
  本研究では,大言語モデル(LLM)がアラビア語根パターン形態をいかに効果的に表現し,生成するかを検討する。 本研究は,金標準セグメンテーションに対するアラビアおよび多言語トークン化剤間の形態的忠実度の評価から始まった。 以上の結果から, コントラマイザの形態的アライメントは形態的アライメントに必要ではなく, かつ, 形態的アライメントに十分であることが明らかとなった。
  論文  参考訳（メタデータ） (2026-03-16T18:05:01Z)
• chDzDT: Word-level morphology-aware language model for Algerian social media text [0.0]
  chDzDT(chDzDT)は、アルジェリア語の形態に合わせた文字レベルの事前訓練言語モデルである。 トークン境界や標準化された正書法に依存することなく、孤立した単語で訓練される。 複数のスクリプトと言語的バリエーションをカバーしており、結果としてかなりの事前学習の作業負荷が生じる。
  論文  参考訳（メタデータ） (2025-09-01T21:09:55Z)
• Unsupervised Morphological Tree Tokenizer [36.584680344291556]
  トークン化のための形態的構造ガイダンスを導入し、単語の文字レベル構造を誘導する深層モデルを提案する。 本手法は,アノテート学習データなしで形態素規則に整合した文字レベルの構造を誘導することができる。 実験の結果,提案手法は完全形態素を効果的に保持し,BPEやWordPieceといった広く採用されている手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-21T15:35:49Z)
• Multilingual Extraction and Categorization of Lexical Collocations with Graph-aware Transformers [86.64972552583941]
  我々は,グラフ対応トランスフォーマアーキテクチャにより拡張されたBERTに基づくシーケンスタグ付けモデルを提案し,コンテキストにおけるコロケーション認識の課題について評価した。 以上の結果から, モデルアーキテクチャにおける構文的依存関係を明示的に符号化することは有用であり, 英語, スペイン語, フランス語におけるコロケーションのタイプ化の差異について考察する。
  論文  参考訳（メタデータ） (2022-05-23T16:47:37Z)
• UniMorph 4.0: Universal Morphology [104.69846084893298]
  本稿は,過去2年間のいくつかの前線における展開と改善について述べる。 多くの言語学者による共同作業により、30の絶滅危惧言語を含む67の新しい言語が追加された。 前回のUniMorphリリースに合わせて,16言語で形態素セグメンテーションを施したデータベースも拡張した。
  論文  参考訳（メタデータ） (2022-05-07T09:19:02Z)
• Morphology Without Borders: Clause-Level Morphological Annotation [8.559428282730021]
  形態学を単語レベルではなく節レベルの現象と考えることを提案する。 我々は,英語,ドイツ語,トルコ語,ヘブライ語という4つの類型的に異なる言語を対象として,節レベルの形態に関する新しいデータセットを提供する。 実験の結果,節レベルタスクは各単語レベルタスクよりも格段に難しいが,言語間では同等に複雑であることがわかった。
  論文  参考訳（メタデータ） (2022-02-25T17:20:28Z)
• A Massively Multilingual Analysis of Cross-linguality in Shared Embedding Space [61.18554842370824]
  言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。 我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。 我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
  論文  参考訳（メタデータ） (2021-09-13T21:05:37Z)
• Evaluating the Morphosyntactic Well-formedness of Generated Texts [88.20502652494521]
  L'AMBRE – テキストのモルフォシンタク的整形性を評価する指標を提案する。 形態的に豊かな言語に翻訳するシステムのダイアクロニックスタディを通じて,機械翻訳作業におけるメトリックの有効性を示す。
  論文  参考訳（メタデータ） (2021-03-30T18:02:58Z)
• Evaluating Transformer-Based Multilingual Text Classification [55.53547556060537]
  我々は,NLPツールが構文的・形態学的に異なる言語で不平等に機能すると主張している。 実験研究を支援するために,単語順と形態的類似度指標を算出した。
  論文  参考訳（メタデータ） (2020-04-29T03:34:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。