論文の概要: The Limits of BPE Tokenization in Polish: Segmentation-Flexional Forms, Grammatical Anchoring, and First-Person Stability in Inflectional Language Models

• arxiv url: http://arxiv.org/abs/2609.17553v1
• Date: Fri, 17 Jul 2026 17:51:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.553069
• Title: The Limits of BPE Tokenization in Polish: Segmentation-Flexional Forms, Grammatical Anchoring, and First-Person Stability in Inflectional Language Models
• Title（参考訳）: ポーランドにおけるBPEトークン化の限界--分割-柔軟性形式,文法的アンコリング,および屈折言語モデルにおける第一対安定性-
• Abstract要約: 周波数ベースのトークン化が言語学的に関連する単位を保存するかどうかを問う。 これには、診断語、子供の文章、プレアンブルからポーランド共和国憲法までの選択された形態、語族試験、ポーランド語の発音と鼻母音の例が含まれる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This article analyzes BPE tokenization in Polish as a test case for the limits of statistical segmentation in an inflectional language. It asks whether frequency-based tokenization preserves linguistically relevant units, including orthographic form, phonemic and syllabic segmentation, derivational structure, inflectional endings, grammatical form, and the speaking subject. The material includes diagnostic words, a children's text, selected forms from the Preamble to the Constitution of the Republic of Poland, word-family tests, and examples with Polish diacritics and nasal vowels. BPE tokenizers may produce segments that coincide with syllabic or morphologically interpretable divisions, but remain dependent on the frequency of written forms. They do not systematically map orthographic representation onto phonemic structure or context-dependent phonetic realization. The results show that BPE stabilizes frequent surface fragments of grammatical exponents rather than grammatical categories themselves. A form such as ustanawiamy is not merely a sequence ending in -y, but a verbal form anchored in conjugation, person, number, tense, mood, and aspect. The article develops the concept of grammatical form anchoring. In Polish, forms such as poszlam, zrobilam, or bylam can establish the position of the speaking subject without an explicit pronoun. In interaction with AI, this exposes a further problem: a language model does not possess a stable grammatical "I", but reconstructs it contextually and may mirror the user's forms or shift grammatical gender. Roclawski's segmentation-flexional forms are proposed as a diagnostic framework for evaluating tokenization boundaries. More stable modeling of Polish may require sublexical stabilization, anchoring grammatical form in the inflectional system, representing sentence patterns and verbal valency, and maintaining the grammatical "I" in dialogue.
• Abstract（参考訳）: 本稿では、ポーランド語におけるBPEトークン化を、屈折言語における統計的セグメンテーションの限界のテストケースとして分析する。 周波数ベースのトークン化は、正書法形式、音韻・音節区分、導出構造、屈折終末、文法形式、話し対象など、言語学的に関係のある単位を保存するかどうかを問う。 この資料には、診断語、子供の文章、プレアンブルからポーランド共和国憲法までの選択された形態、語族試験、ポーランド語の発音と鼻母音の例が含まれている。 BPEトークンーザは、音節的または形態学的に解釈可能な分割と一致するセグメントを生成することができるが、書面形式の頻度に依存している。 彼らは正書法表現を音韻構造や文脈依存の音韻認識に体系的にマッピングしない。 その結果, BPEは文法カテゴリー自体よりも, 文法指数の頻繁な表層断片を安定化させることがわかった。 ustanawiamyのような形式は、-yで終わる順序ではなく、活用、人、数、時制、ムード、アスペクトに固定された動詞形である。 この論文は文法形式アンカーの概念を発展させている。 ポーランド語では、poszlam、zrobilam、bylamのような形は、明示的な代名詞なしで話し手の位置を確立することができる。 言語モデルは安定した文法的"I"を持っていないが、それを文脈的に再構成し、ユーザのフォームを反映したり、文法的性別をシフトしたりすることができる。 トークン化境界を評価するための診断フレームワークとして,Roclawskiのセグメンテーション-柔軟性形式が提案されている。 ポーランド語のより安定したモデリングには、亜語彙の安定化、インフレクショナル・システムにおける文法的な形態の固定、文のパターンと動詞の価度を表現すること、対話における文法的な「I」を維持することが必要である。

関連論文リスト

• Does Syntax Matter? A Graph-Augmented Variational Topic Model for Computational Social Sciences [51.56484100374058]
  本稿では、構文依存関係をトピック推論に組み込んだアーキテクチャである、構造的文脈確率的トピックモデル(SCPTM)を紹介する。 本研究では,レジスタ構造と談話構造が異なる4つのコーパスのトピックモデリング手法について検討した。 その結果, SCPTMのニューラルアーキテクチャは, 生成的ベースラインよりも文書・トピックアライメントが著しく向上していることが示唆された。
  論文  参考訳（メタデータ） (2026-09-07T17:39:06Z)
• Linear representations of grammaticality in neural language models [7.771160777932259]
  ニューラルネットワークモデルの内部表現において文法性が符号化されているかを検討する。 この結果から, 文法性は, 幅広い事前学習NLMの文表現に強固に符号化されていることを示す。
  論文  参考訳（メタデータ） (2026-07-16T16:23:56Z)
• IDIOLEX: Unified and Continuous Representations for Idiolectal and Stylistic Variation [88.98544786373212]
  既存の文表現は主に、その表現方法ではなく、ある文が何を言っているかを符号化する。 本研究は,意味内容から分離したスタイルと方言をキャプチャする文表現を開発する。 IDIOLEX(IDIOLEX)は,文の証明から文の内容の言語的特徴までを統括するモデルを訓練するためのフレームワークである。
  論文  参考訳（メタデータ） (2026-04-06T14:17:24Z)
• Grammaticality Judgments in Humans and Language Models: Revisiting Generative Grammar with LLMs [0.0]
  伝統的な生成文法では、主語・副詞の逆転や寄生的ギャップのライセンスのような文法性の体系的なコントラストが、内部的、階層的な文法の証拠として扱われる。 表面形状のみを訓練した大規模言語モデル(LLM)が,これらのコントラストを基礎となる構造表現を再現するかどうかを検証した。
  論文  参考訳（メタデータ） (2025-12-11T09:17:35Z)
• The Learning Dynamics of Subword Segmentation for Morphologically Diverse Languages [11.09360259927697]
  サブワードセグメント言語モデル(SSLM)を拡張して,事前学習と微調整をサポートする。 形態素スペクトルにまたがる学習のダイナミクスを研究するために,3つの類型的多様言語のためのモデルを訓練する。 形態学的に複雑なisi-Xhosaが不安定である4段階のサブワード学習を同定した。
  論文  参考訳（メタデータ） (2025-11-12T10:52:33Z)
• Languages in Multilingual Speech Foundation Models Align Both Phonetically and Semantically [58.019484208091534]
  事前訓練された言語モデル(LM)における言語間アライメントは、テキストベースのLMの効率的な転送を可能にしている。 テキストに基づく言語間アライメントの発見と手法が音声に適用されるかどうかについては、未解決のままである。
  論文  参考訳（メタデータ） (2025-05-26T07:21:20Z)
• Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language Modelling [70.23876429382969]
  本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。 ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。 また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
  論文  参考訳（メタデータ） (2023-07-16T15:18:25Z)
• A Massively Multilingual Analysis of Cross-linguality in Shared Embedding Space [61.18554842370824]
  言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。 我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。 我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
  論文  参考訳（メタデータ） (2021-09-13T21:05:37Z)
• Deep Subjecthood: Higher-Order Grammatical Features in Multilingual BERT [7.057643880514415]
  MBERT(Multilingual BERT)が文法をエンコードするには,複数言語の埋め込み空間にまたがるモルフォシンタクティックアライメントの高次文法的特徴がどのように現れるかを検討する。
  論文  参考訳（メタデータ） (2021-01-26T19:21:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。