論文の概要: Using Letter Positional Probabilities to Assess French Word Complexity

• arxiv url: http://arxiv.org/abs/2610.28040v1
• Date: Tue, 20 Oct 2026 11:25:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.780767
• Title: Using Letter Positional Probabilities to Assess French Word Complexity
• Title（参考訳）: 字位確率を用いたフランス語単語の複雑度の評価
• Abstract要約: 簡単なフランス語単語と複雑なフランス語単語の違いを調べるために,LPP(Leter Positional Probabilities)を用いている。 単語の複雑さに関連するLPPが多数存在することが判明した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We use Letter Positional Probabilities (LPPs) to examine the orthographic differences between simple and complex French words. We draw from a sample of 38,000 French words scored by reaction time on a lexical decision task. We take the 5000 highest reaction time words and the 5000 lowest as a proxy for high and low word complexity groups respectively. We create 18 variables based on the structure of the words, such as length and number of syllables. We also reduce each word to a string of binary values by one-hot encoding each letter according to the 42 characters of the standard French alphabet up to a length of 25 letters. Thus, each word is represented by 42 x 25 binary characters. We then create LPPs by looking at the average binary scores for simple as opposed to complex words for all letter/positions. We find that there is a high number of LPPs that are associated with word complexity. For example, we find that most accented letters are associated with simpler words. We examine the effects of structural and LPP variables in classifiers and find that word length alone enables a classification accuracy of 77.27%, while adding the binary variables from the first 6 letter positions provided an accuracy of 83.95%. We discuss possible explanations as to how complexity could be encoded in orthography.
• Abstract（参考訳）: 簡単なフランス語単語と複雑なフランス語単語の正書法の違いを調べるために,LPP(Leter Positional Probabilities)を用いている。 我々は、語彙決定タスクにおいて、反応時間によって得られた38,000のフランス語の単語のサンプルから抽出する。 我々は,高語群と低語群の代名詞として,最高反応時間語5000語,最低反応時間語5000語とみなす。 単語の長さや音節数などの構造に基づいて18の変数を生成する。 また、標準フランス語アルファベットの42文字に従って、各文字を1ホット符号化することで、各単語を2進数列に減らし、最大25文字まで短縮する。 したがって、各単語は42×25のバイナリ文字で表される。 すると、すべての文字/位置の複雑な単語とは対照的に、平均二進数スコアをシンプルに調べてLPPを作成する。 単語の複雑さに関連するLPPが多数存在することが判明した。 例えば、ほとんどのアクセント付き文字は単純な単語に関連付けられている。 分類器における構造変数とLPP変数の影響を調べた結果,単語長だけで77.27%の分類精度が得られ,第1の6文字位置から2進変数を83.95%の精度で加えることができた。 我々は、いかに複雑さを正書法でエンコードできるかについて、可能な説明を議論する。

関連論文リスト

• SuperBPE: Space Travel for Language Models [103.09169510391972]
  我々は、単純なプリトークン化カリキュラムをバイトペア符号化(BPE)アルゴリズムに組み込んだ「スーパーワード」トークンライザ「SuperBPE」を導入する。 SuperBPEは、固定されたテキストを符号化し、平均してBPEよりもトークンが最大33%少ない。 我々のモデルは、30の下流タスクにわたるBPEベースラインに対して平均+4.0%の絶対的な改善を達成している。
  論文  参考訳（メタデータ） (2025-03-17T17:53:23Z)
• Using Letter Positional Probabilities to Assess Word Complexity [0.0]
  いくつかのLPPと複雑性の間には強い統計的関連性がある。 単純な単語はw, b, s, h, g, k, j, t, y, f で始まる傾向が著しく(p.001)、複雑な単語は i, a, e, r, v, u, d で始まる傾向が著しく(p.001)である。
  論文  参考訳（メタデータ） (2024-04-11T14:06:39Z)
• Linear-Time Modeling of Linguistic Structure: An Order-Theoretic Perspective [97.57162770792182]
  文字列内のトークンのペア間の関係をモデル化するタスクは、自然言語を理解する上で不可欠な部分である。 これらの徹底的な比較は避けられ、さらに、トークン間の関係を文字列上の部分順序としてキャストすることで、複雑さを線形に減らすことができる。 提案手法は,文字列中の各トークンの実際の数を並列に予測し,それに従ってトークンをソートすることで,文字列内のトークンの総順序を決定する。
  論文  参考訳（メタデータ） (2023-05-24T11:47:35Z)
• More Than Words: Collocation Tokenization for Latent Dirichlet Allocation Models [71.42030830910227]
  モデルが異なる環境でクラスタリングの品質を測定するための新しい指標を提案する。 マージトークンでトレーニングされたトピックは、マージされていないモデルよりも、より明確で、一貫性があり、トピックを区別する効果が高いトピックキーをもたらすことを示す。
  論文  参考訳（メタデータ） (2021-08-24T14:08:19Z)
• Phonotactic Complexity and its Trade-offs [73.10961848460613]
  この単純な測度により、言語間のエントロピーを比較することができる。 音素あたりのビット数と単語の平均長との間には-0.74の非常に強い負の相関関係を示す。
  論文  参考訳（メタデータ） (2020-05-07T21:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。