論文の概要: A Glyph Is Not a Letter, a Token Is Not a Word, a Space Is Not a Space: What the Units of Voynichese Are Not
- arxiv url: http://arxiv.org/abs/2608.17096v1
- Date: Mon, 17 Aug 2026 20:05:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.123
- Title: A Glyph Is Not a Letter, a Token Is Not a Word, a Space Is Not a Space: What the Units of Voynichese Are Not
- Title（参考訳）: グリフは手紙ではなく、トーケンは言葉ではなく、空間は空間ではない
- Abstract要約: 我々は、Voynichの原稿(Beinecke MS 408)を、一致した散文、暗号、擬似テキスト制御、クワイアレベルの再サンプリングで分析する。
ヴォイニチェの順序はトークンの端とそれらの間のグレードされた境界に置かれる。
公表されたVoynich-imitating暗号と自己励磁テキスト生成器はどちらも、校正置換攻撃による低エントロピー、単位スケール、弱いトークンオーダー、ヌル結果を再現する。
- 参考スコア（独自算出の注目度）: 45.88028371034407
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Voynich manuscript (Beinecke MS 408) is usually analysed on three unstated assumptions: that its glyphs are letters, that the strings between blanks are words, and that every blank is a word space. We test all three against the Zandbergen-Landini transliteration with matched prose, cipher, and pseudo-text controls and quire-level resampling. None holds, and the failures share a shape: the order in Voynichese sits at the edges of tokens and at graded boundaries between them, not in the succession of tokens themselves. Glyph regularity is too strong for one-to-one substitution of any tested plaintext (conditional entropy 2.7 bits against about 3.5 for Latin, Italian, and English) and resolves instead onto a quire-stable scale of recurrent multi-symbol units. Tokens form a plausible vocabulary, yet the identity of one token predicts the next by under 1% of token entropy, below every matched control (2-10%), while the glyphs at token edges share 0.2 bits of mutual information, more than in any prose control. Blanks fall into two regimes: the separators transcribers marked uncertain behave like word-internal junctures, are physically narrower on the page (AUC 0.905 from independent image coordinates, with the same sign in a small blind ink audit), and are crossed by learned units even when every space is erased before learning. This profile is also what discriminates. A published Voynich-imitating cipher and a self-citation text generator both reproduce the low entropy, the unit scale, the weak token order, and the null result of a calibrated substitution attack; neither reproduces the edge-glyph coupling or the open, hapax-rich vocabulary (70% singleton types against 41% and 59-60%). Any account of the manuscript must therefore earn, rather than assume, the step from glyphs, tokens, and separators to letters, words, and word spaces, and these are the measurements on which to do so.
- Abstract（参考訳）: ヴォイニッチ写本(Beinecke MS 408)は、通常、そのグリフは文字であり、空白間の文字列は単語であり、すべての空白はワード空間である、という3つの未定の仮定に基づいて分析される。
これら3つの文字を、一致した散文、暗号、擬似テキスト制御、クワイアレベル再サンプリングでZandbergen-Landini翻訳と比較する。
ヴォイニチェの順序はトークンの端とそれらの間のグレードされた境界にあり、トークン自体の継承ではない。
グリフ正則性は、テストされた平文(ラテン語、イタリア語、英語の3.5ビットに対して条件付きエントロピー2.7ビット)を1対1で置き換えるには強すぎて、代わりに連続する多重記号単位の安定なスケールに分解する。
トークンはもっともらしい語彙を形成するが、あるトークンの同一性は、一致するすべての制御(2-10%)より下のトークンエントロピーの1%以下で次のトークンを予測し、一方トークンエッジのグリフは、どの散文制御よりも0.2ビットの相互情報を共有している。
ブランクは2つの体制に分類される: 単語内部の接頭辞のように不確定な振る舞いを示すセパレータは、ページ上で物理的に狭くなり(独立した画像座標からAUC 0.905、小さなブラインドインク監査で同じ記号を持つ)、学習前にすべての空間が消去されたとしても、学習単位によって渡される。
このプロフィールも差別化されている。
公表されたVoynich-imitating暗号と自己励磁テキスト生成器は、校正置換攻撃による低エントロピー、単位スケール、弱いトークンオーダー、ヌル結果の両方を再現し、エッジグリフカップリングやオープンなハファックスリッチ語彙(シングルトンタイプが41%、59-60%)を再現しない。
したがって、写本のあらゆる説明は、グリフ、トークン、セパレータから文字、単語、単語空間へのステップを仮定するよりもむしろ、獲得しなければならない。
関連論文リスト
- Contrastive Projection: Reading Transformer Internals by Differencing Logit Lenses [0.0]
トレーニング不要のトレーサを使用して、すべての位置、サブレイヤ、ヘッド平均を読みます。
Phi-2の化合物-名詞->アテンション鎖を辿り、活性化パッチによって確認される。
現実と架空のエンティティの検索サーフェスを読み、ドメイン間マッピングの集合としてメタファーを読みます。
論文 参考訳（メタデータ） (2026-09-09T09:01:09Z) - Vowel Signs Are Not Letters: A Pre-tokenization Ceiling on Multilingual Tokenizer Fertility [0.0]
バグダスクリプトでは、母音は結合マークとして書かれており、このパターンは各母音記号でそれぞれの単語を分割する。
BPEはプレトーケン内でのみマージするため、これらの分割は語彙サイズやコーパス構成に関係なくトレーニングを通じて持続する。
平行コーパスから26の言語にまたがって、17のバグダのうち1つが影響を受けており、それらは1.47倍(チベット語)から9.02倍(タイ語)まで様々である。
5つの言語では、この文字クラスでのみ異なる一致するトークン化器ペアが予測フロアの2.2%以内に落ち、ネパール語では1語当たりのトークンが4.78、ネパール語では1.58である。
論文 参考訳（メタデータ） (2026-08-26T22:56:24Z) - Explicit Boundary Markers for Subword Vocabularies [12.858857146500414]
サブワードトークン化器は、スペース用途の書き込みシステムにおいて、多くの一般的な単語を2回表現する。
明示的な単語境界マーカーを用いた標準ホワイトスペース規則の代替を提案する。
論文 参考訳（メタデータ） (2026-08-09T18:16:51Z) - The Learning Objective Governs Perceptual Narrowing: A Cross-Lingual, Layer-Wise, Ten-Seed Study of Self-Supervised Speech Encoders [0.0]
子ども向け・読み上げ音声でトランスフォーマーエンコーダを訓練し、英語、フランス語、マンダリンの音素ABXを10種で評価する。
アーキテクチャではなく,目的が狭い形状の表現的変化の1次決定因子である,と結論付けている。
論文 参考訳（メタデータ） (2026-08-01T08:02:35Z) - Metaphor Tracer: A Theory-Informed Analysis of Hidden States [0.0]
1つのフォワードパスからトレーニングなしで、2つのプロパティですべてのトークン位置をスコア付けします。
aggregator*は、位置がテキスト全体を安定した構成に集約するかどうかを測定する。
differentiator* は、他のトークンがモデルが読み込むように、そのサブ空間に過渡的に変換されるかどうかを判断する。
論文 参考訳（メタデータ） (2026-07-30T16:12:13Z) - Are you going to finish that? A Practical Study of the Partial Token Problem [85.49816027251013]
言語モデル(LM)はトークンのシーケンスによって訓練されるが、ユーザはテキストを介してLMと対話する。
このミスマッチは、ユーザーが期待する次のトークンの途中でプロンプトを終了したときに発生する部分トークン問題を引き起こす。
この研究では、トークンと"ワード"境界がしばしば並んでいない3つのドメインを特定します。
論文 参考訳（メタデータ） (2026-01-30T17:47:16Z) - Levée d'ambiguïtés par grammaires locales [0.0]
本稿では、ゼロサイレントレートの目的に適応し、SilberzteinのINTEXシステム(1993)で実装された語彙的曖昧化手法について述べる。
本稿では,このフレームワークで局所的な曖昧さの文法を検証するためには,トランスデューサの経路を別々に考えるだけでは不十分であることを示す。
論文 参考訳（メタデータ） (2025-10-28T15:38:22Z) - TokenCLIP: Token-wise Prompt Learning for Zero-shot Anomaly Detection [62.95726973851089]
TokenCLIPは、異常学習のためのトークンワイド適応フレームワークである。
視覚的なテキスト空間と学習可能なテキスト空間の動的アライメントを可能にし、微粒な異常学習を実現する。
論文 参考訳（メタデータ） (2025-10-24T05:51:31Z) - Bukva: Russian Sign Language Alphabet [75.42794328290088]
本稿では,ロシア手話(RSL)ダクティルとしても知られる,ロシア語の指先文字の認識について検討する。
ダクティル (Dactyl) は手の動きが書かれた言語の個々の文字を表す手話の構成要素である。
当社は、RSLダクチル認識のための、最初の本格的なオープンソースビデオデータセットであるBakvaを提供している。
論文 参考訳（メタデータ） (2024-10-11T09:59:48Z) - Provably Secure Disambiguating Neural Linguistic Steganography [66.30965740387047]
サブワードに基づく言語モデルを使用する際に生じるセグメンテーションの曖昧さ問題は、時にはデコード障害を引き起こす。
そこで我々はSyncPoolという,セグメンテーションのあいまいさ問題に効果的に対処する,セキュアな曖昧さ回避手法を提案する。
SyncPoolは、候補プールのサイズやトークンの分布を変えないため、確実に安全な言語ステガノグラフィー手法に適用できる。
論文 参考訳（メタデータ） (2024-03-26T09:25:57Z) - Lexinvariant Language Models [84.2829117441298]
離散語彙記号から連続ベクトルへの写像であるトークン埋め込みは、任意の言語モデル(LM)の中心にある
我々は、語彙記号に不変であり、したがって実際に固定トークン埋め込みを必要としないテクスチトレキシン変種モデルについて研究する。
十分長い文脈を条件として,レキシン変項LMは標準言語モデルに匹敵する難易度が得られることを示す。
論文 参考訳（メタデータ） (2023-05-24T19:10:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。