論文の概要: Rate-Utility Frontiers for Language Encodings: Comparing Tokens, Bytes, and Pixels Under Controlled Linguistic Content

• arxiv url: http://arxiv.org/abs/2607.16117v1
• Date: Fri, 17 Jul 2026 16:55:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 17:56:52.911445
• Title: Rate-Utility Frontiers for Language Encodings: Comparing Tokens, Bytes, and Pixels Under Controlled Linguistic Content
• Title（参考訳）: 言語符号化のための利率ユーティリティフロンティア:制御言語コンテンツにおけるトークン,バイト,ピクセルの比較
• Abstract要約: コンテントとダウンストリーム容量の両方が制御されている場合、各エンコーディングはどのように保存されるのかを問う。 13言語と5つのスクリプトで検証された並列文を使用して、トークン、バイト、ピクセルを共有ボトルネックを通じて比較する。 表面形状保存,言語間文アライメント,話題分類の3つのユーティリティを評価した。
• 参考スコア（独自算出の注目度）: 11.09559407806515
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models encode text as subword tokens, raw bytes, or rendered pixels, but these encodings are usually compared under modeling constraints that expose different amounts of linguistic content to models across different languages. We instead ask what each encoding preserves when both the content and the downstream capacity are controlled. Using verified parallel sentences across thirteen languages and five scripts, we compare tokens, bytes, and pixels through a shared bottleneck whose width is swept to trace rate-utility frontiers. This separates three quantities that are often conflated: the number of input positions an encoding creates, the latent capacity available after encoding, and the task-relevant information that survives compression. We evaluate three utilities: surface form preservation, cross-lingual sentence alignment, and topic classification. No encoding dominates across tasks or capacity regimes. Pixels preserve surface form best, bytes preserve cross-lingual alignment best, especially in same-script multilingual settings, and tokens support topic prediction best. These performances are not explained by sequence length alone. Short inputs can discard useful meaning, while long inputs can preserve information that compresses well. Choosing an encoding is therefore not a fixed preference for tokens, bytes, or pixels, but a rate-utility tradeoff that depends on the task, language mix, capacity regime, and compute budget.
• Abstract（参考訳）: 言語モデルは、テキストをサブワードトークン、生バイト、またはレンダリングピクセルとしてエンコードするが、これらのエンコーディングは通常、異なる言語間のモデルに異なる量の言語コンテンツを露出するモデリング制約の下で比較される。 代わりに、コンテントとダウンストリームキャパシティの両方が制御されたときに、各エンコーディングが保持する内容について尋ねる。 13の言語と5つのスクリプトで検証された並列文を使用して、トークン、バイト、ピクセルを比較し、その幅がトレースレートユーティリティフロンティアに制限された共有ボトルネックを通して比較する。 エンコーディングが生成する入力位置の数、エンコーディング後に利用可能な潜在能力、圧縮を生き残るタスク関連情報である。 表面形状保存,言語間文アライメント,話題分類の3つのユーティリティを評価した。 エンコーディングはタスクやキャパシティ・レシスタンスにまたがって支配的ではない。 ピクセルは表面形状を最良に保ち、バイトは言語間アライメントを最良に保ち、特に同文の多言語設定で、トークンはトピック予測を最良にサポートする。 これらのパフォーマンスはシーケンス長だけでは説明できない。 短い入力は有用な意味を捨てることができ、長い入力はよく圧縮される情報を保存することができる。 したがって、エンコーディングを選択することはトークン、バイト、ピクセルの固定された好みではなく、タスク、言語混合、キャパシティ・レシエーション、計算予算に依存するレートユーティリティ・トレードオフである。

関連論文リスト

• See the Text: From Tokenization to Visual Reading [63.10220471118435]
  SeeTokはテキストを画像(ビジュアルテキスト)としてレンダリングし、事前訓練されたマルチモーダル計算を利用して解釈する。 3つの異なる言語タスクの中で、SeeeTokはサブワードトークンをマッチまたはオーバーし、トークンを4.43倍少なくし、FLOPを70.5%削減する。 SeeTokは、象徴的なトークン化から人間のような視覚的な読み方へとシフトし、より自然で認知的にインスパイアされた言語モデルへと一歩前進する。
  論文  参考訳（メタデータ） (2025-10-21T17:34:48Z)
• HiTVideo: Hierarchical Tokenizers for Enhancing Text-to-Video Generation with Autoregressive Large Language Models [63.65066762436074]
  HiTVideoは、テキストからビデオ生成タスクにおける既存のビデオトークンの潜在的な制限を解決することを目的としている。 マルチレイヤの離散トークンフレームワークを備えた3D因果VAEを使用し、ビデオコンテンツを階層的に構造化されたコードブックにエンコードする。
  論文  参考訳（メタデータ） (2025-03-14T15:36:39Z)
• Beyond Literal Token Overlap: Token Alignability for Multilinguality [53.680462160878925]
  我々は,多言語トークン化の効果と品質を理解する新しい方法として,サブワードトークン整合性を提案する。 特に、この指標は、スクリプトが異なっており、リテラルトークンの重複が低い場合、多言語性を予測する。 言語間移動のための最適な言語ペアを特定するために,我々のサブワードトークン整合性指標を推奨する。
  論文  参考訳（メタデータ） (2025-02-10T13:50:12Z)
• T2S-GPT: Dynamic Vector Quantization for Autoregressive Sign Language Production from Text [59.57676466961787]
  本稿では,手話における情報密度に基づいて符号化長を調整できる新しい動的ベクトル量子化(DVA-VAE)モデルを提案する。 PHOENIX14Tデータセットを用いて実験を行い,提案手法の有効性を示した。 我々は,486時間の手話ビデオ,音声,文字起こしテキストを含むドイツ語手話データセットPHOENIX-Newsを提案する。
  論文  参考訳（メタデータ） (2024-06-11T10:06:53Z)
• MYTE: Morphology-Driven Byte Encoding for Better and Fairer Multilingual Language Modeling [70.34758460372629]
  多様な言語にまたがる一貫した大きさのセグメントで同一情報をエンコードする新しいパラダイムを導入する。 MYTEは99の言語すべてに対して短いエンコーディングを生成する。 これにより、多言語LMの性能が向上し、多言語間でのパープレキシティギャップが減少する。
  論文  参考訳（メタデータ） (2024-03-15T21:21:11Z)
• Learn Your Tokens: Word-Pooled Tokenization for Language Modeling [11.40976202290724]
  言語モデルは典型的には、トークンを長い文字列に組み合わせた決定論的手作業で、テキストをサブワードにトークン化する。 最近のコンテクスト長の圧縮と制限の試みは,単語境界を完全に無視するが有用である。 本稿では,単語境界を利用して単語表現にバイト/文字をプールする「学習する」方式について考察する。
  論文  参考訳（メタデータ） (2023-10-17T23:34:39Z)
• Byte Pair Encoding for Symbolic Music [0.0]
  Byte Pair 埋め込みは語彙サイズを増大させながらシーケンス長を著しく減少させる。 我々は、より表現力のあるトークンでそのようなモデルの埋め込み能力を活用し、その結果、より優れた結果と、生成および分類タスクにおける高速な推論の両方をもたらす。 ソースコードはGithubと同伴のウェブサイトで共有されている。
  論文  参考訳（メタデータ） (2023-01-27T20:22:18Z)
• Generalized Decoding for Pixel, Image, and Language [197.85760901840177]
  画素レベルのセグメンテーションと言語トークンをシームレスに予測できる一般化デコードモデルであるX-Decoderを提案する。 X-Decoderは、すべてのタイプのイメージセグメンテーションと様々な視覚言語(VL)タスクをサポートする統一された方法を提供する最初の作品である。
  論文  参考訳（メタデータ） (2022-12-21T18:58:41Z)
• Local Byte Fusion for Neural Machine Translation [19.16966721276286]
  サブワードトークン化スキームは、現在のNLPモデルで使用される主要なテクニックである。 バイトベースのメソッド、すなわちバイトシーケンスへのトークン化は代替手段である。 多言語翻訳、ゼロショット交叉変換、ドメイン適応の実験は、従来のモデルよりも一貫した改善を示している。
  論文  参考訳（メタデータ） (2022-05-23T17:49:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。