論文の概要: See the Text: From Tokenization to Visual Reading

• arxiv url: http://arxiv.org/abs/2510.18840v1
• Date: Tue, 21 Oct 2025 17:34:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:14.03635
• Title: See the Text: From Tokenization to Visual Reading
• Title（参考訳）: テキスト:TokenizationからVisual Readingへ
• Authors: Ling Xing, Alex Jinpeng Wang, Rui Yan, Hongyu Qu, Zechao Li, Jinhui Tang,
• Abstract要約: SeeTokはテキストを画像(ビジュアルテキスト)としてレンダリングし、事前訓練されたマルチモーダル計算を利用して解釈する。 3つの異なる言語タスクの中で、SeeeTokはサブワードトークンをマッチまたはオーバーし、トークンを4.43倍少なくし、FLOPを70.5%削減する。 SeeTokは、象徴的なトークン化から人間のような視覚的な読み方へとシフトし、より自然で認知的にインスパイアされた言語モデルへと一歩前進する。
• 参考スコア（独自算出の注目度）: 63.10220471118435
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: People see text. Humans read by recognizing words as visual objects, including their shapes, layouts, and patterns, before connecting them to meaning, which enables us to handle typos, distorted fonts, and various scripts effectively. Modern large language models (LLMs), however, rely on subword tokenization, fragmenting text into pieces from a fixed vocabulary. While effective for high-resource languages, this approach over-segments low-resource languages, yielding long, linguistically meaningless sequences and inflating computation. In this work, we challenge this entrenched paradigm and move toward a vision-centric alternative. Our method, SeeTok, renders text as images (visual-text) and leverages pretrained multimodal LLMs to interpret them, reusing strong OCR and text-vision alignment abilities learned from large-scale multimodal training. Across three different language tasks, SeeTok matches or surpasses subword tokenizers while requiring 4.43 times fewer tokens and reducing FLOPs by 70.5%, with additional gains in cross-lingual generalization, robustness to typographic noise, and linguistic hierarchy. SeeTok signals a shift from symbolic tokenization to human-like visual reading, and takes a step toward more natural and cognitively inspired language models.
• Abstract（参考訳）: 人々はテキストを見ます。 人間は、字型、歪んだフォント、および様々なスクリプトを効果的に扱えるように、その形、レイアウト、パターンなどを含む、単語を視覚オブジェクトとして認識して読み取る。 しかし、現代の大きな言語モデル(LLM)はサブワードのトークン化に依存しており、テキストを固定語彙から断片化する。 高リソース言語には有効であるが、このアプローチは低リソース言語を過剰に分離し、長い言語的に意味のないシーケンスと膨らませる計算をもたらす。 この研究では、この定着したパラダイムに挑戦し、ビジョン中心の代替手段に向かっています。 提案手法であるSeeeTokは,テキストを画像(視覚テキスト)としてレンダリングし,事前学習したマルチモーダルLCMを用いて解釈し,大規模マルチモーダルトレーニングから学習した強力なOCRとテキストビジョンアライメント能力を再利用する。 3つの異なる言語タスクの中で、SeeeTokは4.43倍のトークンを減らし、FLOPを70.5%減らし、言語間の一般化、タイポグラフィーノイズに対する堅牢性、言語階層を増す。 SeeTokは、象徴的なトークン化から人間のような視覚的な読み方へとシフトし、より自然で認知的にインスパイアされた言語モデルへと一歩前進する。

関連論文リスト

• Parrot: Multilingual Visual Instruction Tuning [66.65963606552839]
  既存の手法では、視覚エンコーダを教師付き微調整(SFT)を介してMLLM(Multimodal Large Language Models)と整列させるのが一般的である。 言語レベルでの視覚的トークンアライメントにテキストガイダンスを活用する新しいアプローチであるPARROTを提案する。 我々は6言語、15カテゴリ、12,000の質問からなる新しいベンチマークであるMassive Multilingual Multimodal Benchmark (MMMB)を紹介する。
  論文  参考訳（メタデータ） (2024-06-04T17:56:28Z)
• Lexicon-Level Contrastive Visual-Grounding Improves Language Modeling [47.7950860342515]
  LexiContrastive Grounding (LCG)は、視覚的監督を利用してテキスト表現を改善する言語学習手法である。 LCGは学習効率において標準言語のみのモデルより優れている。 CLIP、GIT、Flamingo、Vokenizationなど、視覚と言語による学習手順を改善する。
  論文  参考訳（メタデータ） (2024-03-21T16:52:01Z)
• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization [52.935150075484074]
  非言語的なイメージを外国語のような個別のトークン列に変換するために、よく設計されたビジュアルトークン化器を導入する。 結果として得られる視覚トークンは、単語に相応しいハイレベルな意味論を含み、画像から変化する動的シーケンス長もサポートする。 この統合によりLaVITは、マルチモーダルコンテンツの理解と生成を同時に行うための印象的な汎用インターフェースとして機能する。
  論文  参考訳（メタデータ） (2023-09-09T03:01:38Z)
• Align before Fuse: Vision and Language Representation Learning with Momentum Distillation [52.40490994871753]
  本稿では,ALBEF (BEfore Fusing) の表現に対して,モーダルな注意を通したコントラスト的損失を導入する。 本研究では,運動量モデルで生成した擬似ターゲットから学習する自己学習法である運動量蒸留を提案する。 ALBEFは、複数の下流視覚言語タスクで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-07-16T00:19:22Z)
• Vokenization: Improving Language Understanding with Contextualized, Visual-Grounded Supervision [110.66085917826648]
  我々は,言語トークンを関連画像に文脈的にマッピングすることで,言語のみのデータに対するマルチモーダルアライメントを補間する手法を開発した。 語彙化」は比較的小さな画像キャプションデータセットに基づいて訓練され、それを大規模言語コーパスのための語彙生成に適用する。 これらの文脈的に生成された語彙を用いて学習し、視覚的に制御された言語モデルにより、複数の純粋言語タスクにおいて、自己教師による代替よりも一貫した改善が示される。
  論文  参考訳（メタデータ） (2020-10-14T02:11:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。