論文の概要: A Pilot Study of Autocompleting Tokenizers

• arxiv url: http://arxiv.org/abs/2608.15080v1
• Date: Sat, 15 Aug 2026 06:56:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.180387
• Title: A Pilot Study of Autocompleting Tokenizers
• Title（参考訳）: 自動コンプリートトケナイザの試験的検討
• Abstract要約: 同様の方法でTransformer入力を圧縮できるかどうかを検討する。 バイトレベルのトークン化は、サブワードトークン化に代わる単純で言語に依存しない代替手段を提供する。 本稿では,軽量な自己回帰型バイト言語モデルを用いた圧縮方式を提案する。
• 参考スコア（独自算出の注目度）: 1.9766522384767224
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern input methods routinely rely on autocomplete to omit information that can be recovered from local context. Inspired by these autocomplete-assisted writing systems, we investigate whether Transformer inputs can be compressed in a similar manner. Byte-level tokenization offers a simple and language-independent alternative to subword tokenization, but its longer input sequences typically result in increased computational cost and reduced model quality. We propose a compression scheme that employs a lightweight autoregressive byte language model to identify and remove bytes that are easily predictable from their surrounding context before Transformer processing. The resulting compressed representation is then provided as input to a standard encoder--decoder Transformer. Experiments on machine translation show that a substantial fraction of source-language bytes can be omitted without degrading translation quality. On English--French, our best method preserves translation performance while reducing source sequence length by nearly one-third. Additional experiments on Finnish--English, Russian--English, and Chinese--English demonstrate that the approach generalizes across diverse writing systems and morphological typologies, yielding comparable or improved translation quality at compression ratios between 0.47 and 0.67. These findings suggest that many input bytes are predictable enough to be represented implicitly rather than explicitly, providing a simple mechanism for reducing the sequence-length overhead associated with byte-level models.
• Abstract（参考訳）: 現代の入力メソッドは、ローカルコンテキストから復元できる情報の省略に、通常、オートコンプリートに依存する。 これらの自動完全支援書込みシステムに触発されて、トランスフォーマーの入力が同様の方法で圧縮できるかどうかを考察する。 バイトレベルのトークン化は、サブワードトークン化に代わる単純で言語に依存しない代替手段を提供するが、その長い入力シーケンスは一般的に計算コストの増大とモデル品質の低下をもたらす。 本稿では,トランスフォーマー処理の前に周辺環境から容易に予測可能なバイトを識別・削除するために,軽量な自己回帰型バイト言語モデルを用いた圧縮手法を提案する。 圧縮された表現は、標準エンコーダ-デコーダ変換器への入力として提供される。 機械翻訳の実験では、翻訳品質を劣化させることなく、相当量のソース言語バイトを省略できることが示されている。 英語-フランス語では、ソースシーケンス長を3分の1近く減らしながら、翻訳性能を最善に維持する。 フィンランド語、ロシア語、中国語に関する追加の実験では、この手法が様々な書記系や形態学の型をまたいで一般化し、0.47から0.67の圧縮比で翻訳品質を同等または改善することを示した。 これらの結果は、多くの入力バイトが明示的にではなく暗黙的に表現できるほど予測可能であることを示唆し、バイトレベルのモデルに付随するシーケンス長オーバーヘッドを減らすための単純なメカニズムを提供する。

関連論文リスト

• Proxy Compression for Language Modeling [58.904023114033954]
  プロキシ圧縮は、圧縮された入力の効率性を維持する代替のトレーニングスキームである。 コード言語モデリングの実験では、プロキシ圧縮がトレーニング効率を大幅に向上することを示した。 モデルスケールが大きくなるにつれて、プロキシトレーニングされたモデルは最終的に一致するか、あるいは競合するトークン化アルゴリズムのアプローチになる。
  論文  参考訳（メタデータ） (2026-02-04T07:36:46Z)
• Transformers from Compressed Representations [74.48571451824569]
  TEMPEST (TransformErs froM comPressed rEpreSenTations) は、圧縮されたファイルのバイトストリーム構造を利用して効果的なトークン化と符号化戦略を設計する手法である。 本提案では,意味分類に必要なトークン数を大幅に削減し,計算複雑性とメモリ使用量の両方を削減する。
  論文  参考訳（メタデータ） (2025-10-26T13:48:03Z)
• Adapting Language Models to Compress Contexts [71.98287002918941]
  トランスフォーマーベースの言語モデル(LM)は強力で広く適用可能なツールであるが、その有用性は有限コンテキストウィンドウによって制限される。 本稿では,事前学習したLMを,長いコンテキストをコンパクトな要約ベクトルに圧縮可能なAutoCompressorに適応させることを提案する。 最大30,720個のトークンのシーケンスでOPTとLlama-2モデルを微調整し、AutoCompressorが長いコンテキストを使ってパープレキシティを向上できることを示す。
  論文  参考訳（メタデータ） (2023-05-24T06:42:44Z)
• Online Gesture Recognition using Transformer and Natural Language Processing [0.0]
  トランスフォーマーアーキテクチャは、自然言語文のグリフストロークに対応するオンラインジェスチャーのための強力なマシンフレームワークを提供する。 トランスフォーマーアーキテクチャは、自然言語文のグリフストロークに対応するオンラインジェスチャーのための強力なマシンフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-05-05T10:17:22Z)
• Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
  我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。 我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。 本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
  論文  参考訳（メタデータ） (2021-08-31T19:39:55Z)
• Text Compression-aided Transformer Encoding [77.16960983003271]
  本稿では,トランスフォーマーのエンコーディングを強化するために,明示的で暗黙的なテキスト圧縮手法を提案する。 バックボーン情報、つまり入力テキストのgistは、特に焦点を当てていません。 評価の結果,提案した明示的かつ暗黙的なテキスト圧縮手法は,強いベースラインと比較して結果を改善することがわかった。
  論文  参考訳（メタデータ） (2021-02-11T11:28:39Z)
• Neural Machine Translation without Embeddings [44.129310924201604]
  多くのNLPモデルは、手作りのトークン化規則とサブワード誘導アルゴリズムによって生成されるサブワードトークンのシーケンス上で動作する。 単純な普遍的な代替手段は、すべてのコンピュータ化されたテキストを8バイトのバイト列として表現することである。 英語から10の異なる言語へのバイトバイト機械翻訳の実験では、BLEUの一貫性が向上し、文字レベルや標準のサブワードレベルモデルに匹敵する結果となった。
  論文  参考訳（メタデータ） (2020-08-21T09:54:11Z)
• Stacked DeBERT: All Attention in Incomplete Data for Text Classification [8.900866276512364]
  変換器から双方向表現を重畳するスタックドデノナイズ(Stacked Denoising Bidirectional Representations)を提案する。 本モデルでは, 感情や意図の分類作業において, 音声テキスト誤りのあるツイートやテキストに現れる非公式/不正テキストにおいて, F1スコアが向上し, 堅牢性が向上したことを示す。
  論文  参考訳（メタデータ） (2020-01-01T04:49:23Z)
• Explicit Sentence Compression for Neural Machine Translation [110.98786673598016]
  State-of-the-the-art Transformer-based Neural Machine Translation (NMT)システムはまだ標準のエンコーダデコーダフレームワークに従っている。 バックボーン情報は 文のギストを表すもので 具体的には 焦点を絞っていません 提案手法は,NMTのソース文表現を強化するための明示的な文圧縮手法である。
  論文  参考訳（メタデータ） (2019-12-27T04:14:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。