論文の概要: Word Recovery in Large Language Models Enables Character-Level Tokenization Robustness

• arxiv url: http://arxiv.org/abs/2603.10771v1
• Date: Wed, 11 Mar 2026 13:49:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-12 16:22:32.971064
• Title: Word Recovery in Large Language Models Enables Character-Level Tokenization Robustness
• Title（参考訳）: 文字レベルトークン化ロバスト性を実現する大言語モデルの単語復元
• Abstract要約: 標準トークン化で訓練された大言語モデル(LLM)は、文字レベルのトークン化のような非標準入力に対して驚くほど堅牢である。 まず,隠れ状態が文字レベルの入力から正規語レベルのトークンIDを再構成することを示す。 次に,隠れ状態から対応する部分空間を取り除き,ダウンストリームタスク性能を継続的に低下させることで因果的エビデンスを提供する。
• 参考スコア（独自算出の注目度）: 17.9020546439403
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) trained with canonical tokenization exhibit surprising robustness to non-canonical inputs such as character-level tokenization, yet the mechanisms underlying this robustness remain unclear. We study this phenomenon through mechanistic interpretability and identify a core process we term word recovery. We first introduce a decoding-based method to detect word recovery, showing that hidden states reconstruct canonical word-level token identities from character-level inputs. We then provide causal evidence by removing the corresponding subspace from hidden states, which consistently degrades downstream task performance. Finally, we conduct a fine-grained attention analysis and show that in-group attention among characters belonging to the same canonical token is critical for word recovery: masking such attention in early layers substantially reduces both recovery scores and task performance. Together, our findings provide a mechanistic explanation for tokenization robustness and identify word recovery as a key mechanism enabling LLMs to process character-level inputs.
• Abstract（参考訳）: 標準トークン化で訓練された大規模言語モデル(LLM)は、文字レベルのトークン化のような非標準的な入力に対して驚くほど堅牢性を示すが、この堅牢性の基礎となるメカニズムは未だ不明である。 我々は,この現象を機械的解釈可能性を通じて研究し,単語回復というコアプロセスを特定する。 まず,隠れ状態が文字レベルの入力から正規語レベルのトークンIDを再構成することを示す。 次に,隠れ状態から対応する部分空間を取り除き,ダウンストリームタスク性能を継続的に低下させることで因果的エビデンスを提供する。 最後に,同じ標準トークンに属するキャラクタ間のグループ内注意が単語の回復に重要であることを示す,詳細な注意分析を行い,初期層におけるそのような注意を隠蔽することで,回復スコアとタスクパフォーマンスの両面で著しく低下することを示す。 そこで本研究では,LLMが文字レベルの入力を処理するための重要なメカニズムとして,トークン化の堅牢性について機械論的に説明し,単語の回復を同定する。

関連論文リスト

• Weave of Formal Thought [51.56484100374058]
  WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。 本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。 Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
  論文  参考訳（メタデータ） (2026-06-24T15:58:11Z)
• Towards Benchmarking Design Pattern Detection Under Obfuscation: Reproducing and Evaluating Attention-Based Detection Method [2.1843439591862333]
  学習型分類器を用いた注意型デザインパターン検出手法DPDAttを再現し,その性能評価を行う。 以上の結果から,これらの訓練された分類器は表面的構文的特徴に大きく依存していることが判明した。 この作業は、ソースコードのより深い意味をキャプチャできる、より堅牢な検出ツールの必要性を強調している。
  論文  参考訳（メタデータ） (2025-12-08T06:10:34Z)
• Understanding Hardness of Vision-Language Compositionality from A Token-level Causal Lens [12.946160260124378]
  対照的な言語-イメージ 事前学習は強力なクロスモーダルな一般化をもたらす。 オブジェクト、属性、関係性に対する構成的推論では、永続的に失敗する。 完全モーダル不変アライメントを実現する擬似最適テキストエンコーダの存在を示す。
  論文  参考訳（メタデータ） (2025-10-30T09:41:21Z)
• Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
  ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。 文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。 右列桁のグルーピングは、大数の算術を+33%向上させる。
  論文  参考訳（メタデータ） (2025-06-23T18:02:26Z)
• "Principal Components" Enable A New Language of Images [79.45806370905775]
  証明可能なPCAのような構造を潜在トークン空間に組み込む新しい視覚トークン化フレームワークを導入する。 提案手法は、最先端の再構築性能を実現し、人間の視覚システムとの整合性を向上する。
  論文  参考訳（メタデータ） (2025-03-11T17:59:41Z)
• Enhancing LLM Character-Level Manipulation via Divide and Conquer [74.55804812450164]
  大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにまたがる強力な一般化機能を示している。 彼らは文字レベルの文字列操作において顕著な弱点を示し、文字削除、挿入、置換といった基本的な操作に苦労した。 本稿では,トークンレベルの処理と文字レベルの操作のギャップを埋める新しい手法であるDivide and Conquerによる文字レベル操作を提案する。
  論文  参考訳（メタデータ） (2025-02-12T07:37:39Z)
• Analyzing Cognitive Plausibility of Subword Tokenization [9.510439539246846]
  サブワードトークン化はトークン化のデファクトスタンダードになっている。 本稿では,サブワードトークン化の認知的妥当性に着目した新しい評価パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-20T08:25:37Z)
• Tram: A Token-level Retrieval-augmented Mechanism for Source Code Summarization [76.57699934689468]
  ニューラルモデルの性能を高めるために,デコーダ側で詳細なTokenレベル検索強化機構(Tram)を提案する。 文脈的コードセマンティクスの取得におけるトークンレベルの検索の課題を克服するために,コードセマンティクスを個々の要約トークンに統合することを提案する。
  論文  参考訳（メタデータ） (2023-05-18T16:02:04Z)
• Towards preserving word order importance through Forced Invalidation [80.33036864442182]
  事前学習された言語モデルは単語の順序に敏感であることを示す。 我々は,単語順序の重要性を維持するために強制的無効化を提案する。 実験の結果,強制的無効化は単語順に対するモデルの感度を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-04-11T13:42:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。