論文の概要: Tokenization Constraints in LLMs: A Study of Symbolic and Arithmetic Reasoning Limits

• arxiv url: http://arxiv.org/abs/2505.14178v1
• Date: Tue, 20 May 2025 10:32:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:53.067828
• Title: Tokenization Constraints in LLMs: A Study of Symbolic and Arithmetic Reasoning Limits
• Title（参考訳）: LLMにおけるトークン化制約--シンボリックおよび算術的推論限界の検討
• Authors: Xiang Zhang, Juntai Cao, Jiaqi Wei, Yiwei Xu, Chenyu You,
• Abstract要約: トークン化は、言語モデルにおける最初の、そしてしばしば過小評価される計算層である。 このような推論の成功は、トークン化された入力の構造によって根本的に境界づけられていることを示す。
• 参考スコア（独自算出の注目度）: 15.941209553757274
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tokenization is the first - and often underappreciated - layer of computation in language models. While Chain-of-Thought (CoT) prompting enables transformer models to approximate recurrent computation by externalizing intermediate steps, we show that the success of such reasoning is fundamentally bounded by the structure of tokenized inputs. This work presents a theoretical and empirical investigation into how tokenization schemes, particularly subword-based methods like byte-pair encoding (BPE), impede symbolic computation by merging or obscuring atomic reasoning units. We introduce the notion of Token Awareness to formalize how poor token granularity disrupts logical alignment and prevents models from generalizing symbolic procedures. Through systematic evaluation on arithmetic and symbolic tasks, we demonstrate that token structure dramatically affect reasoning performance, causing failure even with CoT, while atomically-aligned formats unlock strong generalization, allowing small models (e.g., GPT-4o-mini) to outperform larger systems (e.g., o1) in structured reasoning. Our findings reveal that symbolic reasoning ability in LLMs is not purely architectural, but deeply conditioned on token-level representations.
• Abstract（参考訳）: トークン化は、言語モデルにおける最初の、そしてしばしば過小評価される計算層である。 CoT(Chain-of-Thought)プロンプトにより、中間ステップの外部化によってトランスフォーマーモデルが逐次計算を近似できるが、このような推論の成功はトークン化された入力の構造によって根本的に境界づけられていることを示す。 この研究は、トークン化スキーム、特にバイトペアエンコーディング(BPE)のようなサブワードベースの手法が、原子推論ユニットをマージまたは隠蔽することによってシンボル計算を妨げているかに関する理論的および実証的な研究を示す。 本稿では,トークンの粒度の粗さが論理的アライメントを損なうことを形式化し,モデルが記号的手続きを一般化するのを防ぐために,トークン認識の概念を導入する。 算術的および記号的タスクの体系的評価により、トークン構造が推論性能に劇的に影響し、CoTでも失敗することを示したが、原子的に整列されたフォーマットは強力な一般化を解き、小さなモデル(例: GPT-4o-mini)は構造化された推論においてより大きなシステム(例: o1)より優れることを示した。 その結果, LLMにおける記号的推論能力は, 純粋に構造的ではなく, トークンレベルの表現に深く依存していることが判明した。

関連論文リスト

• PixelThink: Towards Efficient Chain-of-Pixel Reasoning [70.32510083790069]
  PixelThinkは、外部から推定されるタスクの難しさと内部で測定されたモデルの不確実性を統合する、シンプルで効果的なスキームである。 シーンの複雑さと予測信頼度に応じて推論の長さを圧縮することを学ぶ。 実験により,提案手法は推論効率と全体セグメンテーション性能の両方を改善した。
  論文  参考訳（メタデータ） (2025-05-29T17:55:49Z)
• Benchmarking Abstract and Reasoning Abilities Through A Theoretical Perspective [59.7140089198992]
  抽象的推論を本質的なパターンを抽出する能力として定義する数学的枠組みを開発する。 基本的な推論精度を計測する(scoreGamma)と、特定のシンボルに依存するモデルの定量化(scoreDelta)である。
  論文  参考訳（メタデータ） (2025-05-28T09:02:45Z)
• Enhancing Logical Reasoning in Language Models via Symbolically-Guided Monte Carlo Process Supervision [38.592071445554836]
  大規模言語モデル(LLM)は、数学的および論理的推論ベンチマークにおいて有望な性能を示している。 LLMは内容のバリエーションに影響を受けやすいため、その推論プロセスをサポートする堅牢な象徴的抽象化が欠如していることが示される。 既存のアプローチでは、信頼性とスケーラブルな検証メカニズムの開発に関わる課題のために、シンボル表現を効果的に活用できない。
  論文  参考訳（メタデータ） (2025-05-26T18:06:39Z)
• I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
  大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。 本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T01:21:17Z)
• Improving Chain-of-Thought Reasoning via Quasi-Symbolic Abstractions [45.950841507164064]
  CoT(Chain-of-Though)は、大規模言語モデルにおける推論のための一般的な戦略である。 準シンボリックな説明を通じて,LLMを高レベルの抽象化で動作させる,CoTのバリエーションであるQuaSARを提案する。 実験の結果,準記号的抽象化はCoT法を最大8%精度で改善できることがわかった。
  論文  参考訳（メタデータ） (2025-02-18T07:58:48Z)
• Efficient Reasoning with Hidden Thinking [48.96945580741641]
  CoT(Chain-of-Thought)推論は、複雑な問題解決能力を改善するための強力なフレームワークになっています。 我々は,隠された潜在空間におけるCoTの推論を利用した効率的な推論フレームワークであるtextbfHeima$(隠されたラマとして)を提案する。 ハイマモデルは、ゼロショットタスクの精度を維持しつつ、より高い生成効率を達成する。
  論文  参考訳（メタデータ） (2025-01-31T15:10:29Z)
• On the Diagram of Thought [12.304069891580658]
  現在の大規模言語モデル(LLM)は印象的な能力を示しているが、複雑な多段階推論タスクに苦労している。 1つの自己回帰型LCMが内部で構成し、DAG(Directed Acyclic Graph)をナビゲートするフレームワークとして、Diagram of Thought(DoT)を紹介した。 本研究は,適切なトポ内の図式として推論DAGを定式化し,検証された情報を集約する最終段階が関連するサブダイアグラムのコリミットの計算に意味的に対応していることを証明する。
  論文  参考訳（メタデータ） (2024-09-16T07:01:41Z)
• The Foundations of Tokenization: Statistical and Computational Concerns [51.370165245628975]
  トークン化は、NLPパイプラインにおける重要なステップである。 NLPにおける標準表現法としての重要性は認識されているが、トークン化の理論的基盤はまだ完全には理解されていない。 本稿では,トークン化モデルの表現と解析のための統一的な形式的枠組みを提案することによって,この理論的ギャップに対処することに貢献している。
  論文  参考訳（メタデータ） (2024-07-16T11:12:28Z)
• LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and Reasoning [73.98142349171552]
  LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。 ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。 これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
  論文  参考訳（メタデータ） (2023-09-24T05:43:19Z)
• Evaluating Step-by-Step Reasoning through Symbolic Verification [20.156768135017007]
  事前学習言語モデル(LM)は、文脈内学習において顕著な推論性能を示した。 LMLPは、より小さなモデルサイズであっても、長さの一般化ベンチマークにおいて、チェーン・オブ・ソート(CoT)よりも25%以上精度が高い。
  論文  参考訳（メタデータ） (2022-12-16T19:30:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。