論文の概要: Toppling the Hierarchy in Byte-level Language Modeling

• arxiv url: http://arxiv.org/abs/2609.00463v1
• Date: Mon, 31 Aug 2026 23:11:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.125504
• Title: Toppling the Hierarchy in Byte-level Language Modeling
• Title（参考訳）: バイトレベルの言語モデリングにおける階層化
• Abstract要約: 最先端のバイトレベルモデルは階層構造を使用し、バイトレベルからワードレベルにダウンサンプリングし、バイトレベルに戻ります。 階層設計自体が文字レベルの理解を制限しており、純粋バイトレベルのモデルは文字操作タスクにおける階層的変異を一貫して上回っていることがわかった。 本研究では,階層型バイトモデルのキャラクタレベルの故障を解析し,計算効率と微粒化文字理解との明確なトレードオフを確立する。
• 参考スコア（独自算出の注目度）: 54.626578706811436
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work examines recent byte-level models and their failure to perfectly manipulate characters. State-of-the-art byte-level models use a hierarchical structure, starting at the byte level, downsampling to the word level, and then upsampling back to bytes. While this improves training and inference efficiency, we find that the hierarchical design itself limits character-level understanding, with pure byte-level models consistently outperforming hierarchical variants on character manipulation tasks. Ablating transformer layers into attention and feed-forward components further reveals that byte-level attention is the primary mechanism driving this behavior. Together, our results provide an explanation for the character-level failures of hierarchical byte models and establish a clear trade-off between computational efficiency and fine-grained character understanding.
• Abstract（参考訳）: 本研究は,最近のバイトレベルのモデルと文字の完全操作の失敗について検討する。 最先端のバイトレベルモデルは階層構造を使用し、バイトレベルからワードレベルにダウンサンプリングし、バイトレベルに戻ります。 これにより、トレーニングや推論効率が向上するが、階層設計自体が文字レベルの理解を制限し、純粋バイトレベルのモデルが文字操作タスクにおける階層的な変形を一貫して上回っていることが分かる。 変圧器層に注意を向け、フィードフォワード成分に注意を向けることにより、バイトレベルの注意がこの挙動を駆動する主要なメカニズムであることが明らかになった。 本研究では,階層型バイトモデルのキャラクタレベルの故障を解析し,計算効率と微粒化文字理解との明確なトレードオフを確立する。

関連論文リスト

• Synergy: End-to-end Concept Model [0.0]
  エンド・ツー・エンドの方法で異なるレベルの抽象化をブリッジする言語モデルであるSynergyを紹介します。 我々のモデルは自然にバイトをトークン化することを学び、バイトレベルのByte Pairトークンよりも少ない概念トークンを生成します。
  論文  参考訳（メタデータ） (2025-07-17T04:01:28Z)
• LayerCake: Token-Aware Contrastive Decoding within Large Language Model Layers [53.43862310647276]
  大規模言語モデル(LLM)は、自然言語の理解と生成に優れるが、事実の誤りに弱いままである。 本稿では,トークン型と最も影響力のあるトランスフォーマー層を整合させて実データ生成を改善する,トークン認識型コントラストデコーディング手法を提案する。 提案手法は追加のトレーニングやモデル修正を必要とせず,複数のLSMおよび各種ベンチマークの事実性を常に改善することを示す実験である。
  論文  参考訳（メタデータ） (2025-07-06T14:35:43Z)
• Enhancing LLM Character-Level Manipulation via Divide and Conquer [74.55804812450164]
  大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにまたがる強力な一般化機能を示している。 彼らは文字レベルの文字列操作において顕著な弱点を示し、文字削除、挿入、置換といった基本的な操作に苦労した。 本稿では,トークンレベルの処理と文字レベルの操作のギャップを埋める新しい手法であるDivide and Conquerによる文字レベル操作を提案する。
  論文  参考訳（メタデータ） (2025-02-12T07:37:39Z)
• Hierarchical Autoregressive Transformers: Combining Byte- and Word-Level Processing for Robust, Adaptable Language Models [3.382910438968506]
  トークン化は自然言語処理の基本的なステップであり、テキストを計算モデルが処理できる単位に分割する。 文字レベルと単語レベルの処理を組み合わせた自己回帰型言語モデリングのための階層的アーキテクチャについて検討する。 我々は、70億のパラメータをスケールして、階層変換器がサブワードトケナイザベースのモデルの下流タスク性能と一致することを実証する。
  論文  参考訳（メタデータ） (2025-01-17T17:51:53Z)
• Pushdown Layers: Encoding Recursive Structure in Transformer Language Models [86.75729087623259]
  再帰は人間の言語の特徴であり、本質的には自己注意に挑戦する。 この作業では、新しいセルフアテンション層であるPushdown Layersを導入している。 プッシュダウン層を備えたトランスフォーマーは、劇的に改善され、3.5倍の高効率な構文一般化を実現した。
  論文  参考訳（メタデータ） (2023-10-29T17:27:18Z)
• High-level Feature Guided Decoding for Semantic Segmentation [54.424062794490254]
  そこで本稿では,アップサンプラーが頑健な結果を得るためのガイダンス(HFG)として,強力な事前学習高レベル機能を提案する。 具体的には、バックボーンの高レベルな機能はクラストークンのトレーニングに使用され、クラストークンはクラス分類のためにアップサンプラーによって再利用される。 HFGの上限を押し上げるために、低解像度の高レベル特徴に対して効率よく効果的に操作できる文脈拡張エンコーダ(CAE)を導入する。
  論文  参考訳（メタデータ） (2023-03-15T14:23:07Z)
• Charformer: Fast Character Transformers via Gradient-based Subword Tokenization [50.16128796194463]
  モデルの一部としてサブワードトークン化をエンドツーエンドに学習する新しいモデル帰納バイアスを提案する。 文字から潜在単語表現を自動的に学習する,ソフトグラデーションベースのサブワードトークンモジュール(GBST)を導入する。 また、GBSTを統合し、バイトレベルで動作する深層トランスフォーマーモデルであるCharformerを紹介する。
  論文  参考訳（メタデータ） (2021-06-23T22:24:14Z)
• Neural Machine Translation without Embeddings [44.129310924201604]
  多くのNLPモデルは、手作りのトークン化規則とサブワード誘導アルゴリズムによって生成されるサブワードトークンのシーケンス上で動作する。 単純な普遍的な代替手段は、すべてのコンピュータ化されたテキストを8バイトのバイト列として表現することである。 英語から10の異なる言語へのバイトバイト機械翻訳の実験では、BLEUの一貫性が向上し、文字レベルや標準のサブワードレベルモデルに匹敵する結果となった。
  論文  参考訳（メタデータ） (2020-08-21T09:54:11Z)
• BURT: BERT-inspired Universal Representation from Twin Structure [89.82415322763475]
  BURT (BERT inspired Universal Representation from Twin Structure) は任意の粒度の入力シーケンスに対して普遍的で固定サイズの表現を生成することができる。 提案するBURTは,Siameseネットワークを採用し,自然言語推論データセットから文レベル表現を学習し,パラフレーズ化データセットから単語/フレーズレベル表現を学習する。 我々は,STSタスク,SemEval2013 Task 5(a) など,テキスト類似性タスクの粒度によってBURTを評価する。
  論文  参考訳（メタデータ） (2020-04-29T04:01:52Z)
• Tree-structured Attention with Hierarchical Accumulation [103.47584968330325]
  階層的累積」は解析木構造を一定時間複雑度で自己注意に符号化する。 提案手法は,4つの IWSLT 翻訳タスクと WMT'14 翻訳タスクにおいて,SOTA 法より優れている。
  論文  参考訳（メタデータ） (2020-02-19T08:17:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。