論文の概要: Patch where the text is new: a compression view of where byte-level models should spend compute

• arxiv url: http://arxiv.org/abs/2610.22100v1
• Date: Thu, 15 Oct 2026 15:47:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.169315
• Title: Patch where the text is new: a compression view of where byte-level models should spend compute
• Title（参考訳）: テキストが新しくなった場所のパッチ:バイトレベルのモデルが計算に費やすべき場所の圧縮ビュー
• Abstract要約: Byte Latent Transformer (BLT)のようなバイトレベルの言語モデルは、パッチ毎に大きなグローバルモデルを実行し、小さなモデルの次のバイトエントロピーが高いパッチを開始する。 我々はLZ77スタイルの圧縮によって動機づけられた新規性パッチを提案し、次のバイトが最近のコンテキストを繰り返す可能性が低いパッチを起動する。 一致した11%のパッチレート(3種)で1.9GBの数学コーパスをスクラッチからトレーニングしたBLTスタイルモデルでは、1Mパラメータでは明確な効果がなく、最終回答精度は12Mでは47%から72%に向上する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Byte-level language models such as the Byte Latent Transformer (BLT) run their large global model once per patch and start a patch where a small model's next-byte entropy is high. This rule rarely starts a patch at in-line computed results, such as the number after "=" in a worked solution, and accuracy on them collapses under tight patch budgets. We propose novelty patching, motivated by LZ77-style compression: start a patch where the upcoming bytes are unlikely to repeat the recent context. The rule is a lookup table over the previous two bytes, fitted in seconds on raw text with no labels, reference model or losses. In BLT-style models trained from scratch on a 1.9 GB math corpus at a matched ~11% patch rate (3 seeds each), it has no clear effect at 1M parameters, raises final-answer accuracy from 47% to 72% at 12M, and at 50M raises computed-result accuracy from 21% to 57% and final-answer accuracy from 60% to 90%; a table fitted on the raw pretraining corpus keeps the gain. Outside math the advantage shrinks: novelty lowers bits per byte on prose and ties entropy on source code and on synthetic execution traces. An analysis of where boundaries fall explains the pattern. Computed results have ordinary surprisal for the patcher's model, so surprisal-seeking rules pass over them: entropy concentrates patch starts on high-surprisal bytes most strongly of all rules (boundary enrichment 1.61) and is the worst on computed results, while the best rules sit near chance enrichment. Novelty works where new content begins at segment starts close to the computation, as in written math; a learned chunker (H-Net) finds such structure on its own, in math and in code. We also report what did not work: typed uncertainty as a training rule, switching rules after training, and a context-aware novelty predictor.
• Abstract（参考訳）: Byte Latent Transformer (BLT)のようなバイトレベルの言語モデルは、パッチ毎に大きなグローバルモデルを実行し、小さなモデルの次のバイトエントロピーが高いパッチを開始する。 このルールは、インラインで計算された結果、例えば "@ in a work solution" のあとの数や、それらに対する精度が、きついパッチ予算の下で崩壊するなど、パッチを開始することはめったにない。 我々はLZ77スタイルの圧縮によって動機づけられた新規性パッチを提案し、次のバイトが最近のコンテキストを繰り返す可能性が低いパッチを起動する。 このルールは以前の2バイトのルックアップテーブルで、ラベルや参照モデル、損失のない原文に秒単位で適合する。 一致した1.9GBの数学コーパスで1.9GBの計算コーパスをスクラッチからトレーニングしたBLTスタイルのモデルでは、1Mパラメータでは明確な効果がなく、最終回答精度は47%から12Mで72%、最終回答精度は21%から57%、最終回答精度は60%から90%に向上する。 ノベルティは1バイト当たりのビット数を減らし、ソースコードと合成実行トレースのエントロピーを結び付ける。 境界線がどこに落ちるかの分析は、そのパターンを説明する。 エントロピーに集中する パッチは全ての規則の最も強い部分(境界エンリッチメント 1.61)で始まり、計算された結果では最悪のものとなり、最良のルールはチャンスエンリッチメントの近くに置かれる。 ノベルティは、記述された数学のように、セグメントで新しいコンテンツが計算に近く始まり、学習されたチャンカー(H-Net)は、数学やコードでそのような構造を見つける。 また、トレーニングルールとしての型付不確実性、トレーニング後のルールの変更、コンテキスト対応のノベルティ予測器についても報告した。

関連論文リスト

• Easy to anticipate, hard to compute: boundary dependence finds the computed outputs that entropy patching misses [0.0]
  Byte Latent Transformer (BLT) のようなバイトレベルの言語モデルは、パッチにバイトを分割し、パッチ毎に一度大きなグローバルモデルを実行する。 このルールには、型が予測可能であるが、値を計算しなければならない位置という、体系的な盲点があることが示される。 厳密なパッチ予算の下では、エントロピートリガーされたレイアウトはこれらの位置をスキップし、それらの精度は崩壊する。
  論文  参考訳（メタデータ） (2026-10-08T12:03:45Z)
• HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
  同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。 既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。 非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
  論文  参考訳（メタデータ） (2026-09-01T18:02:02Z)
• Large Models for Small Devices: Recent Advances and Empirical Analysis of Edge AI Deployment [4.582004238093247]
  リソース制約のあるエッジデバイス上で大規模なAIモデルを実行するには、モデルサイズと計算量を削減するためにモデル圧縮が必要である。 質問応答とイメージセグメンテーションにまたがって、GPU、CPU、Raspberry Piプラットフォームにコンパクトな言語とイメージモデルをデプロイします。 ニューラルネットワークグラフ解析とプリフィル・デコードレベルの遅延分解により,これらの効果を説明する。
  論文  参考訳（メタデータ） (2026-08-16T11:52:13Z)
• Scratchpad Patching: Decoupling Compute from Patch Size in Byte-Level Language Models [13.470265014002772]
  Scratchpad Patching (SP)を導入し、各パッチに一貫したスクラッチパッドを挿入して、これまで見てきたバイトを集約し、その後の予測のためにパッチレベルのコンテキストを更新する。 SPは、自然言語とコードの実験で同じパッチサイズでモデル品質を改善する。
  論文  参考訳（メタデータ） (2026-05-10T16:18:22Z)
• Beyond Next Token Prediction: Patch-Level Training for Large Language Models [69.67438563485887]
  大規模言語モデル(LLM)に対するパッチレベルのトレーニングを導入する。 パッチレベルのトレーニングでは、言語モデルの短いパッチシーケンスをフィードし、次のパッチを予測するようにトレーニングします。 パッチレベルのトレーニングは、モデルのパフォーマンスを損なうことなく、全体のトレーニングコストを0.5$times$に削減できることを示す。
  論文  参考訳（メタデータ） (2024-07-17T15:48:39Z)
• STAT: Shrinking Transformers After Training [72.0726371426711]
  微調整なしで変圧器モデルを作成するための簡単なアルゴリズムSTATを提案する。 STATは、次の層の重みを補正して精度を保ちながら、注意頭とニューロンの両方をネットワークから排除する。 われわれのアルゴリズムは、BERTを圧縮するのに数分を要し、単一のGPUを用いて7Bパラメータを持つモデルを圧縮するのに3時間もかからない。
  論文  参考訳（メタデータ） (2024-05-29T22:59:11Z)
• Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
  スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。 しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。 対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
  論文  参考訳（メタデータ） (2024-03-13T13:54:00Z)
• Deep Continuous Prompt for Contrastive Learning of Sentence Embeddings [8.70715711885114]
  本稿では,言語モデル全体を凍結し,プレフィックスの深い連続的なプロンプトのみを最適化する新しい手法を提案する。 元の言語モデルの約0.1%のパラメータをチューニングするだけでなく、手作りのプロンプトを検索する面倒な計算を避ける。 提案したDCPCSEは最先端のSimCSEよりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2022-03-14T06:07:44Z)
• Checking Patch Behaviour against Test Specification [4.723400023753107]
  パッチ動作とテスト仕様のフェールとの関連性について仮説を提案する。 次に、パッチの正当性を予測するための教師なし学習ベースシステムBATSを提案する。
  論文  参考訳（メタデータ） (2021-07-28T11:39:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。