論文の概要: Easy to anticipate, hard to compute: boundary dependence finds the computed outputs that entropy patching misses

• arxiv url: http://arxiv.org/abs/2610.11790v1
• Date: Thu, 08 Oct 2026 12:03:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.0003
• Title: Easy to anticipate, hard to compute: boundary dependence finds the computed outputs that entropy patching misses
• Title（参考訳）: 予測し易く、計算しづらい境界依存は、エントロピーパッチが見逃す計算された出力を見つける
• Abstract要約: Byte Latent Transformer (BLT) のようなバイトレベルの言語モデルは、パッチにバイトを分割し、パッチ毎に一度大きなグローバルモデルを実行する。 このルールには、型が予測可能であるが、値を計算しなければならない位置という、体系的な盲点があることが示される。 厳密なパッチ予算の下では、エントロピートリガーされたレイアウトはこれらの位置をスキップし、それらの精度は崩壊する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Byte-level language models such as the Byte Latent Transformer (BLT) group bytes into patches and run their large global model once per patch. BLT starts a patch where a small model's next-byte entropy is high, so global compute goes where the next byte is hard to predict. We show that this rule has a systematic blind spot: positions whose type is predictable but whose value must be computed, such as the number after "=" in a worked math solution. Under tight patch budgets, entropy-triggered layouts skip these positions, and accuracy on them collapses. In Meta's BLT-1B with patch starts on 10% of bytes, the entropy rule puts a patch start at 16% of the computed results in GSM8K solutions and gets 19.0% of them exactly right; a boundary after each "=" at the same patch count gets 51.8%, and entropy combined with a label-free boundary-dependence signal gets 67.1% (default layout at 26% of bytes: 76.8%). The gap survives adapting BLT-1B to the budget with low-rank fine-tuning (32.9% vs 72.7%, three runs per rule, paired p < 1e-200) and grows with model size in byte models trained from scratch at a 10% budget: at 1M, 12M and 50M parameters, boundary dependence beats entropy on final answers by -1.6, +10.1 and +19.8 points, and at 50M it gets 35.9% of computed results against 13.9% (3 seeds each). BLT's entropy-jump rule helps neither target at 50M. The entropy trigger of Scratchpad Patching is likewise indistinguishable from random scratchpads on final answers (5.6% vs 5.9%, 5 seeds), while answer-start scratchpads give 38.1%. The effect is specific to computed values: copies and lookups gain little, and values the model cannot compute gain nothing. Boundary dependence, the rise in the model's own loss when a patch start is removed, measured per two-byte context, finds these positions without labels: combined with entropy it beats the hand-written rule on computed results.
• Abstract（参考訳）: Byte Latent Transformer (BLT) のようなバイトレベルの言語モデルは、パッチにバイトを分割し、パッチ毎に一度大きなグローバルモデルを実行する。 BLTは、小さなモデルの次のバイトエントロピーが高いパッチを開始するため、グローバルな計算は次のバイトを予測するのが難しい。 このルールには、型が予測可能であるが、値が計算されなければならない位置、例えば「動作する数学の解における="」のあとの数など、系統的な盲点があることが示される。 厳密なパッチ予算の下では、エントロピートリガーされたレイアウトはこれらの位置をスキップし、それらの精度は崩壊する。 MetaのBLT-1Bでは、パッチは10%のバイトで始まるが、エントロピー規則では、GSM8Kソリューションで計算された結果の16%にパッチを起動し、その19.0%を正確に取得する。 BLT-1Bを低ランクの微調整(32.9%対72.7%)で予算に適応させることに成功し、p < 1e-200のペアで1M、12M、50Mのパラメータで1M、+10.1、+19.8のパラメータでトレーニングされたバイトモデルのモデルサイズで成長し、50Mでは計算結果の35.9%が13.9%のシードに対して最終回答でエントロピーを破る。 BLTのエントロピージャンプ則は、どちらも5000Mの目標にはならない。 スクラッチパッド・パッチングのエントロピートリガーは最終回答のランダムなスクラッチパッド(5.6%対5.9%、種子5種)と区別できないが、解答開始スクラッチパッドは38.1%である。 コピーとルックアップはほとんど増加せず、モデルでは計算できない値は何も得られない。 境界依存性は、パッチの開始時にモデル自身の損失が増加し、2バイトのコンテキスト毎に測定され、ラベルなしでこれらの位置を見つける:エントロピーと組み合わせることで、計算結果に対する手書きのルールを破る。

関連論文リスト

• Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models [67.72077328700088]
  本稿では,2次元の異なるデコーダのみの高密度変圧器モデルについて検討した。 Token-1B モデルは低FLOP 方式ではバイトモデル (End-Of-Token-1B と Bytes-1B) より優れていたが、最終的には高原となる。 100Kトークンの順序ではなく256バイトの小さな語彙で操作することで、ログダンピング時にトップクランケーションの必要性を回避することができる。
  論文  参考訳（メタデータ） (2026-09-11T00:17:22Z)
• Cadence: Error-Bounded Lossy Compression of Demand Time Series with a Time-Series Foundation Model [0.0]
  Cadenceは、数値時系列のエラーバウンド損失圧縮機である。 330Mシリーズの基礎モデルと適応型算術コーダを組み合わせている。
  論文  参考訳（メタデータ） (2026-09-05T10:25:09Z)
• Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles [86.41218924166775]
  LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。 最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。 本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
  論文  参考訳（メタデータ） (2026-09-02T10:30:05Z)
• Where Entropy Is Measured Matters: Policy Geometry in Bounded Continuous-Control PPO [7.310549915718531]
  エントロピーが測定される場所は,政策最適化によって学習された政策形状を変化させることを示す。 独立なCleanRLベースのPPO実装による38次元ドッグスタンダードレプリケーションは、平均幾何学における順序付けを再現する。
  論文  参考訳（メタデータ） (2026-08-25T12:36:09Z)
• Smarter and Cheaper at Once: Byte-Exact KV-Cache Grafting Turns a Frozen Small Model into a Verified-Knowledge Flywheel [0.0]
  凍結した小さな言語モデルを、重みを変えることなく、同時により有能かつ劇的に安価にします。 浮動小数点回転符号化モデルにおいて,自己配置グラフトは数値的に正確な操作点であることを示す。 システムは動作レベルで記述され、エンジンはプロプライエタリであり、報告された全ての数値はコミットされた入力と出力によってバックアップされるので、スコアはそれなしで再チェックできる。
  論文  参考訳（メタデータ） (2026-07-15T23:55:48Z)
• Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
  シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。 我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。 GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
  論文  参考訳（メタデータ） (2026-06-04T05:43:12Z)
• ESPO: Early-Stopping Proximal Policy Optimization [78.79610718910628]
  ESPO(Early-Stopping Proximal Policy Optimization)は、軌道上の障害を検出し、ロールアウトを早期に終了する。 DeepSeek-R1-Distill-Qwen-7Bでは、ESPOはAIME2024(46.28%対45.25%)、AMC2023(85.83%対82.94%)、MATH-500(87.42%対85.43%)でPPOを上回っている。
  論文  参考訳（メタデータ） (2026-05-28T12:40:22Z)
• Universal Transformers Need Memory: Depth-State Trade-offs in Adaptive Recursive Reasoning [0.0]
  本研究では,SudokuExtreme上の単一ブロックユニバーサルトランス (UT) のスクラッチパッドとして学習したメモリトークンについて検討した。 メモリトークンは、テストされたすべての構成で、メモリトークンのない構成は、非自明なパフォーマンスです。
  論文  参考訳（メタデータ） (2026-04-23T18:30:01Z)
• FIPO: Eliciting Deep Reasoning with Future-KL Influenced Policy Optimization [84.58281577727566]
  本稿では,大規模言語モデルにおける推論ボトルネックを克服する強化学習アルゴリズムであるFuture-KL Influenced Policy Optimization (FIPO)を提案する。 FIPOは、割引先KLの分岐をポリシー更新に組み込むことでこの問題に対処し、その後の軌道行動への影響に基づいてトークンを再重み付けする密集した有利な定式化を作成する。 Qwen2.5-32Bで評価され、FIPOは平均チェーン長を約4,000から10,000以上のトークンに拡張し、AIME 2024 Pass@1の精度を50.0%から58.0%に向上させた。
  論文  参考訳（メタデータ） (2026-03-20T10:24:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。