論文の概要: Going Deeper With Memories
- arxiv url: http://arxiv.org/abs/2611.05255v1
- Date: Tue, 03 Nov 2026 17:44:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 13:27:09.61574
- Title: Going Deeper With Memories
- Title（参考訳）: Memoriesでさらに深く掘り下げる
- Abstract要約: DeepMemは、セマンティック圧縮と正確なバイト保存を分離する因果的マルチスケールアーキテクチャである。
FineWeb-Edu および PG19 上の一致したバイトレベルの変換器よりも強力な言語モデリング性能を実現する。
また、PIQAの精度も向上し、コードモデリング、複数選択の推論、バイトレベルの破損の堅牢性に競争力を維持している。
- 参考スコア（独自算出の注目度）: 0.16921396880325779
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Byte level language models avoid tokenizer dependence and provide universal coverage, but processing every byte at full resolution is expensive. We introduce DeepMem, a causal multiscale architecture that separates semantic compression from exact byte preservation. A learned invertible subband transform constructs a hierarchy of shorter sequences, while a lossless carrier and explicit detail sidebands preserve byte identity. Fast weight memory blocks operate along the encoder, with iterative shared state computation at the compressed bottleneck, while an attention based super resolution decoder restores byte resolution representations. DeepMem achieves stronger language modeling performance than a matched byte level Transformer on FineWeb-Edu and PG19, and obtains the best macro average performance across the evaluated FLORES languages. It also improves PIQA accuracy while remaining competitive on code modeling, multiple choice reasoning, and byte level corruption robustness. Bottleneck refinement requires approximately $7{,}600\times$ fewer counted FLOPs than equivalent full resolution reasoning, while maintaining competitive evaluation throughput.
- Abstract（参考訳）: バイトレベルの言語モデルはトークン化の依存を回避し、普遍的なカバレッジを提供するが、全解像度ですべてのバイトを処理するのは高価である。
本稿では,意味的圧縮を正確なバイト保存から分離する因果的マルチスケールアーキテクチャであるDeepMemを紹介する。
学習された可逆部分バンド変換は短いシーケンスの階層を構成し、損失のないキャリアと明示的な詳細サイドバンドはバイトIDを保持する。
高速メモリブロックはエンコーダに沿って動作し、圧縮されたボトルネックで繰り返し共有状態計算を行い、アテンションベースのスーパー解像度デコーダはバイト解像度表現を復元する。
DeepMem は FineWeb-Edu や PG19 上での一致したバイトレベル変換よりも強力な言語モデリング性能を実現し、評価された FLORES 言語全体で最高のマクロ平均性能を得る。
また、PIQAの精度も向上し、コードモデリング、複数選択の推論、バイトレベルの破損の堅牢性に競争力を維持している。
Bottleneckの改良にはおよそ7{,}600\times$$ カウントされたFLOPを同等のフル解像度推論よりも少なくし、競合評価のスループットを維持する必要がある。
関連論文リスト
- Faster Than Flash: Exploiting Attention Sparsity for Efficient Long-Context Decoding [51.48425605758328]
我々は,Faster Flash Decoding (FFD) という,長文デコーディングにおいてメモリ壁を壊すように設計されたハードウェア・アルゴリズムの共同設計フレームワークを提示する。
FFDはセレクタとコンピュータを完全に融合したカーネルに統合し、外部メタデータのインデックスをコンテンツ認識スキャンに置き換える。
最大11.6倍のカーネルレベルのスピードアップと256Kコンテキスト長のスケーリングを実現し、2.37倍のスループット向上を実現している。
論文 参考訳（メタデータ） (2026-08-31T15:13:20Z) - PHOTON: Hierarchical Autoregressive Modeling for Lightspeed and Memory-Efficient Language Generation [5.553946791700077]
平面走査を垂直・多解像度コンテキストアクセスに置き換える階層的自己回帰モデルを提案する。
実験の結果,PHOTONはスループット品質のトレードオフに関して,競合するTransformerベースの言語モデルよりも優れていることがわかった。
論文 参考訳（メタデータ） (2025-12-22T19:26:59Z) - Transformers from Compressed Representations [74.48571451824569]
TEMPEST (TransformErs froM comPressed rEpreSenTations) は、圧縮されたファイルのバイトストリーム構造を利用して効果的なトークン化と符号化戦略を設計する手法である。
本提案では,意味分類に必要なトークン数を大幅に削減し,計算複雑性とメモリ使用量の両方を削減する。
論文 参考訳（メタデータ） (2025-10-26T13:48:03Z) - BitStack: Any-Size Compression of Large Language Models in Variable Memory Environments [53.71158537264695]
大規模言語モデル(LLM)は、多くのアプリケーションに革命をもたらしたが、ローカルデバイスにおけるメモリ制限により、その展開は依然として困難である。
textbfBitStackは,メモリ使用量とモデル性能のトレードオフを可能にする,新しいトレーニング不要な重み圧縮手法である。
論文 参考訳（メタデータ） (2024-10-31T13:26:11Z) - SpaceByte: Towards Deleting Tokenization from Large Language Modeling [0.0]
トークン化は、パフォーマンスが大幅に向上するため、大きな言語モデルで広く使用されている。
バイトレベルとサブワード自動回帰言語モデリングのパフォーマンスギャップを埋める新しいバイトレベルデコーダアーキテクチャであるSpaceByteを提案する。
論文 参考訳（メタデータ） (2024-04-22T17:59:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。