論文の概要: Quad Length Codes for Lossless Compression of e4m3

• arxiv url: http://arxiv.org/abs/2602.17849v2
• Date: Wed, 25 Feb 2026 17:58:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-26 16:16:21.272549
• Title: Quad Length Codes for Lossless Compression of e4m3
• Title（参考訳）: e4m3のロスレス圧縮のための擬似長符号
• Authors: Aditya Agrawal, Albert Magyar, Hiteshwar Eswaraiah, Patrick Sheridan, Pradeep Janedula, Ravi Krishnan Venkatesan, Krishna Nair, Ravi Iyer,
• Abstract要約: 本稿では圧縮効率と復号速度のバランスをとるために設計されたハイブリッドアプローチであるQuad Length Codesを紹介する。 このスキームは256エントリのルックアップテーブルを使用しており、ハードウェアの実装をハフマンツリーに比べて大幅に単純化している。 e4m3データ型の場合、このスキームはハフマン符号によって達成された15.9%と比較して13.9%の圧縮性を達成する。
• 参考スコア（独自算出の注目度）: 1.130449256256879
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training and serving Large Language Models (LLMs) relies heavily on parallelization and collective operations, which are frequently bottlenecked by network bandwidth. Lossless compression using e.g., Huffman codes can alleviate the issue, however, Huffman codes suffer from slow, bit-sequential decoding and high hardware complexity due to deep tree traversals. Universal codes e.g., Exponential-Golomb codes are faster to decode but do not exploit the symbol frequency distributions. To address these limitations, this paper introduces Quad Length Codes, a hybrid approach designed to balance compression efficiency with decoding speed. The coding scheme uses 3 prefix bits to divide the 256 symbols into 8 areas. Each area has a different code length and encodes a different number of symbols. The scheme uses a Look Up Table with 256 entries, significantly simplifying the hardware implementation compared to Huffman trees. The coding scheme can be adapted for different distributions. For the e4m3 data type, the scheme achieves a compressibility of 13.9% in comparison to 15.9% achieved by Huffman codes, but it significantly speeds up the decoding and simplifies the hardware complexity.
• Abstract（参考訳）: 大規模言語モデル(LLM)の訓練と提供は並列化と集合的な操作に大きく依存している。 しかし、Huffmanのコードでは、遅いビットシークエンシャルなデコードと、深い木のトラバーサルによるハードウェアの複雑さに悩まされている。 ユニバーサルコード(例: Exponential-Golomb codes)はデコードよりも高速であるが、シンボルの周波数分布を利用できない。 これらの制約に対処するために,圧縮効率と復号速度のバランスをとるために設計されたハイブリッドアプローチであるQuad Length Codesを提案する。 符号化方式は3つのプレフィックスビットを使用して256のシンボルを8つの領域に分割する。 各エリアはコードの長さが異なり、異なるシンボルをエンコードする。 このスキームは256エントリのルックアップテーブルを使用しており、ハードウェアの実装をハフマンツリーに比べて大幅に単純化している。 符号化方式は異なる分布に適応することができる。 e4m3データ型では、ハフマン符号による15.9%と比較して13.9%の圧縮性を達成するが、デコードを大幅に高速化し、ハードウェアの複雑さを単純化する。

関連論文リスト

• High-rate extended binomial codes for multiqubit encoding [0.2538209532048866]
  ボソニックな量子誤り訂正符号のクラスを導入し,これを拡大二項符号と呼ぶ。 これらの符号は$[n,k,d]$ qubitコードに類似しており、パラメータ$n$は物理量子ビットの数ではなく総励起予算に対応する。
  論文  参考訳（メタデータ） (2025-01-13T07:04:05Z)
• Decoding Quasi-Cyclic Quantum LDPC Codes [23.22566380210149]
  量子低密度パリティチェック(qLDPC)符号は耐故障性を求める上で重要な要素である。 近年のqLDPC符号の進歩は、量子的に良好であり、線形時間デコーダが符号ワード量子ビットの一定数に影響を与える誤りを正すという構成に繋がった。 実際には、2つの繰り返し符号の産物である表面/履歴符号は依然としてqLDPC符号として選択されることが多い。
  論文  参考訳（メタデータ） (2024-11-07T06:25:27Z)
• Progressive-Proximity Bit-Flipping for Decoding Surface Codes [8.971989179518214]
  トリックやサーフェスコードのようなトポロジカル量子コードは、ハードウェア実装の優れた候補である。 既存のデコーダは、計算複雑性の低いような要求を満たすのに不足することが多い。 トリックおよび表面符号に適した新しいビットフリップ(BF)デコーダを提案する。
  論文  参考訳（メタデータ） (2024-02-24T22:38:05Z)
• Homological Quantum Rotor Codes: Logical Qubits from Torsion [47.52324012811181]
  ホモロジー量子ローター符号は 論理ローターと論理キューディットを 同一のコードブロックにエンコードできる 0$-$pi$-qubit と Kitaev の現在のミラー量子ビットは、確かにそのような符号の小さな例である。
  論文  参考訳（メタデータ） (2023-03-24T00:29:15Z)
• Tackling Long Code Search with Splitting, Encoding, and Aggregating [67.02322603435628]
  長いコード検索のための新しいベースラインSEA(Split, Encode, Aggregate)を提案する。 長いコードをコードブロックに分割し、これらのブロックを埋め込みにエンコードし、それらを集約して包括的な長いコード表現を得る。 エンコーダとしてGraphCodeBERTを使用すると、SEAはコードSearchNetベンチマークでGraphCodeBERTよりも10.1%高い0.785という総合的な平均逆ランキングスコアを達成する。
  論文  参考訳（メタデータ） (2022-08-24T02:27:30Z)
• Graph Neural Networks for Channel Decoding [71.15576353630667]
  低密度パリティチェック(LDPC)やBCH符号など、様々な符号化方式の競合復号性能を示す。 ニューラルネットワーク(NN)は、与えられたグラフ上で一般化されたメッセージパッシングアルゴリズムを学習する。 提案するデコーダを,従来のチャネル復号法および最近のディープラーニングに基づく結果と比較した。
  論文  参考訳（メタデータ） (2022-07-29T15:29:18Z)
• KO codes: Inventing Nonlinear Encoding and Decoding for Reliable Wireless Communication via Deep-learning [76.5589486928387]
  ランドマークコードは、Reed-Muller、BCH、Convolution、Turbo、LDPC、Polarといった信頼性の高い物理層通信を支える。 本論文では、ディープラーニング駆動型(エンコーダ、デコーダ)ペアの計算効率の良いファミリーであるKO符号を構築する。 KO符号は最先端のリード・ミュラー符号と極符号を破り、低複雑さの逐次復号法で復号された。
  論文  参考訳（メタデータ） (2021-08-29T21:08:30Z)
• Trellis Decoding For Qudit Stabilizer Codes And Its Application To Qubit Topological Codes [3.9962751777898955]
  トレリス復号器は強い構造を持ち、古典的符号化理論を用いて結果をガイドとして拡張し、復号グラフの構造特性を計算できる正準形式を示す。 修正されたデコーダは、任意の安定化コード$S$で動作し、コードの正規化子のコンパクトでグラフィカルな表現を構築するワンタイムオフライン、$Sperp$、Viterbiアルゴリズムを使った高速でパラレルなオンライン計算である。
  論文  参考訳（メタデータ） (2021-06-15T16:01:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。