論文の概要: Dual Length Codes for Lossless Compression of BFloat16

• arxiv url: http://arxiv.org/abs/2602.17849v1
• Date: Thu, 19 Feb 2026 21:31:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-23 18:01:41.15401
• Title: Dual Length Codes for Lossless Compression of BFloat16
• Title（参考訳）: BFloat16のロスレス圧縮のための二重長符号
• Authors: Aditya Agrawal, Albert Magyar, Hiteshwar Eswaraiah, Patrick Sheridan, Pradeep Janedula, Ravi Krishnan Venkatesan, Krishna Nair, Ravi Iyer,
• Abstract要約: 本稿では、圧縮効率と復号速度のバランスをとるために設計されたハイブリッドアプローチであるDual Length Codesを紹介する。 この方式はハフマン符号の21.3%と比較して18.6%の圧縮性を実現している。
• 参考スコア（独自算出の注目度）: 1.130449256256879
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training and serving Large Language Models (LLMs) relies heavily on parallelization and collective operations, which are frequently bottlenecked by network bandwidth. Lossless compression using e.g., Huffman codes can alleviate the issue, however, Huffman codes suffer from slow, bit-sequential decoding and high hardware complexity due to deep tree traversals. Universal codes e.g., Exponential-Golomb codes are faster to decode but do not exploit the symbol frequency distributions. To address these limitations, this paper introduces Dual Length Codes, a hybrid approach designed to balance compression efficiency with decoding speed. Analyzing BFloat16 tensors from the Gemma model, we observed that the top 8 most frequent symbols account for approximately 50% of the cumulative probability. These 8 symbols are assigned a short 4 bit code. The remaining 248 symbols are assigned a longer 9 bit code. The coding scheme uses a single prefix bit to distinguish between the two code lengths. The scheme uses a small Look Up Table with only 8 entries for encoding and decoding. The scheme achieves a compressibility of 18.6% in comparison to 21.3% achieved by Huffman codes, but it significantly speeds up the decoding and simplifies the hardware complexity.
• Abstract（参考訳）: 大規模言語モデル(LLM)の訓練と提供は並列化と集合的な操作に大きく依存している。 しかし、Huffmanのコードでは、遅いビットシークエンシャルなデコードと、深い木のトラバーサルによるハードウェアの複雑さに悩まされている。 ユニバーサルコード(例: Exponential-Golomb codes)はデコードよりも高速であるが、シンボルの周波数分布を利用できない。 これらの制約に対処するために,圧縮効率と復号速度のバランスをとるために設計されたハイブリッドアプローチであるDual Length Codesを導入する。 GemmaモデルからBFloat16テンソルを解析したところ、最も頻繁な8つのシンボルが累積確率の約50%を占めることがわかった。 これら8つのシンボルは、短い4ビットコードに割り当てられる。 残りの248のシンボルは、より長い9ビットの符号が割り当てられる。 符号化方式は、2つの符号長を区別するために1つのプレフィックスビットを使用する。 このスキームは、符号化と復号のためにたった8つのエントリしか持たない小さなルックアップテーブルを使用する。 この方式はハフマン符号による21.3%と比較して18.6%の圧縮性を達成するが、デコードを大幅に高速化し、ハードウェアの複雑さを単純化する。

関連論文リスト

• Single-Stage Huffman Encoder for ML Compression [1.130449256256879]
  ハフマン符号を用いたロスレス圧縮は、この問題を軽減する効果的な方法であるが、3段階の設計では、オンザフライ周波数解析、コードブック生成、データとともにコードブックの送信が必要となる。 本稿では,従来のデータバッチの平均確率分布から導出した固定符号ブックを用いて,これらのオーバーヘッドを解消する単一ステージHuffmanエンコーダを提案する。
  論文  参考訳（メタデータ） (2026-01-15T18:37:56Z)
• Cyclic Hypergraph Product Code [1.338174941551702]
  CxC符号とCxR符号と呼ばれる2つの巡回符号のハイパーグラフ積について検討する。 C2符号とCxR符号は、これまで最適化されたHGP符号よりも大幅に優れていた。 いくつかのC2符号は、最先端のLDPC符号よりも論理エラー率とキュービットオーバーヘッドが低い。
  論文  参考訳（メタデータ） (2025-11-12T19:34:49Z)
• Fast correlated decoding of transversal logical algorithms [67.01652927671279]
  大規模計算には量子エラー補正(QEC)が必要であるが、かなりのリソースオーバーヘッドが発生する。 近年の進歩により、論理ゲートからなるアルゴリズムにおいて論理キュービットを共同で復号化することにより、症候群抽出ラウンドの数を削減できることが示されている。 ここでは、回路を介して伝播する関連する論理演算子製品を直接復号することで、回路の復号化の問題を修正する。
  論文  参考訳（メタデータ） (2025-05-19T18:00:00Z)
• High-rate extended binomial codes for multiqubit encoding [0.2538209532048866]
  ボソニックな量子誤り訂正符号のクラスを導入し,これを拡大二項符号と呼ぶ。 これらの符号は$[n,k,d]$ qubitコードに類似しており、パラメータ$n$は物理量子ビットの数ではなく総励起予算に対応する。
  論文  参考訳（メタデータ） (2025-01-13T07:04:05Z)
• Decoding Quasi-Cyclic Quantum LDPC Codes [23.22566380210149]
  量子低密度パリティチェック(qLDPC)符号は耐故障性を求める上で重要な要素である。 近年のqLDPC符号の進歩は、量子的に良好であり、線形時間デコーダが符号ワード量子ビットの一定数に影響を与える誤りを正すという構成に繋がった。 実際には、2つの繰り返し符号の産物である表面/履歴符号は依然としてqLDPC符号として選択されることが多い。
  論文  参考訳（メタデータ） (2024-11-07T06:25:27Z)
• Decoding at the Speed of Thought: Harnessing Parallel Decoding of Lexical Units for LLMs [57.27982780697922]
  大規模言語モデルは、自然言語の理解と生成において例外的な能力を示した。 しかし、それらの生成速度は、その復号過程の本質的にシーケンシャルな性質によって制限される。 本稿では,データ駆動方式で実装された新しいデコーディング手法であるLexical Unit Decodingを紹介する。
  論文  参考訳（メタデータ） (2024-05-24T04:35:13Z)
• Learning Linear Block Error Correction Codes [62.25533750469467]
  本稿では,バイナリ線形ブロック符号の統一エンコーダデコーダトレーニングを初めて提案する。 また,コード勾配の効率的なバックプロパゲーションのために,自己注意マスキングを行うトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2024-05-07T06:47:12Z)
• Progressive-Proximity Bit-Flipping for Decoding Surface Codes [8.971989179518214]
  トリックやサーフェスコードのようなトポロジカル量子コードは、ハードウェア実装の優れた候補である。 既存のデコーダは、計算複雑性の低いような要求を満たすのに不足することが多い。 トリックおよび表面符号に適した新しいビットフリップ(BF)デコーダを提案する。
  論文  参考訳（メタデータ） (2024-02-24T22:38:05Z)
• Homological Quantum Rotor Codes: Logical Qubits from Torsion [47.52324012811181]
  ホモロジー量子ローター符号は 論理ローターと論理キューディットを 同一のコードブロックにエンコードできる 0$-$pi$-qubit と Kitaev の現在のミラー量子ビットは、確かにそのような符号の小さな例である。
  論文  参考訳（メタデータ） (2023-03-24T00:29:15Z)
• Scalable Quantum Error Correction for Surface Codes using FPGA [67.74017895815125]
  フォールトトレラントな量子コンピュータは、出現するよりも早くデコードし、エラーを修正する必要がある。 並列計算資源を利用したUnion-Findデコーダの分散バージョンを報告する。 この実装では、並列コンピューティングリソースをハイブリッドツリーグリッド構造に整理する、Heliosと呼ばれるスケーラブルなアーキテクチャを採用している。
  論文  参考訳（メタデータ） (2023-01-20T04:23:00Z)
• Tackling Long Code Search with Splitting, Encoding, and Aggregating [67.02322603435628]
  長いコード検索のための新しいベースラインSEA(Split, Encode, Aggregate)を提案する。 長いコードをコードブロックに分割し、これらのブロックを埋め込みにエンコードし、それらを集約して包括的な長いコード表現を得る。 エンコーダとしてGraphCodeBERTを使用すると、SEAはコードSearchNetベンチマークでGraphCodeBERTよりも10.1%高い0.785という総合的な平均逆ランキングスコアを達成する。
  論文  参考訳（メタデータ） (2022-08-24T02:27:30Z)
• Graph Neural Networks for Channel Decoding [71.15576353630667]
  低密度パリティチェック(LDPC)やBCH符号など、様々な符号化方式の競合復号性能を示す。 ニューラルネットワーク(NN)は、与えられたグラフ上で一般化されたメッセージパッシングアルゴリズムを学習する。 提案するデコーダを,従来のチャネル復号法および最近のディープラーニングに基づく結果と比較した。
  論文  参考訳（メタデータ） (2022-07-29T15:29:18Z)
• Comparison of 2D topological codes and their decoding performances [4.340338299803562]
  トポロジカル量子符号は、実用的な実装に適したキュービットレイアウトを可能にするため好まれる。 カラーコードやツイストXZXコードを含む,CSSや非CSSの2次元トポロジコードはMPPで復号化可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-14T11:01:02Z)
• KO codes: Inventing Nonlinear Encoding and Decoding for Reliable Wireless Communication via Deep-learning [76.5589486928387]
  ランドマークコードは、Reed-Muller、BCH、Convolution、Turbo、LDPC、Polarといった信頼性の高い物理層通信を支える。 本論文では、ディープラーニング駆動型(エンコーダ、デコーダ)ペアの計算効率の良いファミリーであるKO符号を構築する。 KO符号は最先端のリード・ミュラー符号と極符号を破り、低複雑さの逐次復号法で復号された。
  論文  参考訳（メタデータ） (2021-08-29T21:08:30Z)
• Trellis Decoding For Qudit Stabilizer Codes And Its Application To Qubit Topological Codes [3.9962751777898955]
  トレリス復号器は強い構造を持ち、古典的符号化理論を用いて結果をガイドとして拡張し、復号グラフの構造特性を計算できる正準形式を示す。 修正されたデコーダは、任意の安定化コード$S$で動作し、コードの正規化子のコンパクトでグラフィカルな表現を構築するワンタイムオフライン、$Sperp$、Viterbiアルゴリズムを使った高速でパラレルなオンライン計算である。
  論文  参考訳（メタデータ） (2021-06-15T16:01:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。