論文の概要: Generalization Bounds for Transformer Channel Decoders

• arxiv url: http://arxiv.org/abs/2601.06969v1
• Date: Sun, 11 Jan 2026 15:56:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:01.093881
• Title: Generalization Bounds for Transformer Channel Decoders
• Title（参考訳）: 変圧器チャネルデコーダの一般化境界
• Authors: Qinshan Zhang, Bin Chen, Yong Jiang, Shu-Tao Xia,
• Abstract要約: 本稿では,ECCTの一般化性能を学習理論の観点から検討する。 我々の知る限りでは、この研究はこの種のデコーダに対する最初の理論的一般化保証を提供する。
• 参考スコア（独自算出の注目度）: 61.55280736553095
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer channel decoders, such as the Error Correction Code Transformer (ECCT), have shown strong empirical performance in channel decoding, yet their generalization behavior remains theoretically unclear. This paper studies the generalization performance of ECCT from a learning-theoretic perspective. By establishing a connection between multiplicative noise estimation errors and bit-error-rate (BER), we derive an upper bound on the generalization gap via bit-wise Rademacher complexity. The resulting bound characterizes the dependence on code length, model parameters, and training set size, and applies to both single-layer and multi-layer ECCTs. We further show that parity-check-based masked attention induces sparsity that reduces the covering number, leading to a tighter generalization bound. To the best of our knowledge, this work provides the first theoretical generalization guarantees for this class of decoders.
• Abstract（参考訳）: Error Correction Code Transformer (ECCT) のようなトランスフォーマーチャネルデコーダは、チャネルデコーダにおいて強い経験的性能を示しているが、それらの一般化挙動は理論的には不明確である。 本稿では,ECCTの一般化性能を学習理論の観点から検討する。 乗法雑音推定誤差とビットエラーレート(BER)との接続を確立することにより、ビットワイドラデマッハ複雑性による一般化ギャップの上限を導出する。 結果のバウンダリは、コード長、モデルパラメータ、トレーニングセットサイズへの依存を特徴付け、単層および多層ECCTの両方に適用する。 さらに、パリティチェックに基づくマスマスキングは、被覆数を減少させ、より厳密な一般化バウンダリをもたらすことを示す。 我々の知る限りでは、この研究はこの種のデコーダに対する最初の理論的一般化保証を提供する。

関連論文リスト

• Fast correlated decoding of transversal logical algorithms [67.01652927671279]
  大規模計算には量子エラー補正(QEC)が必要であるが、かなりのリソースオーバーヘッドが発生する。 近年の進歩により、論理ゲートからなるアルゴリズムにおいて論理キュービットを共同で復号化することにより、症候群抽出ラウンドの数を削減できることが示されている。 ここでは、回路を介して伝播する関連する論理演算子製品を直接復号することで、回路の復号化の問題を修正する。
  論文  参考訳（メタデータ） (2025-05-19T18:00:00Z)
• A Theoretical Perspective for Speculative Decoding Algorithm [60.79447486066416]
  EmphSpeculative Decodingは、小さなモデルを使用して、ドラフトトークンのシーケンスと、検証のための大きなモデルをサンプリングする。 本稿では,マルコフ連鎖抽象化による復号化問題を概念化し,理論的な観点から,鍵特性,エファンアウトプットの品質,推論加速度について考察する。
  論文  参考訳（メタデータ） (2024-10-30T01:53:04Z)
• Accelerating Error Correction Code Transformers [56.75773430667148]
  本稿では,トランスを用いたデコーダの高速化手法を提案する。 最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
  論文  参考訳（メタデータ） (2024-10-08T11:07:55Z)
• Generalization Bounds for Neural Belief Propagation Decoders [10.96453955114324]
  本稿では,ニューラルネットワークを用いたデコーダの一般化機能について検討する。 具体的には、デコーダの一般化ギャップは、経験的ビットエラーレートと期待ビットエラーレートの差である。 通常のパリティチェック行列と不規則なパリティチェック行列の両方について結果が提示される。
  論文  参考訳（メタデータ） (2023-05-17T19:56:04Z)
• Error Correction Code Transformer [92.10654749898927]
  本稿では,トランスフォーマーアーキテクチャを任意のブロック長で線形符号のソフトデコードに拡張することを提案する。 我々は,各チャネルの出力次元を高次元に符号化し,個別に処理すべきビット情報のより良い表現を行う。 提案手法は、トランスフォーマーの極端なパワーと柔軟性を示し、既存の最先端のニューラルデコーダを、その時間的複雑さのごく一部で大きなマージンで上回る。
  論文  参考訳（メタデータ） (2022-03-27T15:25:58Z)
• Infomax Neural Joint Source-Channel Coding via Adversarial Bit Flip [41.28049430114734]
  本稿では、ニューラルジョイント・ソース・チャネル符号化方式の安定性と堅牢性を改善するために、Infomax Adversarial-Bit-Flip (IABF) と呼ばれる新しい正規化手法を提案する。 我々のIABFは、圧縮と誤り訂正のベンチマークの両方で最先端のパフォーマンスを達成でき、ベースラインをかなりの差で上回ることができる。
  論文  参考訳（メタデータ） (2020-04-03T10:00:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。