論文の概要: Cross-Attention Message-Passing Transformers for Code-Agnostic Decoding in 6G Networks
- arxiv url: http://arxiv.org/abs/2507.01038v1
- Date: Sun, 22 Jun 2025 16:08:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-07 02:47:44.43375
- Title: Cross-Attention Message-Passing Transformers for Code-Agnostic Decoding in 6G Networks
- Title（参考訳）: 6Gネットワークにおけるコード非依存デコードのためのクロスアテンションメッセージパッシング変換器
- Authors: Seong-Joon Park, Hee-Youl Kwak, Sang-Hyo Kim, Yongjune Kim, Jong-Seon No,
- Abstract要約: 6Gネットワークのチャネルコーディングは、異種通信シナリオから生じる幅広い要件をサポートすることが期待されている。
従来のコード固有デコーダは、次世代システムに必要な柔軟性とスケーラビリティを欠いている。
本稿ではトランスフォーマーアーキテクチャに基づく統合型およびコードに依存しないデコーディングのためのAIネイティブ基盤モデルを提案する。
- 参考スコア（独自算出の注目度）: 14.631435001491514
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Channel coding for 6G networks is expected to support a wide range of requirements arising from heterogeneous communication scenarios. These demands challenge traditional code-specific decoders, which lack the flexibility and scalability required for next-generation systems. To tackle this problem, we propose an AI-native foundation model for unified and code-agnostic decoding based on the transformer architecture. We first introduce a cross-attention message-passing transformer (CrossMPT). CrossMPT employs two masked cross-attention blocks that iteratively update two distinct input representations-magnitude and syndrome vectors-allowing the model to effectively learn the decoding problem. Notably, our CrossMPT has achieved state-of-the-art decoding performance among single neural decoders. Building on this, we develop foundation CrossMPT (FCrossMPT) by making the architecture invariant to code length, rate, and class, allowing a single trained model to decode a broad range of codes without retraining. To further enhance decoding performance, particularly for short blocklength codes, we propose CrossMPT ensemble decoder (CrossED), an ensemble decoder composed of multiple parallel CrossMPT blocks employing different parity-check matrices. This architecture can also serve as a foundation model, showing strong generalization across diverse code types. Overall, the proposed AI-native code-agnostic decoder offers flexibility, scalability, and high performance, presenting a promising direction to channel coding for 6G networks.
- Abstract（参考訳）: 6Gネットワークのチャネルコーディングは、異種通信シナリオから生じる幅広い要件をサポートすることが期待されている。
これらの要求は、次世代システムに必要な柔軟性とスケーラビリティに欠ける従来のコード固有デコーダに挑戦する。
この問題に対処するために,トランスフォーマーアーキテクチャに基づいた,統一的でコードに依存しないデコーディングのためのAIネイティブ基盤モデルを提案する。
まず,クロスアテンション型メッセージパッシングトランス (CrossMPT) を導入する。
CrossMPTは、2つのマスク付きクロスアテンションブロックを用いて、2つの異なる入力表現を反復的に更新する。
特に、我々のCrossMPTは1つのニューラルデコーダで最先端のデコード性能を達成した。
そこで我々は,CrossMPT (FCrossMPT) の基盤として,アーキテクチャをコード長,レート,クラスに不変にすることで,トレーニングを行わずに広い範囲のコードをデコードできるようにした。
特に短いブロック長符号に対してデコード性能を向上させるために,異なるパリティチェック行列を用いた複数並列CrossEDブロックからなるCrossED (CrossED) アンサンブルデコーダを提案する。
このアーキテクチャは基盤モデルとしても機能し、多様なコードタイプにまたがる強力な一般化を示す。
全体として、提案されているAIネイティブなコード非依存デコーダは、柔軟性、スケーラビリティ、ハイパフォーマンスを提供し、6Gネットワークのチャネルコーディングへの有望な方向性を示す。
関連論文リスト
- QTSeg: A Query Token-Based Dual-Mix Attention Framework with Multi-Level Feature Distribution for Medical Image Segmentation [13.359001333361272]
医用画像のセグメンテーションは、正確な診断と自動診断プロセスの実現を医療専門家に支援する上で重要な役割を担っている。
従来の畳み込みニューラルネットワーク(CNN)は、長い範囲の依存関係をキャプチャするのに苦労することが多い。
近年の取り組みはCNNとトランスフォーマーを組み合わせて性能と効率のバランスをとることに重点を置いているが、既存の手法は計算コストを低く抑えながら高いセグメンテーション精度を達成するという課題に直面している。
ローカルおよびグローバルな情報を効果的に統合する医療画像セグメンテーションのための新しいアーキテクチャであるQTSegを提案する。
論文 参考訳（メタデータ） (2024-12-23T03:22:44Z) - GNN-based Auto-Encoder for Short Linear Block Codes: A DRL Approach [43.17241175857862]
深層強化学習(DRL)とグラフニューラルネットワーク(GNN)をコード設計に統合する。
エッジ重み付きGNN(EW-GNN)デコーダを提案する。
DRLベースのコードデザイナとEW-GNNデコーダの反復的な共同訓練を行い、エンドエンドエンコーディングとデコード処理を最適化する。
論文 参考訳（メタデータ） (2024-12-03T00:25:14Z) - On the Design and Performance of Machine Learning Based Error Correcting Decoders [3.8289109929360245]
まず, 単一ラベル型ニューラルネットワーク (SLNN) とマルチラベル型ニューラルネットワーク (MLNN) のデコーダについて検討した。
次に、エラー訂正符号変換器(ECCT)とクロスアテンションメッセージパッシング変換器(CrossMPT)という、2つのトランスフォーマーベースのデコーダに注目します。
論文 参考訳（メタデータ） (2024-10-21T11:23:23Z) - Error Correction Code Transformer: From Non-Unified to Unified [20.902351179839282]
従来のデコーダは、特定のデコードアルゴリズムに適した固定ハードウェア回路として設計されていた。
本稿では、複数の線形ブロックコードを扱うことができる、コードに依存しないトランスフォーマーベースのデコードアーキテクチャを提案する。
論文 参考訳（メタデータ） (2024-10-04T12:30:42Z) - When Video Coding Meets Multimodal Large Language Models: A Unified Paradigm for Video Coding [118.72266141321647]
CMVC(Cross-Modality Video Coding)は、ビデオ符号化における多モード表現とビデオ生成モデルを探索する先駆的な手法である。
復号化の際には、以前に符号化されたコンポーネントとビデオ生成モデルを利用して複数の復号モードを生成する。
TT2Vは効果的な意味再構成を実現し,IT2Vは競争力のある知覚整合性を示した。
論文 参考訳（メタデータ） (2024-08-15T11:36:18Z) - Learning Linear Block Error Correction Codes [62.25533750469467]
本稿では,バイナリ線形ブロック符号の統一エンコーダデコーダトレーニングを初めて提案する。
また,コード勾配の効率的なバックプロパゲーションのために,自己注意マスキングを行うトランスフォーマーモデルを提案する。
論文 参考訳（メタデータ） (2024-05-07T06:47:12Z) - CrossMPT: Cross-attention Message-Passing Transformer for Error Correcting Codes [14.631435001491514]
クロスアテンションメッセージパージングトランス(CrossMPT)を提案する。
また、CrossMPTは、既存のニューラルネットワークベースのデコーダを、様々なコードクラスで大幅に上回っていることを示す。
特に、CrossMPTは、メモリ使用量、複雑性、推論時間、トレーニング時間を著しく削減しながら、このデコードパフォーマンスの改善を実現している。
論文 参考訳（メタデータ） (2024-05-02T06:30:52Z) - Coding for Gaussian Two-Way Channels: Linear and Learning-Based Approaches [27.356869653157677]
線形符号化と学習ベース符号化の2つの異なる双方向符号化方式を提案する。
学習に基づくコーディングには、新しいリカレントニューラルネットワーク(RNN)ベースのコーディングアーキテクチャを導入する。
我々の双方向符号化方式は、従来のチャネル符号化方式よりも格段に優れている。
論文 参考訳（メタデータ） (2023-12-31T12:40:18Z) - Towards Diverse Binary Segmentation via A Simple yet General Gated Network [71.19503376629083]
本稿では,バイナリセグメンテーションタスクに対処するシンプルな汎用ネットワーク(GateNet)を提案する。
多段ゲートユニットの助けを借りて、エンコーダからの貴重なコンテキスト情報をデコーダに選択的に送信することができる。
我々は,アトーラスの畳み込みを改善し,新規な折り畳み畳み畳み畳み畳み込みを形成する「Fold」操作を導入した。
論文 参考訳（メタデータ） (2023-03-18T11:26:36Z) - Error Correction Code Transformer [92.10654749898927]
本稿では,トランスフォーマーアーキテクチャを任意のブロック長で線形符号のソフトデコードに拡張することを提案する。
我々は,各チャネルの出力次元を高次元に符号化し,個別に処理すべきビット情報のより良い表現を行う。
提案手法は、トランスフォーマーの極端なパワーと柔軟性を示し、既存の最先端のニューラルデコーダを、その時間的複雑さのごく一部で大きなマージンで上回る。
論文 参考訳（メタデータ） (2022-03-27T15:25:58Z) - UniXcoder: Unified Cross-Modal Pre-training for Code Representation [65.6846553962117]
プログラミング言語のためのクロスモーダル事前学習モデルUniXcoderを提案する。
木の構造情報を全て保持するシーケンス構造でASTを変換する1対1のマッピング手法を提案する。
我々は,UniXcoderを9つのデータセット上で5つのコード関連タスクで評価する。
論文 参考訳（メタデータ） (2022-03-08T04:48:07Z) - Crosslink-Net: Double-branch Encoder Segmentation Network via Fusing
Vertical and Horizontal Convolutions [58.71117402626524]
医用画像分割のための新しいダブルブランチエンコーダアーキテクチャを提案する。
1)正方形畳み込みカーネルによる特徴の識別をさらに改善する必要があるため,非正方形および水平畳み込みカーネルの利用を提案する。
実験では,4つのデータセット上でのモデルの有効性を検証した。
論文 参考訳（メタデータ） (2021-07-24T02:58:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。