論文の概要: MinGRU-Based Encoder for Turbo Autoencoder Frameworks

• arxiv url: http://arxiv.org/abs/2503.08451v1
• Date: Tue, 11 Mar 2025 14:00:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:41:35.459321
• Title: MinGRU-Based Encoder for Turbo Autoencoder Frameworks
• Title（参考訳）: MinGRUによるターボオートエンコーダ用エンコーダ
• Authors: Rick Fritschek, Rafael F. Schaefer,
• Abstract要約: 初期のニューラルネットワーク符号化アプローチは、適応エンコーダとデコーダのペアを設計するために、1ホットエンコーディングを持つ高密度ニューラルネットワークを活用する。 これらの手法は、メッセージセットとブロック長が増加するにつれてスケーラビリティに苦しんだ。 TurboAEはこの課題に対処し、シンボルレベルの表現ではなくビットシーケンス入力に焦点を当てた。 本研究では,軽量のminGRUモデルとSSMのMambaブロックを並列のTurboオートエンコーダフレームワークに統合することにより,Turboオートエンコーダ用のRNNを再検討する。
• 参考スコア（独自算出の注目度）: 19.9261278450169
• License:
• Abstract: Early neural channel coding approaches leveraged dense neural networks with one-hot encodings to design adaptive encoder-decoder pairs, improving block error rate (BLER) and automating the design process. However, these methods struggled with scalability as the size of message sets and block lengths increased. TurboAE addressed this challenge by focusing on bit-sequence inputs rather than symbol-level representations, transforming the scalability issue associated with large message sets into a sequence modeling problem. While recurrent neural networks (RNNs) were a natural fit for sequence processing, their reliance on sequential computations made them computationally expensive and inefficient for long sequences. As a result, TurboAE adopted convolutional network blocks, which were faster to train and more scalable, but lacked the sequential modeling advantages of RNNs. Recent advances in efficient RNN architectures, such as minGRU and minLSTM, and structured state space models (SSMs) like S4 and S6, overcome these limitations by significantly reducing memory and computational overhead. These models enable scalable sequence processing, making RNNs competitive for long-sequence tasks. In this work, we revisit RNNs for Turbo autoencoders by integrating the lightweight minGRU model with a Mamba block from SSMs into a parallel Turbo autoencoder framework. Our results demonstrate that this hybrid design matches the performance of convolutional network-based Turbo autoencoder approaches for short sequences while significantly improving scalability and training efficiency for long block lengths. This highlights the potential of efficient RNNs in advancing neural channel coding for long-sequence scenarios.
• Abstract（参考訳）: 初期のニューラルネットワーク符号化アプローチでは、高密度ニューラルネットワークとワンホット符号化を使用して、適応エンコーダとデコーダのペアを設計し、ブロックエラー率(BLER)を改善し、設計プロセスを自動化する。 しかし、これらの手法はメッセージセットやブロック長が大きくなるにつれてスケーラビリティに苦しんだ。 TurboAEはこの課題に対処し、シンボルレベルの表現よりもビットシーケンス入力に注目し、大きなメッセージセットに関連するスケーラビリティの問題をシーケンスモデリング問題に変換する。 リカレントニューラルネットワーク(RNN)はシーケンス処理に自然に適合するが、シーケンシャルな計算に依存するため、長いシーケンスでは計算コストが高く非効率であった。 結果としてTurboAEは、より高速でよりスケーラブルな畳み込みネットワークブロックを採用したが、RNNの逐次モデリングの利点に欠けていた。 minGRUやminLSTMといった効率的なRNNアーキテクチャの進歩、S4やS6のような構造化状態空間モデル(SSM)は、メモリと計算オーバーヘッドを大幅に削減することでこれらの制限を克服している。 これらのモデルはスケーラブルなシーケンス処理を可能にし、RNNは長いシーケンスタスクと競合する。 本研究では,軽量のminGRUモデルとSSMのMambaブロックを並列のTurboオートエンコーダフレームワークに統合することにより,Turboオートエンコーダ用のRNNを再検討する。 このハイブリッド設計は,短周期の畳み込みネットワークに基づくTurbo Autoencoderアプローチの性能に適合し,長ブロック長のスケーラビリティとトレーニング効率を著しく向上することを示した。 これは、長いシーケンスシナリオのニューラルチャネルコーディングを前進させる上で、効率的なRNNの可能性を強調している。

関連論文リスト

• On the Design and Performance of Machine Learning Based Error Correcting Decoders [3.8289109929360245]
  まず, 単一ラベル型ニューラルネットワーク (SLNN) とマルチラベル型ニューラルネットワーク (MLNN) のデコーダについて検討した。 次に、エラー訂正符号変換器(ECCT)とクロスアテンションメッセージパッシング変換器(CrossMPT)という、2つのトランスフォーマーベースのデコーダに注目します。
  論文  参考訳（メタデータ） (2024-10-21T11:23:23Z)
• Canonic Signed Spike Coding for Efficient Spiking Neural Networks [7.524721345903027]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンのスパイキング行動を模倣し、ニューラルコンピューティングと人工知能の進歩において重要な役割を果たすと期待されている。 ANN(Artificial Neural Networks)からSNN(SNN)への変換は最も広く使われているトレーニング手法であり、その結果のSNNが大規模データセット上でANNと同等に動作することを保証する。 現在のスキームは、通常、スパイクカウントまたはタイピングのタイミングを使用しており、これはANNのアクティベーションと線形に関連しており、必要な時間ステップの数を増やす。 我々は新しいCanononic Signed Spike (CSS) 符号化を提案する。
  論文  参考訳（メタデータ） (2024-08-30T12:39:25Z)
• Attention as an RNN [66.5420926480473]
  我々は,そのテキストマンディ・ツー・ワンのRNN出力を効率的に計算できる特別なリカレントニューラルネットワーク(RNN)として注目されることを示す。 本稿では,並列プレフィックススキャンアルゴリズムを用いて,注目のテキストマンディ・ツー・マニーRNN出力を効率よく計算する手法を提案する。 Aarensは、一般的な4つのシーケンシャルな問題設定に散らばる38ドルのデータセットで、Transformersに匹敵するパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-22T19:45:01Z)
• RWKV: Reinventing RNNs for the Transformer Era [54.716108899349614]
  本稿では,変換器の効率的な並列化学習とRNNの効率的な推論を組み合わせた新しいモデルアーキテクチャを提案する。 モデルを最大14億のパラメータにスケールし、トレーニングされたRNNの中では最大で、同じサイズのTransformerと同等のRWKVのパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2023-05-22T13:57:41Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Saving RNN Computations with a Neuron-Level Fuzzy Memoization Scheme [0.0]
  リカレントニューラルネットワーク(Recurrent Neural Networks, RNN)は、音声認識や機械翻訳などのアプリケーションにおいて重要な技術である。 我々は,各ニューロンの出力を動的にキャッシュし,現在の出力が以前計算された結果に類似すると予測されたときに再利用する,ニューロンレベルのファジィメモ化スキームを構築した。 提案手法は26.7%以上の計算を回避し、21%の省エネと1.4倍の高速化を実現している。
  論文  参考訳（メタデータ） (2022-02-14T09:02:03Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Spike-inspired Rank Coding for Fast and Accurate Recurrent Neural Networks [5.986408771459261]
  生物学的スパイクニューラルネットワーク(SNN)は、その出力の情報を時間的にエンコードすることができるが、人工ニューラルネットワーク(ANN)は従来はそうではない。 ここでは、SNNにインスパイアされたランク符号化(RC)のような時間符号化が、LSTMなどの従来のANNにも適用可能であることを示す。 RCトレーニングは推論中の時間と監視を著しく低減し、精度は最小限に抑えられる。 逐次分類の2つのおもちゃ問題と、最初の入力時間ステップ後にRCモデルが99.19%の精度を達成できる時間符号化MNISTデータセットにおいて、これらを実証する。
  論文  参考訳（メタデータ） (2021-10-06T15:51:38Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• Block-term Tensor Neural Networks [29.442026567710435]
  ブロック終端テンソル層(BT層)は,CNNやRNNなどのニューラルネットワークモデルに容易に適用可能であることを示す。 CNNとRNNのBT層は、元のDNNの表現力を維持したり改善したりしながら、パラメータ数に対して非常に大きな圧縮比を達成することができる。
  論文  参考訳（メタデータ） (2020-10-10T09:58:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。