論文の概要: LightCode: Light Analytical and Neural Codes for Channels with Feedback
- arxiv url: http://arxiv.org/abs/2403.10751v3
- Date: Sat, 16 Nov 2024 19:55:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-19 14:26:52.656027
- Title: LightCode: Light Analytical and Neural Codes for Channels with Feedback
- Title（参考訳）: LightCode: フィードバックのあるチャネルの光分析とニューラルコード
- Authors: Sravan Kumar Ankireddy, Krishna Narayanan, Hyeji Kim,
- Abstract要約: 我々は,通信システムに適した低複雑さの符号化方式を設計することに注力する。
まず、Schalkwijk-Kailath (SK) と Gallager-Nakibouglu (GN) にインスパイアされた解析的符号化スキームであるPowerBlast が、SK と GN のスキームに対して顕著な信頼性向上を実現していることを示す。
次に、低SNR領域の信頼性を高めるために、既存のディープラーニングベースのコードと比較して、わずかなメモリと計算を使いながら、最先端の信頼性を実現する軽量ニューラルネットワークであるLightCodeを提案する。
- 参考スコア（独自算出の注目度）: 10.619569069690185
- License:
- Abstract: The design of reliable and efficient codes for channels with feedback remains a longstanding challenge in communication theory. While significant improvements have been achieved by leveraging deep learning techniques, neural codes often suffer from high computational costs, a lack of interpretability, and limited practicality in resource-constrained settings. We focus on designing low-complexity coding schemes that are interpretable and more suitable for communication systems. We advance both analytical and neural codes. First, we demonstrate that PowerBlast, an analytical coding scheme inspired by Schalkwijk-Kailath (SK) and Gallager-Nakibo\u{g}lu (GN) schemes, achieves notable reliability improvements over both SK and GN schemes, outperforming neural codes in high signal-to-noise ratio (SNR) regions. Next, to enhance reliability in low-SNR regions, we propose LightCode, a lightweight neural code that achieves state-of-the-art reliability while using a fraction of memory and compute compared to existing deeplearning-based codes. Finally, we systematically analyze the learned codes, establishing connections between LightCode and PowerBlast, identifying components crucial for performance, and providing interpretation aided by linear regression analysis.
- Abstract（参考訳）: フィードバックのあるチャネルのための信頼性と効率のよい符号の設計は、通信理論における長年にわたる課題である。
ディープラーニング技術を活用することで、大幅な改善が達成されているが、ニューラルネットワークは高い計算コスト、解釈可能性の欠如、リソース制約された設定における限られた実用性に悩まされることが多い。
我々は,通信システムに適した低複雑さの符号化方式を設計することに注力する。
我々は分析コードとニューラルコードの両方を前進させる。
まず、Schalkwijk-Kailath (SK) と Gallager-Nakibo\u{g}lu (GN) スキームにインスパイアされた解析的符号化スキームであるPowerBlast が、SK と GN スキームの双方に対して顕著な信頼性向上を実現し、高信号-雑音比(SNR)領域におけるニューラルコードよりも優れた性能を発揮することを示した。
次に、低SNR領域の信頼性を高めるために、既存のディープラーニングベースのコードと比較して、わずかなメモリと計算を使いながら、最先端の信頼性を実現する軽量ニューラルネットワークであるLightCodeを提案する。
最後に、学習したコードを体系的に解析し、LightCodeとPowerBlastの接続を確立し、性能に不可欠なコンポーネントを特定し、線形回帰分析によって支援された解釈を提供する。
関連論文リスト
- Stochastic Spiking Neural Networks with First-to-Spike Coding [7.955633422160267]
スパイキングニューラルネットワーク (SNN) は、その生物の楽観性とエネルギー効率で知られている。
本研究では,SNNアーキテクチャにおける新しい計算手法と情報符号化方式の融合について検討する。
提案手法のトレードオフを,精度,推論遅延,スパイク空間性,エネルギー消費,データセットの観点から検討する。
論文 参考訳（メタデータ） (2024-04-26T22:52:23Z) - The Role of Foundation Models in Neuro-Symbolic Learning and Reasoning [54.56905063752427]
Neuro-Symbolic AI(NeSy)は、AIシステムの安全なデプロイを保証することを約束している。
ニューラルネットワークとシンボリックコンポーネントを順次トレーニングする既存のパイプラインは、広範なラベリングを必要とする。
新しいアーキテクチャであるNeSyGPTは、生データから象徴的特徴を抽出する視覚言語基盤モデルを微調整する。
論文 参考訳（メタデータ） (2024-02-02T20:33:14Z) - NeuralFastLAS: Fast Logic-Based Learning from Raw Data [54.938128496934695]
シンボリック・ルール学習者は解釈可能な解を生成するが、入力を記号的に符号化する必要がある。
ニューロシンボリックアプローチは、ニューラルネットワークを使用して生データを潜在シンボリック概念にマッピングすることで、この問題を克服する。
我々は,ニューラルネットワークを記号学習者と共同でトレーニングする,スケーラブルで高速なエンドツーエンドアプローチであるNeuralFastLASを紹介する。
論文 参考訳（メタデータ） (2023-10-08T12:33:42Z) - Optimal Transport-inspired Deep Learning Framework for Slow-Decaying
Problems: Exploiting Sinkhorn Loss and Wasserstein Kernel [0.0]
還元次数モデル(ROM)は、高次元システムに対処するために科学計算で広く使われている。
最適輸送理論とニューラルネットワークに基づく手法を統合した新しいROMフレームワークを提案する。
我々のフレームワークは、精度と計算効率の点で従来のROM手法より優れています。
論文 参考訳（メタデータ） (2023-08-26T10:24:43Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳（メタデータ） (2023-05-26T02:52:12Z) - Robust Non-Linear Feedback Coding via Power-Constrained Deep Learning [7.941112438865385]
我々は,チャネルノイズに対するロバスト性を大幅に向上させる非線形フィードバック符号の新たなファミリーを開発する。
我々のオートエンコーダベースのアーキテクチャは、連続するビットブロックに基づいてコードを学ぶように設計されている。
提案手法は, 現実的なフォワードやフィードバックノイズシステムよりも, 最先端のフィードバックコードよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-04-25T22:21:26Z) - Learning to Precode for Integrated Sensing and Communications Systems [11.689567114100514]
我々はISACシステムのための送信プリコーダを設計するための教師なし学習ニューラルモデルを提案する。
提案手法は,チャネル推定誤差が存在する場合,従来の最適化手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-03-11T11:24:18Z) - Great Truths are Always Simple: A Rather Simple Knowledge Encoder for
Enhancing the Commonsense Reasoning Capacity of Pre-Trained Models [89.98762327725112]
自然言語における常識推論は、人工知能システムの望ましい能力である。
複雑なコモンセンス推論タスクを解決するための典型的な解決策は、知識対応グラフニューラルネットワーク(GNN)エンコーダで事前訓練された言語モデル(PTM)を強化することである。
有効性にもかかわらず、これらのアプローチは重いアーキテクチャ上に構築されており、外部知識リソースがPTMの推論能力をどのように改善するかを明確に説明できない。
論文 参考訳（メタデータ） (2022-05-04T01:27:36Z) - Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。
学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。
さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
論文 参考訳（メタデータ） (2021-06-15T05:30:17Z) - Deep Multi-Task Learning for Cooperative NOMA: System Design and
Principles [52.79089414630366]
我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。
我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
論文 参考訳（メタデータ） (2020-07-27T12:38:37Z) - Infomax Neural Joint Source-Channel Coding via Adversarial Bit Flip [41.28049430114734]
本稿では、ニューラルジョイント・ソース・チャネル符号化方式の安定性と堅牢性を改善するために、Infomax Adversarial-Bit-Flip (IABF) と呼ばれる新しい正規化手法を提案する。
我々のIABFは、圧縮と誤り訂正のベンチマークの両方で最先端のパフォーマンスを達成でき、ベースラインをかなりの差で上回ることができる。
論文 参考訳（メタデータ） (2020-04-03T10:00:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。