Fugu-MT 論文翻訳(概要): Knowledge Distillation Applied to Optical Channel Equalization: Solving the Parallelization Problem of Recurrent Connection

論文の概要: Knowledge Distillation Applied to Optical Channel Equalization: Solving the Parallelization Problem of Recurrent Connection

arxiv url: http://arxiv.org/abs/2212.04569v1
Date: Thu, 8 Dec 2022 21:31:13 GMT
ステータス: 処理完了
システム内更新日: 2022-12-12 16:05:22.353310
Title: Knowledge Distillation Applied to Optical Channel Equalization: Solving the Parallelization Problem of Recurrent Connection
Title（参考訳）: 光チャネル等化に応用した知識蒸留:繰り返し接続の並列化問題の解法
Authors: Sasipim Srivallapanondh, Pedro J. Freire, Bernhard Spinnler, Nelson Costa, Antonio Napoli, Sergei K. Turitsyn, Jaroslaw E. Prilepsky
Abstract要約: 我々はRNNを並列化可能なフィードフォワード構造に再キャストする。後者はレイテンシが38%減少し、Qファクタは0.5dBにしか影響しない。
参考スコア（独自算出の注目度）: 1.6536971003729874
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: To circumvent the non-parallelizability of recurrent neural network-based equalizers, we propose knowledge distillation to recast the RNN into a parallelizable feedforward structure. The latter shows 38\% latency decrease, while impacting the Q-factor by only 0.5dB.
Abstract（参考訳）: 繰り返しニューラルネットワークを用いた等化器の非並列化性を回避するため,RNNを並列化可能なフィードフォワード構造に再キャストする知識蒸留を提案する。後者はレイテンシが38\%減少し、Qファクタは0.5dBにしか影響しない。

関連論文リスト

Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文参考訳（メタデータ） (2023-10-20T12:45:12Z)
Fading memory as inductive bias in residual recurrent networks [0.0]
我々は,リアプノフ指数を適切に定義した残差接続が生じる弱結合残差リカレントネットワーク(WCRNN)を導入する。ネットワーク表現性の向上をもたらす効果的な帰納バイアスが生じることを示す。
論文参考訳（メタデータ） (2023-07-27T13:00:21Z)
Multi-Task Learning to Enhance Generalizability of Neural Network Equalizers in Coherent Optical Systems [4.221674903725305]
NNベースの「単一」等化器は、打ち上げ電力、シンボルレート、送信距離の変動があっても再訓練することなく、CDCと比較して最大4dBのQ因子を改善する。
論文参考訳（メタデータ） (2023-07-04T08:56:09Z)
Analyzing Convergence in Quantum Neural Networks: Deviations from Neural Tangent Kernels [20.53302002578558]
量子ニューラルネットワーク(QNN)は、近未来のノイズ中間スケール量子(NISQ)コンピュータで効率的に実装可能なパラメータ化マッピングである。既存の実証的および理論的研究にもかかわらず、QNNトレーニングの収束は完全には理解されていない。
論文参考訳（メタデータ） (2023-03-26T22:58:06Z)
Low Complexity Convolutional Neural Networks for Equalization in Optical Fiber Transmission [0.0]
繊維透過効果を軽減するために畳み込みニューラルネットワークを提案する。これは、代替等化器と比較してトレーニング可能なパラメータを5倍に減らし、MSEと同等の複雑さを持つDBPと比較して3.5dBの改善を実現している。
論文参考訳（メタデータ） (2022-10-11T13:51:04Z)
Bayesian Recurrent Units and the Forward-Backward Algorithm [91.39701446828144]
ベイズの定理を用いることで、ユニットワイド・リカレンスとフォワード・バックワードアルゴリズムに類似した後方再帰を導出する。その結果得られたベイジアン再帰ユニットは、ディープラーニングフレームワーク内で再帰ニューラルネットワークとして統合することができる。音声認識の実験は、最先端の繰り返しアーキテクチャの最後に派生したユニットを追加することで、訓練可能なパラメータの点で非常に低コストで性能を向上させることを示唆している。
論文参考訳（メタデータ） (2022-07-21T14:00:52Z)
On the Convergence of Certified Robust Training with Interval Bound Propagation [147.77638840942447]
IBPトレーニングの収束に関する理論的解析を行った。 IBPトレーニングを用いてランダムに2層ReLUニューラルネットワークをロジスティック損失でトレーニングする場合、勾配降下はゼロロバストトレーニングエラーに線形収束可能であることを示す。
論文参考訳（メタデータ） (2022-03-16T21:49:13Z)
PR-RRN: Pairwise-Regularized Residual-Recursive Networks for Non-rigid Structure-from-Motion [58.75694870260649]
PR-RRNは、非剛性構造移動のための新しいニューラルネットワークベースの手法である。再建をさらに規則化するための2つの新しいペアワイズ正規化を提案する。提案手法は,CMU MOCAPとPASCAL3D+データセットの最先端性能を実現する。
論文参考訳（メタデータ） (2021-08-17T08:39:02Z)
A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文参考訳（メタデータ） (2021-01-12T00:40:45Z)
Implicit recurrent networks: A novel approach to stationary input processing with recurrent neural networks in deep learning [0.0]
本研究では,ニューラルネットの新たな実装を深層学習に導入し,検証する。繰り返しネットワークの暗黙的な実装にバックプロパゲーションアルゴリズムを実装するアルゴリズムを提案する。シングルレイヤの暗黙的リカレントネットワークはXOR問題を解くことができ、一方、単調に活性化関数が増加するフィードフォワードネットワークは、このタスクで失敗する。
論文参考訳（メタデータ） (2020-10-20T18:55:32Z)
Accelerating Feedforward Computation via Parallel Nonlinear Equation Solving [106.63673243937492]
ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
論文参考訳（メタデータ） (2020-02-10T10:11:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。