論文の概要: Application of Transformers for Nonlinear Channel Compensation in Optical Systems

• arxiv url: http://arxiv.org/abs/2304.13119v3
• Date: Thu, 1 Aug 2024 15:52:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-02 15:07:44.647611
• Title: Application of Transformers for Nonlinear Channel Compensation in Optical Systems
• Title（参考訳）: 非線形チャネル補償用変圧器の光学系への応用
• Authors: Behnam Behinaein Hamgini, Hossein Najafi, Ali Bakhshali, Zhuhong Zhang,
• Abstract要約: 変換器をベースとした非線形光チャネル等化器を提案する。 並列計算の活用とシンボル列間の直接メモリへの接続により,変換器を非線形補償に有効に利用できることを示す。
• 参考スコア（独自算出の注目度）: 0.23499129784547654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we introduce a new nonlinear optical channel equalizer based on Transformers. By leveraging parallel computation and attending directly to the memory across a sequence of symbols, we show that Transformers can be used effectively for nonlinear compensation (NLC) in coherent long-haul transmission systems. For this application, we present an implementation of the encoder part of the Transformer and analyze its performance over a wide range of different hyper-parameters. It is shown that by proper embeddings and processing blocks of symbols at each iteration and also carefully selecting subsets of the encoder's output to be processed together, an efficient nonlinear equalization can be achieved for different complexity constraints. To reduce the computational complexity of the attention mechanism, we further propose the use of a physic-informed mask inspired by nonlinear perturbation theory. We also compare the Transformer-NLC with digital back-propagation (DBP) under different transmission scenarios in order to demonstrate the flexibility and generalizability of the proposed data-driven solution.
• Abstract（参考訳）: 本稿ではトランスフォーマに基づく非線形光チャネル等化器を提案する。 並列計算の活用とシンボル列間のメモリへの直接アクセスにより,コヒーレント長距離伝送システムにおける非線形補償(NLC)に変換器を効果的に利用できることを示す。 本稿では,トランスフォーマーのエンコーダ部を実装し,その性能を多種多様なハイパーパラメータで解析する。 各繰り返しにおけるシンボルの適切な埋め込みと処理ブロックによって、同時に処理されるエンコーダの出力のサブセットを慎重に選択することにより、異なる複雑さの制約に対して効率的な非線形等化が達成できることが示されている。 注意機構の計算複雑性を低減するため,非線形摂動理論にインスパイアされた物理インフォームドマスクの利用を提案する。 また、Transformer-NLCとデジタルバックプロパゲーション(DBP)を比較し、提案したデータ駆動ソリューションの柔軟性と一般化性を示す。

関連論文リスト

• Variable-size Symmetry-based Graph Fourier Transforms for image compression [65.7352685872625]
  可変サイズのグラフフーリエ変換を符号化フレームワークに導入する。 提案アルゴリズムは,ノード間の特定の対称接続を追加することにより,グリッド上の対称グラフを生成する。 実験により、SBGFTは、明示的な多重変換選択に統合された一次変換よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-24T13:00:44Z)
• Unconventional Computing based on Four Wave Mixing in Highly Nonlinear Waveguides [0.0]
  高非線形導波路の4波混合効果に基づくフォトニック非従来型加速器の数値解析を行った。 豊かなKerr誘起非線形性を利用することで、入力信号の複数の非線形変換を生成し、複雑な非線形タスクを解くのに使うことができる。
  論文  参考訳（メタデータ） (2024-02-14T12:34:38Z)
• B-cos Alignment for Inherently Interpretable CNNs and Vision Transformers [97.75725574963197]
  本稿では,深層ニューラルネットワーク(DNN)の学習における重み付けの促進による解釈可能性の向上に向けた新たな方向性を提案する。 このような変換の列は、完全なモデル計算を忠実に要約する単一の線形変換を誘導することを示す。 得られた説明は視覚的品質が高く,定量的解釈可能性指標下では良好に機能することを示す。
  論文  参考訳（メタデータ） (2023-06-19T12:54:28Z)
• Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
  この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。 コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。 エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:31Z)
• RWKV: Reinventing RNNs for the Transformer Era [54.716108899349614]
  本稿では,変換器の効率的な並列化学習とRNNの効率的な推論を組み合わせた新しいモデルアーキテクチャを提案する。 モデルを最大14億のパラメータにスケールし、トレーニングされたRNNの中では最大で、同じサイズのTransformerと同等のRWKVのパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2023-05-22T13:57:41Z)
• A Neural ODE Interpretation of Transformer Layers [8.839601328192957]
  マルチヘッドアテンションとマルチレイヤパーセプトロン(MLP)レイヤの交互パターンを使用するトランスフォーマーレイヤは、さまざまな機械学習問題に対して効果的なツールを提供する。 我々は、この接続を構築し、トランス層の内部構造を変更することを提案する。 実験により, この簡単な修正により, 複数のタスクにおけるトランスフォーマーネットワークの性能が向上することが示された。
  論文  参考訳（メタデータ） (2022-12-12T16:18:58Z)
• Error Correction Code Transformer [92.10654749898927]
  本稿では,トランスフォーマーアーキテクチャを任意のブロック長で線形符号のソフトデコードに拡張することを提案する。 我々は,各チャネルの出力次元を高次元に符号化し,個別に処理すべきビット情報のより良い表現を行う。 提案手法は、トランスフォーマーの極端なパワーと柔軟性を示し、既存の最先端のニューラルデコーダを、その時間的複雑さのごく一部で大きなマージンで上回る。
  論文  参考訳（メタデータ） (2022-03-27T15:25:58Z)
• Symmetry-Aware Autoencoders: s-PCA and s-nlPCA [0.0]
  本稿では,空間トランスフォーマーネットワークとシームズネットワークを用いて,連続的かつ離散的な対称性を考慮し,自動エンコーダに機械学習を組み込む手法を提案する。 提案した対称性対応オートエンコーダは、基礎となる物理系の力学を規定する所定の入力変換に不変である。
  論文  参考訳（メタデータ） (2021-11-04T14:22:19Z)
• Relative Positional Encoding for Transformers with Linear Complexity [30.48367640796256]
  古典的なトランスフォーマーには、相対的位置符号化(RPE)が有用である。 RPEは、注意行列の明示的な計算を必要とするため、最近のTransformerの線形変種では利用できない。 本論文では,古典的添加剤(正弦波型)PEの代替として用いることができ,RPEのように振る舞うことができるPEの正確な生成方法について述べる。
  論文  参考訳（メタデータ） (2021-05-18T09:52:32Z)
• Sparse Quantized Spectral Clustering [85.77233010209368]
  このような非線形変換の下で行列の固有スペクトルがどのように変化するのかを、ランダム行列理論のツールを用いて正確に述べる。 急激なスペーシング/量子化の下でも,情報的固有構造にはほとんど変化は見られなかった。
  論文  参考訳（メタデータ） (2020-10-03T15:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。