論文の概要: Application of Transformers for Nonlinear Channel Compensation in Optical Systems

• arxiv url: http://arxiv.org/abs/2304.13119v2
• Date: Mon, 4 Mar 2024 22:42:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 03:50:35.385320
• Title: Application of Transformers for Nonlinear Channel Compensation in Optical Systems
• Title（参考訳）: 非線形チャネル補償用変圧器の光学系への応用
• Authors: Behnam Behinaein Hamgini, Hossein Najafi, Ali Bakhshali, and Zhuhong Zhang
• Abstract要約: 変換器をベースとした非線形光チャネル等化器を提案する。 本研究では,コヒーレント長距離伝送における非線形等化に変換器を効果的に利用できることを示す。
• 参考スコア（独自算出の注目度）: 0.23499129784547654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we introduce a new nonlinear optical channel equalizer based on Transformers. By leveraging parallel computation and attending directly to the memory across a sequence of symbols, we show that Transformers can be used effectively for nonlinear equalization in coherent long-haul transmission. For this application, we present an implementation of the encoder part of the Transformer and analyze its performance over a wide range of different hyper-parameters. It is shown that by processing blocks of symbols at each iteration and carefully selecting subsets of the encoder's output to be processed together, an efficient nonlinear compensation can be achieved for different complexity constraints. We also propose the use of a physic-informed mask inspired by nonlinear perturbation theory for reducing the computational complexity of the attention mechanism.
• Abstract（参考訳）: 本稿ではトランスフォーマに基づく非線形光チャネル等化器を提案する。 並列計算を活用し、シンボル列にまたがるメモリに直接参加することにより、コヒーレントな長距離伝送における非線形等化にトランスフォーマーを効果的に使用できることを示す。 本稿では,トランスフォーマーのエンコーダ部を実装し,その性能を多種多様なハイパーパラメータで解析する。 各繰り返しでシンボルのブロックを処理し、エンコーダの出力のサブセットを慎重に選択することにより、異なる複雑さの制約に対して効率的な非線形補償を実現できることを示す。 また,非線形摂動理論にインスパイアされた物理インフォームドマスクを用いて,注意機構の計算複雑性を低減することを提案する。

関連論文リスト

• On Disentangled Training for Nonlinear Transform in Learned Image Compression [59.66885464492666]
  学習画像圧縮(lic)は,従来のコーデックに比べて高いレート歪み(R-D)性能を示した。 既存のlic法は、非線形変換の学習において、エネルギーのコンパクト化によって生じる緩やかな収束を見落としている。 非線形変換の訓練において, エネルギーの縮退を両立させる線形補助変換(AuxT)を提案する。
  論文  参考訳（メタデータ） (2025-01-23T15:32:06Z)
• Variable-size Symmetry-based Graph Fourier Transforms for image compression [65.7352685872625]
  可変サイズのグラフフーリエ変換を符号化フレームワークに導入する。 提案アルゴリズムは,ノード間の特定の対称接続を追加することにより,グリッド上の対称グラフを生成する。 実験により、SBGFTは、明示的な多重変換選択に統合された一次変換よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-24T13:00:44Z)
• Unconventional Computing based on Four Wave Mixing in Highly Nonlinear Waveguides [0.0]
  高非線形導波路の4波混合効果に基づくフォトニック非従来型加速器の数値解析を行った。 豊かなKerr誘起非線形性を利用することで、入力信号の複数の非線形変換を生成し、複雑な非線形タスクを解くのに使うことができる。
  論文  参考訳（メタデータ） (2024-02-14T12:34:38Z)
• B-cos Alignment for Inherently Interpretable CNNs and Vision Transformers [97.75725574963197]
  本稿では,深層ニューラルネットワーク(DNN)の学習における重み付けの促進による解釈可能性の向上に向けた新たな方向性を提案する。 このような変換の列は、完全なモデル計算を忠実に要約する単一の線形変換を誘導することを示す。 得られた説明は視覚的品質が高く,定量的解釈可能性指標下では良好に機能することを示す。
  論文  参考訳（メタデータ） (2023-06-19T12:54:28Z)
• Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
  この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。 コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。 エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:31Z)
• A Neural ODE Interpretation of Transformer Layers [8.839601328192957]
  マルチヘッドアテンションとマルチレイヤパーセプトロン(MLP)レイヤの交互パターンを使用するトランスフォーマーレイヤは、さまざまな機械学習問題に対して効果的なツールを提供する。 我々は、この接続を構築し、トランス層の内部構造を変更することを提案する。 実験により, この簡単な修正により, 複数のタスクにおけるトランスフォーマーネットワークの性能が向上することが示された。
  論文  参考訳（メタデータ） (2022-12-12T16:18:58Z)
• Error Correction Code Transformer [92.10654749898927]
  本稿では,トランスフォーマーアーキテクチャを任意のブロック長で線形符号のソフトデコードに拡張することを提案する。 我々は,各チャネルの出力次元を高次元に符号化し,個別に処理すべきビット情報のより良い表現を行う。 提案手法は、トランスフォーマーの極端なパワーと柔軟性を示し、既存の最先端のニューラルデコーダを、その時間的複雑さのごく一部で大きなマージンで上回る。
  論文  参考訳（メタデータ） (2022-03-27T15:25:58Z)
• Symmetry-Aware Autoencoders: s-PCA and s-nlPCA [0.0]
  本稿では,空間トランスフォーマーネットワークとシームズネットワークを用いて,連続的かつ離散的な対称性を考慮し,自動エンコーダに機械学習を組み込む手法を提案する。 提案した対称性対応オートエンコーダは、基礎となる物理系の力学を規定する所定の入力変換に不変である。
  論文  参考訳（メタデータ） (2021-11-04T14:22:19Z)
• Relative Positional Encoding for Transformers with Linear Complexity [30.48367640796256]
  古典的なトランスフォーマーには、相対的位置符号化(RPE)が有用である。 RPEは、注意行列の明示的な計算を必要とするため、最近のTransformerの線形変種では利用できない。 本論文では,古典的添加剤(正弦波型)PEの代替として用いることができ,RPEのように振る舞うことができるPEの正確な生成方法について述べる。
  論文  参考訳（メタデータ） (2021-05-18T09:52:32Z)
• Sparse Quantized Spectral Clustering [85.77233010209368]
  このような非線形変換の下で行列の固有スペクトルがどのように変化するのかを、ランダム行列理論のツールを用いて正確に述べる。 急激なスペーシング/量子化の下でも,情報的固有構造にはほとんど変化は見られなかった。
  論文  参考訳（メタデータ） (2020-10-03T15:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。