論文の概要: Building Blocks for a Complex-Valued Transformer Architecture

• arxiv url: http://arxiv.org/abs/2306.09827v1
• Date: Fri, 16 Jun 2023 13:11:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-19 13:51:53.688819
• Title: Building Blocks for a Complex-Valued Transformer Architecture
• Title（参考訳）: 複合価値トランスフォーマアーキテクチャのためのビルディングブロック
• Authors: Florian Eilers and Xiaoyi Jiang
• Abstract要約: 我々は、$mathbbR2$へのプロジェクションを使わずに、複雑な値の信号にディープラーニングを適用することを目指している。 本稿では,複雑な値を持つDot-Product Attention機構の複数バージョンと,複雑な値を持つレイヤの正規化について述べる。 我々は,MusicNetデータセットの分類とシーケンス生成タスクを検証し,実数値トランスフォーマーアーキテクチャと比較した場合のオンパー性能を維持しながら,オーバーフィッティングに対するロバスト性の向上を示した。
• 参考スコア（独自算出の注目度）: 5.177947445379688
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most deep learning pipelines are built on real-valued operations to deal with real-valued inputs such as images, speech or music signals. However, a lot of applications naturally make use of complex-valued signals or images, such as MRI or remote sensing. Additionally the Fourier transform of signals is complex-valued and has numerous applications. We aim to make deep learning directly applicable to these complex-valued signals without using projections into $\mathbb{R}^2$. Thus we add to the recent developments of complex-valued neural networks by presenting building blocks to transfer the transformer architecture to the complex domain. We present multiple versions of a complex-valued Scaled Dot-Product Attention mechanism as well as a complex-valued layer normalization. We test on a classification and a sequence generation task on the MusicNet dataset and show improved robustness to overfitting while maintaining on-par performance when compared to the real-valued transformer architecture.
• Abstract（参考訳）: ほとんどのディープラーニングパイプラインは、画像や音声、音楽信号などの実際の値入力を扱うために、実際の値操作に基づいて構築されている。 しかし、多くのアプリケーションは当然、MRIやリモートセンシングのような複雑な値の信号や画像を利用する。 さらに、信号のフーリエ変換は複素値であり、多くの応用がある。 我々は,これらの複素数値信号に対して,$\mathbb{R}^2$への投影を使わずに,深層学習を直接適用することを目指している。 そこで我々は,複雑な領域にトランスフォーマーアーキテクチャを転送するビルディングブロックを提示することにより,ニューラルネットワークの最近の発展を補足する。 本稿では,複雑な値を持つDot-Product Attention機構の複数バージョンと,複雑な値を持つレイヤ正規化を提案する。 我々は,MusicNetデータセットの分類とシーケンス生成タスクを検証し,実数値トランスフォーマーアーキテクチャと比較して,オンパー性能を維持しつつ,オーバーフィッティングに対するロバスト性の向上を示した。

関連論文リスト

• Complex-valued Adaptive System Identification via Low-Rank Tensor Decomposition [3.268878947476012]
  本研究では、複素数値信号の処理を可能にする2つの新しいアーキテクチャを導出する。 これらの拡張は、パフォーマンスの観点から、オリジナルのアーキテクチャの自明で複雑な拡張を超えることができることを示す。
  論文  参考訳（メタデータ） (2023-06-28T07:01:08Z)
• Contextual Learning in Fourier Complex Field for VHR Remote Sensing Images [64.84260544255477]
  変圧器を用いたモデルでは、一般解像度(224x224ピクセル)の自然画像から高次文脈関係を学習する優れた可能性を示した そこで本研究では,高次文脈情報のモデル化を行う複雑な自己意識(CSA)機構を提案する。 CSAブロックの様々な層を積み重ねることで、VHR空中画像からグローバルな文脈情報を学習するFourier Complex Transformer(FCT)モデルを提案する。
  論文  参考訳（メタデータ） (2022-10-28T08:13:33Z)
• Rich CNN-Transformer Feature Aggregation Networks for Super-Resolution [50.10987776141901]
  近年の視覚変換器と自己注意は,様々なコンピュータビジョンタスクにおいて有望な成果を上げている。 我々は,CNNの局所的特徴とトランスフォーマーが捉えた長距離依存性を活用する,超解像(SR)タスクのための効果的なハイブリッドアーキテクチャを提案する。 提案手法は,多数のベンチマークデータセットから最先端のSR結果を得る。
  論文  参考訳（メタデータ） (2022-03-15T06:52:25Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• TransCMD: Cross-Modal Decoder Equipped with Transformer for RGB-D Salient Object Detection [86.94578023985677]
  本研究では,グローバルな情報アライメントと変革の観点から,この課題を再考する。 具体的には、トランスCMD(TransCMD)は、複数のクロスモーダル統合ユニットをカスケードして、トップダウントランスフォーマーベースの情報伝達経路を構築する。 7つのRGB-D SODベンチマークデータセットの実験結果から、単純な2ストリームエンコーダデコーダフレームワークが、最先端のCNNベースの手法を超越できることが示されている。
  論文  参考訳（メタデータ） (2021-12-04T15:45:34Z)
• Multi-Exit Vision Transformer for Dynamic Inference [88.17413955380262]
  視覚変換器のバックボーンの動的推論に使用できる早期出口分岐のための7つの異なるアーキテクチャを提案する。 提案したアーキテクチャのそれぞれが,精度と速度のトレードオフにおいて有用であることを示す。
  論文  参考訳（メタデータ） (2021-06-29T09:01:13Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)
• Modulation Pattern Detection Using Complex Convolutions in Deep Learning [0.0]
  ノイズやチャネル障害が信号に影響を与えるため、変調パターンの分類は困難である。 我々は、一連の畳み込みニューラルネットワークアーキテクチャにおける複雑な畳み込みの実装と利用について研究する。
  論文  参考訳（メタデータ） (2020-10-14T02:43:11Z)
• Analysis of Deep Complex-Valued Convolutional Neural Networks for MRI Reconstruction [9.55767753037496]
  本研究では、2チャネル実数値ネットワークの代わりに画像再構成のための終端複素値畳み込みニューラルネットワークについて検討する。 複雑な値の畳み込みを持つ複素値CNNは、トレーニング可能なパラメータの数が同じ実値の畳み込みよりも優れた再構成を提供することがわかった。
  論文  参考訳（メタデータ） (2020-04-03T19:00:23Z)
• Co-VeGAN: Complex-Valued Generative Adversarial Network for Compressive Sensing MR Image Reconstruction [8.856953486775716]
  本稿では,複素値入力を処理するための,複素値対向ネットワーク(Co-VeGAN)に基づく新しいフレームワークを提案する。 我々のモデルは複雑な値入力を処理でき、CS-MR画像の高品質な再構成を可能にする。
  論文  参考訳（メタデータ） (2020-02-24T20:28:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。