論文の概要: Converting Transformers into DGNNs Form

• arxiv url: http://arxiv.org/abs/2502.00585v1
• Date: Sat, 01 Feb 2025 22:44:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:03:47.001273
• Title: Converting Transformers into DGNNs Form
• Title（参考訳）: 変換器をDGNN形式に変換する
• Authors: Jie Zhang, Kuan-Chieh Wang, Bo-Wei Chiu, Min-Te Sun,
• Abstract要約: ダイグラフフーリエ変換に基づく合成ユニタリグラフ畳み込みを導入する。 Converterと呼ぶ結果のモデルは、トランスフォーマーをダイレクトグラフニューラルネットワーク形式に効果的に変換する。 我々は、Long-Range Arenaベンチマーク、Long-Range Arena分類、DNAシークエンスに基づく分類でConverterを検証した。
• 参考スコア（独自算出の注目度）: 7.441691512676916
• License:
• Abstract: Recent advances in deep learning have established Transformer architectures as the predominant modeling paradigm. Central to the success of Transformers is the self-attention mechanism, which scores the similarity between query and key matrices to modulate a value matrix. This operation bears striking similarities to digraph convolution, prompting an investigation into whether digraph convolution could serve as an alternative to self-attention. In this study, we formalize this concept by introducing a synthetic unitary digraph convolution based on the digraph Fourier transform. The resulting model, which we term Converter, effectively converts a Transformer into a Directed Graph Neural Network (DGNN) form. We have tested Converter on Long-Range Arena benchmark, long document classification, and DNA sequence-based taxonomy classification. Our experimental results demonstrate that Converter achieves superior performance while maintaining computational efficiency and architectural simplicity, which establishes it as a lightweight yet powerful Transformer variant.
• Abstract（参考訳）: 近年のディープラーニングの進歩により、トランスフォーマーアーキテクチャが主流のモデリングパラダイムとして確立されている。 Transformersの成功の中心は、クエリとキー行列の類似性をスコアし、値行列を変調する自己アテンションメカニズムである。 この作戦はディグラフの畳み込みと著しく類似しており、ディグラフの畳み込みが自己達成の代替となるかどうかを調査するきっかけとなった。 本研究では,この概念を,図形フーリエ変換に基づく合成ユニタリグラフ畳み込みを導入することによって定式化する。 Converterと呼ぶ結果のモデルは、TransformerをDGNN(Directed Graph Neural Network)形式に変換する。 我々は、Long-Range Arenaベンチマーク、Long-Range Arena分類、DNAシークエンスに基づく分類でConverterを検証した。 実験の結果,コンバータは計算効率とアーキテクチャの単純さを保ちながら優れた性能を実現し,軽量でパワフルなトランスフォーマーとして確立した。

関連論文リスト

• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• SSformer: A Lightweight Transformer for Semantic Segmentation [7.787950060560868]
  Swin Transformerは階層アーキテクチャとシフトウィンドウを使用して、様々な視覚タスクで新しい記録を樹立した。 我々はSSformerと呼ばれる軽量で効果的なトランスモデルを設計する。 実験の結果,提案したSSformerは最先端モデルと同等のmIoU性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-08-03T12:57:00Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• New Approaches to Long Document Summarization: Fourier Transform Based Attention in a Transformer Model [0.0]
  本稿では,Fourier Transforms (FNET) を用いた新しいトークン混合方式を広範囲に再設計し,計算コストのかかる自己保持機構を置き換えた。 また,8000以上のトークンを処理可能な確立された手法を用いて,長い文書要約を行う。 全ての変更は、トランスフォーマーアーキテクチャで元のFNETエンコーダを使用する場合よりも、要約タスクのパフォーマンスが向上した。
  論文  参考訳（メタデータ） (2021-11-25T18:03:41Z)
• Transformer Assisted Convolutional Network for Cell Instance Segmentation [5.195101477698897]
  本稿では,従来の畳み込み特徴抽出器の性能向上のためのトランスフォーマーに基づく手法を提案する。 提案手法は, 変圧器の自己アテンションに類似した投影操作を適用することにより, 変圧器を用いたトークン埋め込みと畳み込み特徴写像を融合する。
  論文  参考訳（メタデータ） (2021-10-05T18:18:31Z)
• nnFormer: Interleaved Transformer for Volumetric Segmentation [50.10441845967601]
  本稿では,自己意図と畳み込みを実証的に組み合わせた,インターリーブアーキテクチャを備えた強力なセグメンテーションモデルであるnnFormerを紹介する。 nnFormerは、SynapseとACDCの2つの一般的なデータセットで、以前のTransformerベースのメソッドよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2021-09-07T17:08:24Z)
• Visformer: The Vision-friendly Transformer [105.52122194322592]
  我々は視覚に優しいトランスフォーマーから短縮したvisformerという新しいアーキテクチャを提案する。 同じ計算の複雑さにより、VisformerはTransformerベースのモデルとConvolutionベースのモデルの両方をImageNet分類精度で上回る。
  論文  参考訳（メタデータ） (2021-04-26T13:13:03Z)
• Visual Saliency Transformer [127.33678448761599]
  RGBとRGB-Dの液状物体検出(SOD)のための、純粋な変圧器であるVST(Visual Saliency Transformer)に基づく新しい統一モデルを開発しました。 イメージパッチを入力として取り、トランスフォーマーを利用してイメージパッチ間のグローバルコンテキストを伝搬する。 実験結果から,RGBとRGB-D SODのベンチマークデータセットにおいて,本モデルが既存の最新結果を上回っていることが示された。
  論文  参考訳（メタデータ） (2021-04-25T08:24:06Z)
• Applying the Transformer to Character-level Transduction [68.91664610425114]
  この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。 十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-20T17:25:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。