論文の概要: Graph Convolutions Enrich the Self-Attention in Transformers!

• arxiv url: http://arxiv.org/abs/2312.04234v5
• Date: Fri, 01 Nov 2024 08:16:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-04 14:33:11.088274
• Title: Graph Convolutions Enrich the Self-Attention in Transformers!
• Title（参考訳）: グラフ畳み込みはトランスフォーマーの自己意識を豊かにする!
• Authors: Jeongwhan Choi, Hyowon Wi, Jayoung Kim, Yehjin Shin, Kookjin Lee, Nathaniel Trask, Noseong Park,
• Abstract要約: 本稿では,グラフフィルタに基づく自己注意法(GFSA)を提案する。 GFSAは,コンピュータビジョン,自然言語処理,グラフレベルタスク,音声認識,コード分類など,様々な分野におけるトランスフォーマーの性能向上を実証する。
• 参考スコア（独自算出の注目度）: 23.47074245564352
• License:
• Abstract: Transformers, renowned for their self-attention mechanism, have achieved state-of-the-art performance across various tasks in natural language processing, computer vision, time-series modeling, etc. However, one of the challenges with deep Transformer models is the oversmoothing problem, where representations across layers converge to indistinguishable values, leading to significant performance degradation. We interpret the original self-attention as a simple graph filter and redesign it from a graph signal processing (GSP) perspective. We propose a graph-filter-based self-attention (GFSA) to learn a general yet effective one, whose complexity, however, is slightly larger than that of the original self-attention mechanism. We demonstrate that GFSA improves the performance of Transformers in various fields, including computer vision, natural language processing, graph-level tasks, speech recognition, and code classification.
• Abstract（参考訳）: トランスフォーマーは自己認識機構で知られており、自然言語処理、コンピュータビジョン、時系列モデリングなど様々なタスクで最先端のパフォーマンスを実現している。 しかし、Deep Transformerモデルの課題の1つは、レイヤ間の表現が区別できない値に収束し、パフォーマンスが著しく低下するという過度な問題である。 本稿では,従来の自己アテンションを単純なグラフフィルタとして解釈し,グラフ信号処理(GSP)の観点から再設計する。 本稿では,グラフフィルタに基づく自己注意法(GFSA)を提案する。 GFSAは,コンピュータビジョン,自然言語処理,グラフレベルタスク,音声認識,コード分類など,様々な分野におけるトランスフォーマーの性能向上を実証する。

関連論文リスト

• SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity [74.51827323742506]
  グラフ上でのトランスフォーマーにおける多層アテンションの導入の必要性を評価する。 本研究では,一層伝播を一層伝播に還元できることを示す。 これは、グラフ上で強力で効率的なトランスフォーマーを構築するための新しい技術パスを示唆している。
  論文  参考訳（メタデータ） (2024-09-13T17:37:34Z)
• Topology-Informed Graph Transformer [7.857955053895979]
  グラフアイソモーフィズムの検出における識別力とグラフ変換器全体の性能を両立させる新しい変換器である「トポロジーインフォーマグラフ変換器(TIGT)」について検討した。 TIGTは4つの構成要素から構成される: 非同型普遍被覆を用いた位相的位置埋め込み層はグラフの巡回部分グラフに基づいて一意なグラフ表現を保証する。 TIGTは、グラフの同型クラスを識別することを目的とした合成データセットの分類において、従来のグラフ変換器よりも優れている。
  論文  参考訳（メタデータ） (2024-02-03T03:17:44Z)
• SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
  ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。 提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。 提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
  論文  参考訳（メタデータ） (2023-06-19T08:03:25Z)
• Are More Layers Beneficial to Graph Transformers? [97.05661983225603]
  現在のグラフ変換器は、深さの増大によるパフォーマンス向上のボトルネックに悩まされている。 ディープグラフ変換器は、グローバルな注目の消滅能力によって制限されている。 本稿では,符号化表現に部分構造トークンを明示的に用いたDeepGraphという新しいグラフトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2023-03-01T15:22:40Z)
• Gophormer: Ego-Graph Transformer for Node Classification [27.491500255498845]
  本稿では,egoグラフにフルグラフの代わりにトランスフォーマーを適用した新しいGophormerモデルを提案する。 具体的には、変圧器の入力としてエゴグラフをサンプリングするためにNode2Seqモジュールが提案されており、スケーラビリティの課題が軽減されている。 エゴグラフサンプリングで導入された不確実性に対処するために,一貫性の正則化とマルチサンプル推論戦略を提案する。
  論文  参考訳（メタデータ） (2021-10-25T16:43:32Z)
• Local-to-Global Self-Attention in Vision Transformers [130.0369761612812]
  トランスフォーマーはコンピュータビジョンタスクに大きな可能性を示した。 最近のTransformerモデルは階層設計を採用しており、セルフアテンションはローカルウィンドウ内でのみ計算される。 この設計は効率を大幅に改善するが、早い段階ではグローバルな特徴推論が欠如している。 本研究では,トランスフォーマーのマルチパス構造を設計し,各ステージにおける複数の粒度での局所的・言語的推論を可能にする。
  論文  参考訳（メタデータ） (2021-07-10T02:34:55Z)
• Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
  標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。 グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
  論文  参考訳（メタデータ） (2021-06-09T17:18:52Z)
• Glance-and-Gaze Vision Transformer [13.77016463781053]
  我々は Glance-and-Gaze Transformer (GG-Transformer) という新しい視覚変換器を提案する。 自然の場面で物体を認識するとき、人間のGlance and Gazeの行動によって動機付けられている。 提案手法は,従来の最先端変圧器よりも一貫した性能を実現することを実証的に実証する。
  論文  参考訳（メタデータ） (2021-06-04T06:13:47Z)
• Less is More: Pay Less Attention in Vision Transformers [61.05787583247392]
  注意の少ないvIsion Transformerは、畳み込み、完全接続層、自己アテンションが、画像パッチシーケンスを処理するためにほぼ同等な数学的表現を持つという事実に基づいている。 提案したLITは、画像分類、オブジェクト検出、インスタンス分割を含む画像認識タスクにおいて有望な性能を達成する。
  論文  参考訳（メタデータ） (2021-05-29T05:26:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。