論文の概要: Spectral Transform Forms Scalable Transformer

• arxiv url: http://arxiv.org/abs/2111.07602v1
• Date: Mon, 15 Nov 2021 08:46:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-17 02:11:48.097115
• Title: Spectral Transform Forms Scalable Transformer
• Title（参考訳）: スペクトル変換によるスケーラブルトランス
• Authors: Bingxin Zhou, Xinliang Liu, Yuehua Liu, Yunying Huang, Pietro Li\`o, YuGuang Wang
• Abstract要約: この研究は自己注意の哲学から学び、情報的長距離時間相互作用を用いた効率的なスペクトルベースの神経ユニットを提案する。 開発されたスペクトルウィンドウユニット(SW)モデルは、保証された効率でスケーラブルな動的グラフを予測する。
• 参考スコア（独自算出の注目度）: 1.19071399645846
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many real-world relational systems, such as social networks and biological systems, contain dynamic interactions. When learning dynamic graph representation, it is essential to employ sequential temporal information and geometric structure. Mainstream work achieves topological embedding via message passing networks (e.g., GCN, GAT). The temporal evolution, on the other hand, is conventionally expressed via memory units (e.g., LSTM or GRU) that possess convenient information filtration in a gate mechanism. Though, such a design prevents large-scale input sequence due to the over-complicated encoding. This work learns from the philosophy of self-attention and proposes an efficient spectral-based neural unit that employs informative long-range temporal interaction. The developed spectral window unit (SWINIT) model predicts scalable dynamic graphs with assured efficiency. The architecture is assembled with a few simple effective computational blocks that constitute randomized SVD, MLP, and graph Framelet convolution. The SVD plus MLP module encodes the long-short-term feature evolution of the dynamic graph events. A fast framelet graph transform in the framelet convolution embeds the structural dynamics. Both strategies enhance the model's ability on scalable analysis. In particular, the iterative SVD approximation shrinks the computational complexity of attention to O(Nd\log(d)) for the dynamic graph with N edges and d edge features, and the multiscale transform of framelet convolution allows sufficient scalability in the network training. Our SWINIT achieves state-of-the-art performance on a variety of online continuous-time dynamic graph learning tasks, while compared to baseline methods, the number of its learnable parameters reduces by up to seven times.
• Abstract（参考訳）: ソーシャルネットワークや生体システムのような現実世界のリレーショナルシステムは、動的相互作用を含んでいる。 動的グラフ表現を学習する場合、逐次時間情報と幾何学的構造を採用することが不可欠である。 メインストリームの作業は、メッセージパッシングネットワーク(GCN、GATなど)によるトポロジ的な埋め込みを実現する。 一方、時間的進化は、ゲート機構において便利な情報フィルタリングを持つメモリユニット(lstmやgrgなど)を介して通常表現される。 しかし、このような設計は複雑すぎるエンコーディングによる大規模な入力シーケンスを防ぐ。 本研究は自己着想の哲学から学び,情報的長距離時間相互作用を用いた効率的なスペクトルベースニューラルユニットを提案する。 開発したspectrum window unit (swinit) モデルは、スケーラブルな動的グラフを精度良く予測する。 このアーキテクチャは、ランダム化されたSVD、MLP、グラフフレームレットの畳み込みを構成する、いくつかの単純な効率的な計算ブロックで組み立てられている。 SVDとMLPモジュールは、動的グラフイベントの長期的特徴進化を符号化する。 フレームレット畳み込みにおける高速なフレームレットグラフ変換は構造力学を埋め込む。 どちらの戦略も、スケーラブルな分析におけるモデルの能力を高める。 特に、反復SVD近似は、Nエッジとdエッジ特徴を持つ動的グラフのO(Nd\log(d))に対する注意の計算複雑性を縮小し、フレームレット畳み込みのマルチスケール変換は、ネットワークトレーニングにおいて十分なスケーラビリティを実現する。 我々のSWINITは,各種オンライン連続時間動的グラフ学習タスクにおける最先端性能を実現する一方で,ベースライン法と比較して学習可能なパラメータの数が最大7倍減少する。

関連論文リスト

• A Comparative Study on Dynamic Graph Embedding based on Mamba and Transformers [0.29687381456164]
  本研究では,変圧器と最近提案されたMambaアーキテクチャを用いた動的グラフ埋め込み手法の比較解析を行った。 グラフ畳み込みネットワークを用いたTransformerG2G Augment、グラフ同型ネットワークエッジ畳み込みを用いたDG-Mamba、GDG-Mambaの3つの新しいモデルを導入する。 複数のベンチマークデータセットに対する実験により,Mambaベースのモデルが,リンク予測タスクにおけるトランスフォーマーベースのアプローチに匹敵する,あるいは優れた性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2024-12-15T19:56:56Z)
• DG-Mamba: Robust and Efficient Dynamic Graph Structure Learning with Selective State Space Models [16.435352947791923]
  選択状態空間モデル(Mamba)を用いた動的グラフ構造学習フレームワークを提案する。 我々のフレームワークは、敵攻撃に対する最先端のベースラインよりも優れている。
  論文  参考訳（メタデータ） (2024-12-11T07:32:38Z)
• LLM-Based Multi-Agent Systems are Scalable Graph Generative Models [73.28294528654885]
  GraphAgent-Generator (GAG) は動的でテキスト対応のソーシャルグラフ生成のための新しいシミュレーションベースのフレームワークである。 GAGは、ゼロショットソーシャルグラフ生成のための時間ノードとエッジ生成プロセスをシミュレートする。 得られたグラフは7つの主要なマクロ的ネットワーク特性に付着し、微視的グラフ構造測定において11%の改善が達成される。
  論文  参考訳（メタデータ） (2024-10-13T12:57:08Z)
• LongVQ: Long Sequence Modeling with Vector Quantization on Structured Memory [63.41820940103348]
  自己保持機構の計算コストは、長いシーケンスの実用性を制限する。 我々はLongVQと呼ばれる新しい手法を提案し、長さ固定されたコードブックとしてグローバルな抽象化を圧縮する。 LongVQは動的グローバルパターンとローカルパターンを効果的に維持し、長距離依存性の問題の欠如を補うのに役立つ。
  論文  参考訳（メタデータ） (2024-04-17T08:26:34Z)
• Todyformer: Towards Holistic Dynamic Graph Transformers with Structure-Aware Tokenization [6.799413002613627]
  Todyformerは、動的グラフに適したトランスフォーマーベースのニューラルネットワークである。 メッセージパッシングニューラルネットワーク(MPNN)のローカルエンコーディング能力とトランスフォーマーのグローバルエンコーディング能力を統合する。 Todyformerは、ダウンストリームタスクの最先端メソッドよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-02T23:05:30Z)
• TimeGraphs: Graph-based Temporal Reasoning [64.18083371645956]
  TimeGraphsは階層的時間グラフとして動的相互作用を特徴付ける新しいアプローチである。 提案手法は,コンパクトなグラフベース表現を用いて相互作用をモデル化し,多種多様な時間スケールでの適応推論を可能にする。 我々は,サッカーシミュレータ,抵抗ゲーム,MOMA人間活動データセットなど,複雑でダイナミックなエージェントインタラクションを持つ複数のデータセット上でTimeGraphsを評価する。
  論文  参考訳（メタデータ） (2024-01-06T06:26:49Z)
• TSGCNeXt: Dynamic-Static Multi-Graph Convolution for Efficient Skeleton-Based Action Recognition with Long-term Learning Potential [1.204694982718246]
  本研究では,時間空間グラフ ConvNeXt (TSGCNeXt) を提案する。 単純な構造を持つ新しいグラフ学習機構である動的統計分離多重グラフ畳み込み(DS-SMG)を提案する。 55.08%の高速化で動的グラフ学習のバックプロパゲーション計算を最適化するグラフ畳み込み学習促進機構を構築した。
  論文  参考訳（メタデータ） (2023-04-23T12:10:36Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Dynamic Spatial Sparsification for Efficient Vision Transformers and Convolutional Neural Networks [88.77951448313486]
  視覚データにおける空間空間空間性を利用したモデルアクセラレーションのための新しい手法を提案する。 本稿では,冗長トークンを具現化する動的トークンスペーシフィケーションフレームワークを提案する。 提案手法は,CNNや階層型視覚変換器などの階層モデルに拡張する。
  論文  参考訳（メタデータ） (2022-07-04T17:00:51Z)
• Continuous-in-Depth Neural Networks [107.47887213490134]
  まず最初に、このリッチな意味では、ResNetsは意味のある動的でないことを示します。 次に、ニューラルネットワークモデルが連続力学系を表現することを実証する。 ResNetアーキテクチャの詳細な一般化としてContinuousNetを紹介します。
  論文  参考訳（メタデータ） (2020-08-05T22:54:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。