論文の概要: Lightweight Transformer via Unrolling of Mixed Graph Algorithms for Traffic Forecast

• arxiv url: http://arxiv.org/abs/2505.13102v1
• Date: Mon, 19 May 2025 13:32:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.619115
• Title: Lightweight Transformer via Unrolling of Mixed Graph Algorithms for Traffic Forecast
• Title（参考訳）: 交通予報用混合グラフアルゴリズムのアンローリングによる軽量変圧器
• Authors: Ji Qi, Tam Thuc Do, Mingxiao Liu, Zhuoshi Pan, Yuzhe Li, Gene Cheung, H. Vicky Zhao,
• Abstract要約: 地理的な空間的相関を捉える無向グラフと、時間とともに連続的な関係を捉える有向グラフという2つのグラフを構築した。 我々は、乗算器の交互方向法(ADMM)に基づく反復アルゴリズムを構築し、それをデータ駆動パラメータ学習のためのフィードフォワードネットワークに展開する。 実験により,我々の未登録ネットワークは,最先端の予測スキームとして,競争力のあるトラフィック予測性能を達成することが示された。
• 参考スコア（独自算出の注目度）: 20.321730497117954
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To forecast traffic with both spatial and temporal dimensions, we unroll a mixed-graph-based optimization algorithm into a lightweight and interpretable transformer-like neural net. Specifically, we construct two graphs: an undirected graph $\mathcal{G}^u$ capturing spatial correlations across geography, and a directed graph $\mathcal{G}^d$ capturing sequential relationships over time. We formulate a prediction problem for the future samples of signal $\mathbf{x}$, assuming it is "smooth" with respect to both $\mathcal{G}^u$ and $\mathcal{G}^d$, where we design new $\ell_2$ and $\ell_1$-norm variational terms to quantify and promote signal smoothness (low-frequency reconstruction) on a directed graph. We construct an iterative algorithm based on alternating direction method of multipliers (ADMM), and unroll it into a feed-forward network for data-driven parameter learning. We insert graph learning modules for $\mathcal{G}^u$ and $\mathcal{G}^d$, which are akin to the self-attention mechanism in classical transformers. Experiments show that our unrolled networks achieve competitive traffic forecast performance as state-of-the-art prediction schemes, while reducing parameter counts drastically. Our code is available in https://github.com/SingularityUndefined/Unrolling-GSP-STForecast.
• Abstract（参考訳）: 空間次元と時間次元の両方でトラフィックを予測するため、混合グラフに基づく最適化アルゴリズムを軽量かつ解釈可能なトランスフォーマーのようなニューラルネットに展開する。 具体的には、無向グラフ $\mathcal{G}^u$ と有向グラフ $\mathcal{G}^d$ の2つのグラフを構築する。 信号 $\mathbf{x}$ の将来のサンプルに対する予測問題を、$\mathcal{G}^u$ と $\mathcal{G}^d$ の両方に対して「滑らか」であると仮定し、新しい $\ell_2$ と $\ell_1$-norm の変分項を設計し、有向グラフ上の信号の滑らかさ(低周波再構成)を定量化し促進する。 我々は、乗算器の交互方向法(ADMM)に基づく反復アルゴリズムを構築し、それをデータ駆動パラメータ学習のためのフィードフォワードネットワークに展開する。 古典変換器の自己保持機構に類似した、$\mathcal{G}^u$ と $\mathcal{G}^d$ のグラフ学習モジュールを挿入する。 実験により,我々の未学習ネットワークは,パラメータ数を劇的に減らしながら,最先端の予測スキームとして競合するトラフィック予測性能を実現することが示された。 私たちのコードはhttps://github.com/SingularityUndefined/Unrolling-GSP-STForecastで利用可能です。

関連論文リスト

• Graph Unfolding and Sampling for Transitory Video Summarization via Gershgorin Disc Alignment [48.137527345353625]
  携帯電話からYouTubeやTikTokなどのソーシャルメディアサイトにアップロードされたユーザー生成ビデオ(UGV)は、短くて繰り返しではない。 我々は、ガーシュゴリンディスクアライメント(GDA)に基づく高速グラフサンプリングにより、遷移UGVを複数のディスクに線形時間で要約する。 提案アルゴリズムは,最先端の手法と比較して,映像の要約性能が向上し,複雑さが大幅に低減されていることを示す。
  論文  参考訳（メタデータ） (2024-08-03T20:08:02Z)
• GraphGPT: Generative Pre-trained Graph Eulerian Transformer [8.675197550607358]
  グラフユーレリア変換器(GET)に基づくグラフ学習のための新しい生成事前学習モデルを提案する。 GraphGPTは、複数の大規模Open Graph Benchmark(OGB)データセット上で、最先端のメソッドに匹敵するパフォーマンスを達成する。 特に、生成前のトレーニングでは、パフォーマンスの向上を維持しながら、GraphGPTを20億のパラメータにスケールすることが可能である。
  論文  参考訳（メタデータ） (2023-12-31T16:19:30Z)
• Efficient Signed Graph Sampling via Balancing & Gershgorin Disc Perfect Alignment [51.74913666829224]
  強い反相関を持つデータセットに対して、適切なグラフは正および負のエッジ重みの両方を含むことを示す。 本稿では,平衡符号グラフの概念に着目した線形時間符号グラフサンプリング手法を提案する。 実験結果から, 署名付きグラフサンプリング手法は, 各種データセットにおいて, 既存の高速サンプリング方式よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2022-08-18T09:19:01Z)
• DADAO: Decoupled Accelerated Decentralized Asynchronous Optimization [0.0]
  DADAOは、L$-smooth と $mu$-strongly convex 関数の和を最小化する最初の分散化、高速化、非同期化、プライマリ化、一階述語アルゴリズムである。 我々のアルゴリズムは、$mathcalO(nsqrtchisqrtfracLmulog(frac1epsilon)$ localと$mathcalO(nsqrtchisqrtfracLmulog()のみを必要とすることを示す。
  論文  参考訳（メタデータ） (2022-07-26T08:47:54Z)
• Accelerated Gradient Tracking over Time-varying Graphs for Decentralized Optimization [59.65871549878937]
  実用的な単一ループ加速勾配追跡には$O(fracgamma1-sigma_gamma)2sqrtfracLepsilon)$が必要であることを証明している。 我々の収束率は$O(frac1epsilon5/7)$と$O(fracLmu)5/7frac1(1-sigma)1.5logfrac1epsilon)$よりも大幅に改善した。
  論文  参考訳（メタデータ） (2021-04-06T15:34:14Z)
• Learning Sparse Graph Laplacian with K Eigenvector Prior via Iterative GLASSO and Projection [58.5350491065936]
  グラフ Laplacian 行列 $L$ 上の構造的仮定を考える。 最初の$K$ eigenvectors of $L$は、例えばドメイン固有の基準に基づいて事前選択される。 本稿では,H_u+$$$$barC$で最も適切なグラフラプラシアン行列$L*を計算するために,効率的なハイブリッドグラフラッソ/投影アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2020-10-25T18:12:50Z)
• Training (Overparametrized) Neural Networks in Near-Linear Time [21.616949485102342]
  本稿では,ReparamLUネットワークをトレーニングするための[CGH+1]アルゴリズムの高速化について述べる。 我々のアルゴリズムの中心はガウスニュートンを$ell$-reconditionとして再構成することである。
  論文  参考訳（メタデータ） (2020-06-20T20:26:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。