論文の概要: PDE-SSM: A Spectral State Space Approach to Spatial Mixing in Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2603.13663v1
• Date: Sat, 14 Mar 2026 00:16:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.324332
• Title: PDE-SSM: A Spectral State Space Approach to Spatial Mixing in Diffusion Transformers
• Title（参考訳）: PDE-SSM:拡散変圧器の空間混合に対するスペクトル状態空間アプローチ
• Authors: Eshed Gal, Moshe Eliasof, Siddharth Rout, Eldad Haber,
• Abstract要約: 本研究では,空間的状態空間ブロックであるPDE-SSMを提案する。 この結果から,SSMが注目する1次元設定と類似して,多次元PDE演算子が次世代視覚モデルに対して効率的かつ誘導バイアスに富んだ基礎を提供することを示す。
• 参考スコア（独自算出の注目度）: 17.569349375085206
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The success of vision transformers-especially for generative modeling-is limited by the quadratic cost and weak spatial inductive bias of self-attention. We propose PDE-SSM, a spatial state-space block that replaces attention with a learnable convection-diffusion-reaction partial differential equation. This operator encodes a strong spatial prior by modeling information flow via physically grounded dynamics rather than all-to-all token interactions. Solving the PDE in the Fourier domain yields global coupling with near-linear complexity of $O(N \log N)$, delivering a principled and scalable alternative to attention. We integrate PDE-SSM into a flow-matching generative model to obtain the PDE-based Diffusion Transformer PDE-SSM-DiT. Empirically, PDE-SSM-DiT matches or exceeds the performance of state-of-the-art Diffusion Transformers while substantially reducing compute. Our results show that, analogous to 1D settings where SSMs supplant attention, multi-dimensional PDE operators provide an efficient, inductive-bias-rich foundation for next-generation vision models.
• Abstract（参考訳）: 視覚変換器(特に生成モデル)の成功は、二次的コストと自己注意の弱い空間帰納バイアスによって制限される。 本研究では,空間的状態空間ブロックであるPDE-SSMを提案する。 この演算子は、全てのトークン間相互作用ではなく、物理的に接地されたダイナミクスを介して情報の流れをモデル化することで、強い空間を符号化する。 フーリエ領域におけるPDEの解法は、O(N \log N)$のほぼ直線的な複雑さと大域的なカップリングをもたらし、注意に対する原則的でスケーラブルな代替手段を提供する。 我々はPDE-SSMをフローマッチング生成モデルに統合し、PDE-Diffusion Transformer PDE-SSM-DiTを得る。 実証的には、PDE-SSM-DiTは最先端の拡散変換器の性能に匹敵するが、計算量は大幅に減少する。 以上の結果から,SSMが注目を集める1次元設定と類似して,多次元PDE演算子は次世代視覚モデルに対して,効率的かつインダクティブバイアスに富んだ基礎を提供することが示された。

関連論文リスト

• PDE-Transformer: A Continuous Dynamical Systems Approach to Sequence Modeling [4.1812935375151925]
  連続反応拡散系の数値離散化としてトランスフォーマーの前方通過をキャストするシーケンスモデリングパラダイムであるPDE-Transformerを提案する。 この枠組みでは、非局所積分項が自己アテンションをモデル化する偏微分方程式の下でトークン埋め込みが進化する。 線形時間複雑性を持つ特徴空間の局所的滑らかさを強制する適応型PDE拡散層を設計する。
  論文  参考訳（メタデータ） (2025-09-27T08:58:47Z)
• Physics-Informed Distillation of Diffusion Models for PDE-Constrained Generation [19.734778762515468]
  拡散モデルは、物理系のモデリング、特に偏微分方程式(PDE)によって支配されるものにおいて、注目を集めている。 本稿では, PDE 制約を直接拡散過程に注入するのではなく, ポストホック蒸留段階において適用する, 単純かつ効果的なポストホック蒸留法を提案する。
  論文  参考訳（メタデータ） (2025-05-28T14:17:58Z)
• Mechanistic PDE Networks for Discovery of Governing Equations [52.492158106791365]
  データから偏微分方程式を発見するためのモデルであるメカニスティックPDEネットワークを提案する。 表現されたPDEは解決され、特定のタスクのためにデコードされる。 線形偏微分方程式に特化して、ネイティブ、GPU対応、並列、スパース、微分可能多重グリッドソルバを開発した。
  論文  参考訳（メタデータ） (2025-02-25T17:21:44Z)
• Unisolver: PDE-Conditional Transformers Towards Universal Neural PDE Solvers [53.79279286773326]
  我々は、多様なデータに基づいて訓練され、多様なPDEで条件付けされた新しいトランスフォーマーモデルUnisolverを提案する。 Unisolverは3つの挑戦的な大規模ベンチマークで一貫した最先端を実現し、優れたパフォーマンスと一般化性を示している。
  論文  参考訳（メタデータ） (2024-05-27T15:34:35Z)
• AdjointDEIS: Efficient Gradients for Diffusion Models [2.0795007613453445]
  拡散SDEに対する連続随伴方程式は、実際には単純なODEに単純化されていることを示す。 また, 顔形態形成問題の形で, 対向攻撃による誘導生成に対するAdjointDEISの有効性を実証した。
  論文  参考訳（メタデータ） (2024-05-23T19:51:33Z)
• The Shaped Transformer: Attention Models in the Infinite Depth-and-Width Limit [38.89510345229949]
  本研究では、無限深度と幅の比例極限におけるスキップ接続を持つ修正Softmaxベースのアテンションモデルの共分散行列について検討する。 適切に定義された限界を達成するため、Transformerのアテンション機構は、Softmax出力をアイデンティティに集中させることで変更される。 シミュレーションにより、深さと幅の比で指数付けされた微分方程式(SDE)が、対応する有限サイズモデルの驚くほど良い記述を提供することを示した。
  論文  参考訳（メタデータ） (2023-06-30T16:10:36Z)
• Solving High-Dimensional PDEs with Latent Spectral Models [74.1011309005488]
  我々は,高次元PDEの効率的かつ高精度な解法に向けて,Latent Spectral Models (LSM) を提案する。 数値解析において古典スペクトル法に着想を得て,潜時空間におけるPDEを解くために,ニューラルスペクトルブロックを設計する。 LSMは、一貫した最先端を実現し、7つのベンチマークで平均11.5%の相対的な利益を得る。
  論文  参考訳（メタデータ） (2023-01-30T04:58:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。