論文の概要: Transolver is a Linear Transformer: Revisiting Physics-Attention through the Lens of Linear Attention

• arxiv url: http://arxiv.org/abs/2511.06294v2
• Date: Wed, 12 Nov 2025 01:38:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-12 16:10:52.870332
• Title: Transolver is a Linear Transformer: Revisiting Physics-Attention through the Lens of Linear Attention
• Title（参考訳）: Transolverはリニアトランスである:リニアアテンションのレンズを通して物理アテンションを再考する
• Authors: Wenjie Hu, Sidun Liu, Peng Qiao, Zhenglun Sun, Yong Dou,
• Abstract要約: そこで本研究では,物理注意を正準線形の注意に再設計するための2段階の変換を提案する。 提案手法は,6つの標準PDEベンチマーク上での最先端性能を実現する。 パラメータの数を平均40.0%削減し、計算コストを36.2%削減する。
• 参考スコア（独自算出の注目度）: 17.072389584390425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in Transformer-based Neural Operators have enabled significant progress in data-driven solvers for Partial Differential Equations (PDEs). Most current research has focused on reducing the quadratic complexity of attention to address the resulting low training and inference efficiency. Among these works, Transolver stands out as a representative method that introduces Physics-Attention to reduce computational costs. Physics-Attention projects grid points into slices for slice attention, then maps them back through deslicing. However, we observe that Physics-Attention can be reformulated as a special case of linear attention, and that the slice attention may even hurt the model performance. Based on these observations, we argue that its effectiveness primarily arises from the slice and deslice operations rather than interactions between slices. Building on this insight, we propose a two-step transformation to redesign Physics-Attention into a canonical linear attention, which we call Linear Attention Neural Operator (LinearNO). Our method achieves state-of-the-art performance on six standard PDE benchmarks, while reducing the number of parameters by an average of 40.0% and computational cost by 36.2%. Additionally, it delivers superior performance on two challenging, industrial-level datasets: AirfRANS and Shape-Net Car.
• Abstract（参考訳）: トランスフォーマーベースのニューラル演算子の最近の進歩は、部分微分方程式(PDE)のためのデータ駆動型解法(英語版)の大幅な進歩を可能にしている。 最近の研究は、トレーニングの低さと推論効率に対処するために注意の二次的な複雑さを減らすことに重点を置いている。 これらの研究の中で、Transolverは計算コストを削減するために物理認識を導入する代表的手法として際立っている。 Physics-Attentionプロジェクトは、スライス注意のためにグリッドをスライスに向け、デリシングを通じてそれらをマップする。 しかし,物理注意を線形注意の特別な場合として再定義することは可能であり,スライス注意がモデル性能を損なう可能性もある。 これらの観察結果から,スライス間の相互作用よりもスライス操作やスライス操作から有効性が導かれると論じる。 そこで我々は,この知見に基づいて,物理注意を正準線形注意に再設計するための2段階の変換を提案し,これを線形注意ニューラルネットワーク (LinearNO) と呼ぶ。 提案手法は6つの標準PDEベンチマーク上での最先端性能を実現し,パラメータの数を平均40.0%,計算コスト36.2%削減する。 さらに、AirfRANSとShape-Net Carという、2つの困難な産業レベルのデータセットに対して、優れたパフォーマンスを提供する。

関連論文リスト

• From Cheap Geometry to Expensive Physics: Elevating Neural Operators via Latent Shape Pretraining [4.838293051443775]
  工業設計評価は、しばしば偏微分方程式(PDE)のシミュレーションに依存する 演算子学習はPDEソリューション予測を加速するための有望なアプローチとして登場した。 我々は、この豊富な物理に依存しない資源をうまく活用するための2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-30T05:01:31Z)
• BEExformer: A Fast Inferencing Binarized Transformer with Early Exits [2.7651063843287718]
  BAT(Binarized Early Exit Transformer)とEE(Early Exit)を統合した最初の選択型学習ベーストランスであるBEExformerを紹介する。 BATは符号関数に微分可能な二階近似を用い、重みの符号と大きさの両方を捉える勾配を可能にする。 EEメカニズムは、ソフトルーティング損失推定を伴う中間変圧器ブロック間のエントロピーの分数還元に係わる。 これにより、FLOPを52.08%削減して推論を加速し、深層ネットワークに固有の「過剰な」問題を解くことで精度を2.89%向上させる。
  論文  参考訳（メタデータ） (2024-12-06T17:58:14Z)
• Breaking the Low-Rank Dilemma of Linear Attention [61.55583836370135]
  線形注意(linear attention)は、複雑性を線形レベルに還元することで、はるかに効率的なソリューションを提供する。 実験により, この性能低下は, 線形アテンションの特徴マップの低ランク性に起因することが示唆された。 我々は,線形複雑性と高効率を維持しつつ,Softmaxの注目性能に匹敵するランク拡張線形注意(RALA)を導入する。
  論文  参考訳（メタデータ） (2024-11-12T08:30:59Z)
• Latent Neural Operator for Solving Forward and Inverse PDE Problems [5.8039987932401225]
  本稿では、潜時空間におけるPDEを解く潜時ニューラルネットワーク(LNO)を提案する。 実験によると、LNOはGPUメモリを50%削減し、トレーニングを1.8回スピードアップし、6つのベンチマークのうち4つで最先端の精度に達する。
  論文  参考訳（メタデータ） (2024-06-06T10:04:53Z)
• FLatten Transformer: Vision Transformer using Focused Linear Attention [80.61335173752146]
  線形注意(linear attention)は、その線形複雑性に対して、はるかに効率的な代替手段を提供する。 現在の線形アテンションアプローチは、大きなパフォーマンス劣化に悩まされるか、追加の計算オーバーヘッドを導入するかのいずれかである。 本研究では,高効率と表現性の両方を実現するために,新しいFocused Linear Attentionモジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-01T10:37:12Z)
• Choose a Transformer: Fourier or Galerkin [0.0]
  我々は,データ駆動型演算子学習問題に対して,最新技術であるTransformer in Attention Is All You Needの自己注意を適用した。 スケールしたドット積の注意におけるソフトマックス正規化は十分であるが必要ではないことを示し、ペトロフ・ガレルキン射影として線形変項の近似能力を証明した。 本稿では,ビルガース方程式,インターフェースダーシー流,および逆インターフェース係数同定問題を含む3つの演算子学習実験について述べる。
  論文  参考訳（メタデータ） (2021-05-31T14:30:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。