論文の概要: Transolver is a Linear Transformer: Revisiting Physics-Attention through the Lens of Linear Attention

• arxiv url: http://arxiv.org/abs/2511.06294v2
• Date: Wed, 12 Nov 2025 01:38:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-12 16:10:52.870332
• Title: Transolver is a Linear Transformer: Revisiting Physics-Attention through the Lens of Linear Attention
• Title（参考訳）: Transolverはリニアトランスである:リニアアテンションのレンズを通して物理アテンションを再考する
• Authors: Wenjie Hu, Sidun Liu, Peng Qiao, Zhenglun Sun, Yong Dou,
• Abstract要約: そこで本研究では,物理注意を正準線形の注意に再設計するための2段階の変換を提案する。 提案手法は,6つの標準PDEベンチマーク上での最先端性能を実現する。 パラメータの数を平均40.0%削減し、計算コストを36.2%削減する。
• 参考スコア（独自算出の注目度）: 17.072389584390425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in Transformer-based Neural Operators have enabled significant progress in data-driven solvers for Partial Differential Equations (PDEs). Most current research has focused on reducing the quadratic complexity of attention to address the resulting low training and inference efficiency. Among these works, Transolver stands out as a representative method that introduces Physics-Attention to reduce computational costs. Physics-Attention projects grid points into slices for slice attention, then maps them back through deslicing. However, we observe that Physics-Attention can be reformulated as a special case of linear attention, and that the slice attention may even hurt the model performance. Based on these observations, we argue that its effectiveness primarily arises from the slice and deslice operations rather than interactions between slices. Building on this insight, we propose a two-step transformation to redesign Physics-Attention into a canonical linear attention, which we call Linear Attention Neural Operator (LinearNO). Our method achieves state-of-the-art performance on six standard PDE benchmarks, while reducing the number of parameters by an average of 40.0% and computational cost by 36.2%. Additionally, it delivers superior performance on two challenging, industrial-level datasets: AirfRANS and Shape-Net Car.
• Abstract（参考訳）: トランスフォーマーベースのニューラル演算子の最近の進歩は、部分微分方程式(PDE)のためのデータ駆動型解法(英語版)の大幅な進歩を可能にしている。 最近の研究は、トレーニングの低さと推論効率に対処するために注意の二次的な複雑さを減らすことに重点を置いている。 これらの研究の中で、Transolverは計算コストを削減するために物理認識を導入する代表的手法として際立っている。 Physics-Attentionプロジェクトは、スライス注意のためにグリッドをスライスに向け、デリシングを通じてそれらをマップする。 しかし,物理注意を線形注意の特別な場合として再定義することは可能であり,スライス注意がモデル性能を損なう可能性もある。 これらの観察結果から,スライス間の相互作用よりもスライス操作やスライス操作から有効性が導かれると論じる。 そこで我々は,この知見に基づいて,物理注意を正準線形注意に再設計するための2段階の変換を提案し,これを線形注意ニューラルネットワーク (LinearNO) と呼ぶ。 提案手法は6つの標準PDEベンチマーク上での最先端性能を実現し,パラメータの数を平均40.0%,計算コスト36.2%削減する。 さらに、AirfRANSとShape-Net Carという、2つの困難な産業レベルのデータセットに対して、優れたパフォーマンスを提供する。

関連論文リスト

• From Cheap Geometry to Expensive Physics: Elevating Neural Operators via Latent Shape Pretraining [4.838293051443775]
  工業設計評価は、しばしば偏微分方程式(PDE)のシミュレーションに依存する 演算子学習はPDEソリューション予測を加速するための有望なアプローチとして登場した。 我々は、この豊富な物理に依存しない資源をうまく活用するための2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-30T05:01:31Z)
• Enabling Automatic Differentiation with Mollified Graph Neural Operators [73.52999622724101]
  本稿では,自動微分と任意のジオメトリの正確な勾配を求める最初の手法であるモリファイドグラフニューラル演算子(m$GNO)を提案する。 正規格子上のPDEの例では、$m$GNOとオートグレードの組み合わせにより、L2相対データの誤差は有限差に比べて20倍減少した。 また、物理損失のみを使用し、有限差分に必要な分解能よりもはるかに低い精度で、非構造化点雲上のPDEをシームレスに解くことができる。
  論文  参考訳（メタデータ） (2025-04-11T06:16:30Z)
• BEExformer: A Fast Inferencing Binarized Transformer with Early Exits [2.7651063843287718]
  BAT(Binarized Early Exit Transformer)とEE(Early Exit)を統合した最初の選択型学習ベーストランスであるBEExformerを紹介する。 BATは符号関数に微分可能な二階近似を用い、重みの符号と大きさの両方を捉える勾配を可能にする。 EEメカニズムは、ソフトルーティング損失推定を伴う中間変圧器ブロック間のエントロピーの分数還元に係わる。 これにより、FLOPを52.08%削減して推論を加速し、深層ネットワークに固有の「過剰な」問題を解くことで精度を2.89%向上させる。
  論文  参考訳（メタデータ） (2024-12-06T17:58:14Z)
• CARE Transformer: Mobile-Friendly Linear Visual Transformer via Decoupled Dual Interaction [77.8576094863446]
  本稿では,新しいdetextbfCoupled dutextbfAl-interactive lineatextbfR atttextbfEntion (CARE) 機構を提案する。 まず,非対称な特徴分離戦略を提案し,非対称的に学習プロセスを局所帰納バイアスと長距離依存に分解する。 分離学習方式を採用し,特徴間の相補性を完全に活用することにより,高い効率性と精度を両立させることができる。
  論文  参考訳（メタデータ） (2024-11-25T07:56:13Z)
• Breaking the Low-Rank Dilemma of Linear Attention [61.55583836370135]
  線形注意(linear attention)は、複雑性を線形レベルに還元することで、はるかに効率的なソリューションを提供する。 実験により, この性能低下は, 線形アテンションの特徴マップの低ランク性に起因することが示唆された。 我々は,線形複雑性と高効率を維持しつつ,Softmaxの注目性能に匹敵するランク拡張線形注意(RALA)を導入する。
  論文  参考訳（メタデータ） (2024-11-12T08:30:59Z)
• Non-asymptotic Convergence of Training Transformers for Next-token Prediction [48.9399496805422]
  トランスフォーマーは、シーケンシャルなデータを扱う優れた能力のために、現代の機械学習において驚くべき成功を収めています。 本稿では, 単層変圧器のトレーニング力学の微細な非漸近解析を行う。 トレーニングされたトランスフォーマーは,データセットシフトによる非トーケン予測能力を示すことを示す。
  論文  参考訳（メタデータ） (2024-09-25T20:22:06Z)
• Latent Neural Operator for Solving Forward and Inverse PDE Problems [5.8039987932401225]
  本稿では、潜時空間におけるPDEを解く潜時ニューラルネットワーク(LNO)を提案する。 実験によると、LNOはGPUメモリを50%削減し、トレーニングを1.8回スピードアップし、6つのベンチマークのうち4つで最先端の精度に達する。
  論文  参考訳（メタデータ） (2024-06-06T10:04:53Z)
• Physics-Informed Deep Learning of Rate-and-State Fault Friction [0.0]
  我々は, 前方問題と非線形欠陥摩擦パラメータの直接逆変換のためのマルチネットワークPINNを開発した。 本稿では1次元および2次元のストライク・スリップ断層に対する速度・状態摩擦を考慮した計算PINNフレームワークを提案する。 その結果, 断層におけるパラメータ逆転のネットワークは, 結合した物質変位のネットワークよりもはるかに優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-14T23:53:25Z)
• FLatten Transformer: Vision Transformer using Focused Linear Attention [80.61335173752146]
  線形注意(linear attention)は、その線形複雑性に対して、はるかに効率的な代替手段を提供する。 現在の線形アテンションアプローチは、大きなパフォーマンス劣化に悩まされるか、追加の計算オーバーヘッドを導入するかのいずれかである。 本研究では,高効率と表現性の両方を実現するために,新しいFocused Linear Attentionモジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-01T10:37:12Z)
• Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
  我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。 特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。 実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2022-02-18T18:07:54Z)
• Choose a Transformer: Fourier or Galerkin [0.0]
  我々は,データ駆動型演算子学習問題に対して,最新技術であるTransformer in Attention Is All You Needの自己注意を適用した。 スケールしたドット積の注意におけるソフトマックス正規化は十分であるが必要ではないことを示し、ペトロフ・ガレルキン射影として線形変項の近似能力を証明した。 本稿では,ビルガース方程式,インターフェースダーシー流,および逆インターフェース係数同定問題を含む3つの演算子学習実験について述べる。
  論文  参考訳（メタデータ） (2021-05-31T14:30:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。