論文の概要: Does Transolver really need a Transformer?

• arxiv url: http://arxiv.org/abs/2609.32525v1
• Date: Sat, 26 Sep 2026 12:10:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 07:22:15.026102
• Title: Does Transolver really need a Transformer?
• Title（参考訳）: Transolverは本当にTransformerが必要なのか?
• Abstract要約: モデル性能に責任を負うメカニズムを解明するための包括的経験的・理論的分析を行う。 トークン注意を一定直線写像に置き換えることは精度に影響を与えないことを示す。 我々は,Transolverのキースライシング/デスライシングモジュールを,FlashAttentionスタイルで効率的に実装する。
• 参考スコア（独自算出の注目度）: 14.64564257937194
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The widely used Transolver family of neural operators is based on physics-attention, which softly assigns the points of an unstructured mesh to a small number of slices, applies self-attention among the resulting tokens, and broadcasts the result back to the points. We provide a comprehensive empirical and theoretical analysis to elucidate the mechanisms which are responsible for model performance. To this end, we perform careful ablations on a challenging suite of nine 3D fluid dynamics benchmarks to find that replacing token attention with a constant linear map does not affect the accuracy. Thus, Transolver does not need a Transformer at all. However, removing the global mixing (slicing/deslicing) or doing it only once leads to performance collapse. We leverage the theory of averaging neural operators to explain and corroborate our findings by showing that just slicing/deslicing, in conjunction with pointwise MLPs, already suffices for universal approximation of continuous operators and attention is redundant in this context. Finally, we provide a novel FlashAttention-style efficient implementation of the key slicing/deslicing module of Transolver. This flashslice kernel streams slice and deslice over the points without materializing the heavy slice-weight tensor, while reproducing the best available implementation to floating point error. At the same time, it leads to very significant memory and compute savings, particularly at large slice counts.
• Abstract（参考訳）: ニューラルネットワークの広く使われているTransolverファミリーは、物理注意に基づいており、非構造化メッシュのポイントを少数のスライスにソフトに割り当て、結果のトークンに自己注意を適用し、その結果をポイントにブロードキャストする。 モデル性能に責任を負うメカニズムを解明するための包括的経験的・理論的分析を行う。 この目的のために,9つの3次元流体力学ベンチマークを用いて,トークンの注意を一定直線写像に置き換えることは精度に影響を与えないことを示す。 したがって、TransolverはTransformerを全く必要としない。 しかし、グローバルなミキシング(スライス/スライス/スライス)を削除したり、あるいは一度だけ行うと、パフォーマンスが低下する。 我々は、平均的な神経オペレーターの理論を利用して、単にスライシング/スライシングとポイントワイドのMLPと組み合わせて、既に連続作用素の普遍的な近似に十分であることを示すことで、私たちの発見を説明・裏付けする。 最後に、Transolverのキースライシング/デスライシングモジュールのFlashAttentionスタイルの効率的な実装を提供する。 このフラッシュスライスカーネルストリームは、浮動小数点誤差に最適な実装を再現しながら、重いスライスウェイトテンソルを具現化することなく、ポイントをスライスし、スライスする。 同時に、特に大きなスライス数では、メモリと計算の大幅な節約につながります。

関連論文リスト

• The Expressive Power of Low Precision Softmax Transformers with (Summarized) Chain-of-Thought [1.9193579706947885]
  変圧器の既存の表現結果は通常、ハードマックスの注意、高精度、その他のアーキテクチャの変更に依存し、実際に使用されるモデルからそれらを切り離す。 我々は,このギャップを,トランスフォーマーデコーダをソフトマックスアテンションで解析し,アクティベーションとアテンションウェイトを丸め,深さと幅をコンテキスト長と対数的に成長させることで橋渡しする。 中間段階として、3次アクティベーションを持つハードマックストランスフォーマーと、Chain-of-Thought (CoT) を用いたチューリングマシンをシミュレートした注意スコアを構築する。
  論文  参考訳（メタデータ） (2026-05-18T08:57:53Z)
• Inverted Activations: Reducing Memory Footprint in Neural Network Training [5.070981175240306]
  ニューラルネットワークトレーニングにおける重要な課題は、アクティベーションテンソルに関連するメモリフットプリントである。 本稿では, 点方向非線形層におけるアクティベーションテンソルの取扱いの修正を提案する。 本手法は,トレーニング精度や計算性能に影響を与えることなく,メモリ使用量を大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2024-07-22T11:11:17Z)
• Sliceformer: Make Multi-head Attention as Simple as Sorting in Discriminative Tasks [32.33355192614434]
  我々は,Sliceformerと呼ばれるトランスフォーマーの効果的かつ効率的なサロゲートを提案する。 我々のスライスフォーマーは、従来のMHA機構を極めて単純なスライシングソーシングの操作で置き換える。 我々のSliceformerは、Transformerとその変種よりもメモリコストが低く、高速な性能を実現しています。
  論文  参考訳（メタデータ） (2023-10-26T14:43:07Z)
• Softmax-free Linear Transformers [90.83157268265654]
  視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。 既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。 我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
  論文  参考訳（メタデータ） (2022-07-05T03:08:27Z)
• Learning with Noisy Labels via Sparse Regularization [76.31104997491695]
  ノイズの多いラベルで学習することは、正確なディープニューラルネットワークをトレーニングするための重要なタスクである。 クロスエントロピー(Cross Entropy, CE)など、一般的に使われている損失関数は、ノイズラベルへの過度なオーバーフィットに悩まされている。 我々は, スパース正規化戦略を導入し, ワンホット制約を近似する。
  論文  参考訳（メタデータ） (2021-07-31T09:40:23Z)
• Combiner: Full Attention Transformer with Sparse Computation Cost [142.10203598824964]
  計算の複雑さを低く保ちつつ、各注目ヘッドにフルアテンション機能を提供するコンバインダを提案する。 既存のスパース変圧器で使用されるスパースアテンションパターンのほとんどは、そのような分解設計をフルアテンションに刺激することができることを示す。 自己回帰的タスクと双方向シーケンスタスクの両方に関する実験的評価は、このアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2021-07-12T22:43:11Z)
• Funnel-Transformer: Filtering out Sequential Redundancy for Efficient Language Processing [112.2208052057002]
  本稿では,隠れ状態の列を短く圧縮するFunnel-Transformerを提案する。 Funnel-TransformerはFLOPに匹敵する数が少ないため、様々なシーケンスレベルの予測タスクにおいて標準のTransformerよりも優れている。
  論文  参考訳（メタデータ） (2020-06-05T05:16:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。