論文の概要: Selection, Representation, and Execution in Sparse Fourier Neural Operators

• arxiv url: http://arxiv.org/abs/2608.30070v1
• Date: Sun, 30 Aug 2026 22:26:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.171433
• Title: Selection, Representation, and Execution in Sparse Fourier Neural Operators
• Title（参考訳）: スパースフーリエニューラル演算子の選択・表現・実行
• Abstract要約: スパース表現はしばしばモデルを小さくし、推論コストを低減させる。 我々は、表現における空間性、記憶されたパラメータ、理論的操作数、実行時を区別する。 本研究では,それぞれの遷移を個別に検査するスパースFNOに対するいくつかの経路について実証的研究を行った。
• 参考スコア（独自算出の注目度）: 1.8119312186036625
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse representations are often expected to make models smaller and also reduce inference cost. For Fourier Neural Operators (FNOs), these objectives are not equivalent or do not always align: removing parts of the learned operator can leave the underlying transforms and dense computations unchanged, while changing the grid on which the model is evaluated can introduce overhead of its own. We therefore distinguish sparsity in the representation, in the stored parameters, in the theoretical operation count, and in measured runtime, and present an empirical study of several routes toward sparse FNOs that tests each transition between them separately. Coarsening the execution grid reduces the theoretical cost without reducing measured latency, and adding a correction term recovers accuracy at the cost of making the model slower. Even an 83\% parameter reduction remains slower than the dense baseline under ordinary execution. These results motivate a stricter definition of useful sparsity: the deployed operator must preserve solution accuracy and map its reduced support to a genuinely cheaper execution path.
• Abstract（参考訳）: スパース表現はしばしばモデルを小さくし、推論コストを低減させる。 FNO(Fourier Neural Operators)では、これらの目的は同等ではなく、必ずしも一致していない: 学習した演算子の一部を取り除くことは、基礎となる変換と密度の高い計算をそのまま残すことができ、一方、モデルを評価するグリッドを変更することは、自身のオーバーヘッドを導入することができる。 そこで我々は,その表現,記憶されたパラメータ,理論演算数,測定実行時間における空間性を識別し,各遷移を個別にテストするスパースFNOへのいくつかの経路について実証的研究を行った。 実行グリッドの粗化は、測定遅延を減少させることなく理論コストを低減し、補正項を追加することで、モデルを遅くするコストで精度を回復する。 83 % のパラメータ還元でさえ、通常の実行時の高密度ベースラインよりも遅いままである。 デプロイされたオペレータは、ソリューションの正確性を保持し、その削減されたサポートを真に安価な実行パスにマッピングする必要があります。

関連論文リスト

• Penelope: Localized Latent Recurrence for Efficient Structured Reasoning [26.549641831847982]
  Penelopeは、事前訓練されたデコーダのみのトランスフォーマーのための効率的な潜時推論フレームワークである。 再帰計算を選択されたデコーダ間隔にローカライズする。 確立された潜在推論モデルと比較して、競争精度が向上する。
  論文  参考訳（メタデータ） (2026-07-28T16:06:46Z)
• Randomized neural operator for parametric PDEs with fast training and conformal uncertainty quantification [47.720075875232226]
  我々は,PCAに基づく次元還元と固定ランダム特徴を組み合わせたニューラル演算子であるPCA-RaNNを紹介する。 演算子学習を固定回帰として再キャストし、遅延回帰を3桁まで削減する。
  論文  参考訳（メタデータ） (2026-06-28T15:02:26Z)
• Train Less, Infer Faster: Efficient Model Finetuning and Compression via Structured Sparsity [21.090365337326414]
  数十億のパラメータを持つ基礎言語モデル(LM)は、高い計算コスト、メモリ要求、過度に適合するリスクのために、しばしば実用的ではない。 トレーニングゲートを用いたスパシフィケーションによる効果的なファインタニング手法を提案する。 実験結果から、最近の微調整ベースラインの効率と性能に優れることが示された。
  論文  参考訳（メタデータ） (2026-02-09T20:20:29Z)
• Repulsor: Accelerating Generative Modeling with a Contrastive Memory Bank [65.00301565190824]
  mnameは、外部エンコーダを必要としない、プラグアンドプレイのトレーニングフレームワークである。 mnameは400kのステップでtextbf2.40 の最先端 FID を達成し、同等のメソッドを著しく上回っている。
  論文  参考訳（メタデータ） (2025-12-09T14:39:26Z)
• Sparse Attention Post-Training for Mechanistic Interpretability [55.030850996535776]
  本稿では,トランスフォーマーの注意を犠牲にすることなく,簡易なポストトレーニング手法を提案する。 制約された余剰目的の下でフレキシブルな空間規則化を適用することで、1Bパラメータまでのモデルで、初期トレーニング損失を抑えつつ、注意接続性を$approx 0.3 %に抑えることができることを示す。
  論文  参考訳（メタデータ） (2025-12-05T16:40:08Z)
• Accelerating PDE Solvers with Equation-Recast Neural Operator Preconditioning [9.178290601589365]
  Minimal-Data Parametric Neural Operator Preconditioning (MD-PNOP) はパラメトリックPDEソルバを高速化するための新しいパラダイムである。 パラメータ偏差の残差を、トレーニングされたニューラル演算子を使用して、オフラインでソリューションを洗練させる、追加のソース用語として再キャストする。 固定ソース、単一グループ固有値、および多群結合固有値問題に対する完全順序忠実度を維持しつつ、計算時間の50%削減を一貫して達成する。
  論文  参考訳（メタデータ） (2025-09-01T12:14:58Z)
• Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
  我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。 提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
  論文  参考訳（メタデータ） (2023-07-27T17:42:06Z)
• Learning Decorrelated Representations Efficiently Using Fast Fourier Transform [3.932322649674071]
  高速フーリエ変換によりO(n d log d)時間で計算できる緩和された非相関正規化器を提案する。 提案した正則化器は、ダウンストリームタスクにおける既存の正則化器に匹敵する精度を示す。
  論文  参考訳（メタデータ） (2023-01-04T12:38:08Z)
• FasterPose: A Faster Simple Baseline for Human Pose Estimation [65.8413964785972]
  本稿では,高速ポーズ推定のためのLR表現を用いた費用対効果ネットワークの設計パラダイムであるFasterPoseを提案する。 我々は,FasterPoseのトレーニング挙動について検討し,収束を加速する新しい回帰クロスエントロピー(RCE)損失関数を定式化する。 従来のポーズ推定ネットワークと比較すると,FLOPの58%が減少し,精度が1.3%向上した。
  論文  参考訳（メタデータ） (2021-07-07T13:39:08Z)
• Age-Based Coded Computation for Bias Reduction in Distributed Learning [57.9123881133818]
  コード計算は、分散学習の高速化に使用することができる。 勾配ベクトルの部分回復は、各反復時の計算時間をさらに短縮することができる。 重なり合う行動が時間とともに相関すると、推定バイアスが特に顕著になる。
  論文  参考訳（メタデータ） (2020-06-02T17:51:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。