論文の概要: SFMformer: A Spatial-Frequency Modulation Transformer for Lightweight Image Super-Resolution
- arxiv url: http://arxiv.org/abs/2608.17966v1
- Date: Tue, 18 Aug 2026 16:20:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.400924
- Title: SFMformer: A Spatial-Frequency Modulation Transformer for Lightweight Image Super-Resolution
- Title（参考訳）: SFMformer:軽量画像超解像のための空間周波数変調変換器
- Abstract要約: 本稿では,このようなネットワークを改善することの意味が,スパーシフィケーションによって変化することを観察する。
濃密な注意層には、表現品質が重要となる1つの場所がある。
本研究では,2分岐空間拡張をウェーブレット領域の変調とプログレッシブフォーカスアテンションの入力にペアリングし,SFMフォーマを形成する。
- 参考スコア（独自算出の注目度）: 0.3262230127283452
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sparse attention mechanisms, which score all token pairs but propagate only the strongest, now underpin the most efficient Transformers for lightweight image super-resolution. This paper observes that sparsification changes what it means to improve such a network. A dense attention layer has one place where representation quality matters: the aggregation of attended features. A sparse layer has two, because the top-k operator first decides which tokens survive and only then decides what to do with them, and a token discarded at the selection stage cannot be recovered downstream. Selection quality and aggregation quality are therefore separable targets, addressed by modules placed before and after the attention respectively. We test this by pairing a dual-branch spatial enhancement on the input of a progressive focused attention with a wavelet-domain modulation on its output, forming SFMformer. Measuring each module alone and jointly over all fifteen benchmark-scale pairs, we find their gains are not additive: the joint gain exceeds the sum of the individual gains on nine pairs, and the sign of the discrepancy is predicted by how much the weaker module contributes on its own (r = -0.72), so the two compound when they relieve different constraints and overlap when they relieve the same one. Enabling spectral modulation once per block rather than once per layer retains the effect at roughly one-sixth of its cost, keeping the model below one million parameters at every scale. SFMformer ranks first on 28 of 30 PSNR/SSIM entries across five benchmarks and three upscaling factors. We report the cases where the pairing does not help, and deploy the model on a Raspberry Pi 5 to confirm the design is practical under tight resource budgets.
- Abstract（参考訳）: すべてのトークン対をスコアするが、最強のみを伝搬するスパースアテンション機構は、軽量画像超解像のための最も効率的なトランスフォーマーの基盤となっている。
本稿では,このようなネットワークを改善することの意味が,スパーシフィケーションによって変化することを観察する。
濃密な注意層には、表現品質が重要となる1つの場所がある。
スパース層が2つあるのは、トップk演算子が最初にどのトークンが生存するかを決め、次に何をするかを決め、選択段階で破棄されたトークンを下流に戻すことができないからである。
したがって、選択品質と集約品質は分離可能なターゲットであり、それぞれ注意の前後に配置されたモジュールによって対処される。
本研究では,2分岐空間拡張をウェーブレット領域の変調とプログレッシブフォーカスアテンションの入力にペアリングし,SFMフォーマを形成する。
合同利得は9対の個々の利得の和を超え、より弱い加群が単独でどれだけ貢献するか(r = −0.72)によって差の兆候が予測されるので、異なる制約を緩和し、同じ利得を緩和すると重なり合う。
1ブロックあたりのスペクトル変調は、1層あたり1回ではなく、約6分の1のコストで効果を保ち、各スケールで100万パラメータ以下に抑える。
SFMformerは5つのベンチマークと3つのアップスケーリング要因で30のPSNR/SSIMエントリのうち28位にランクインしている。
このペアリングが役に立たないケースを報告し、Raspberry Pi 5にモデルをデプロイして、厳格なリソース予算の下で設計が実用的であることを確認します。
関連論文リスト
- On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - AdaMerge: Salience-Aware Adaptive Token Merging for Training-Free Acceleration of Vision Transformers [5.739405014622565]
AdaMergeは2つの補完メカニズムに基づいたトークンマージフレームワークである。
ToMe、PiToMe、DSMよりずっと優れています。
論文 参考訳（メタデータ） (2026-05-26T05:35:39Z) - Posterior Augmented Flow Matching [64.1559809786948]
後拡張フローマッチング(PAFM)はフローマッチング(FM)の一般化である
PAFMは、異なるモデルスケールで最大3.4FID50KでFMよりも改善されていることを示す。
論文 参考訳（メタデータ） (2026-05-01T17:59:59Z) - Linear Differential Vision Transformer: Learning Visual Contrasts via Pairwise Differentials [34.77694214755808]
MHSA(Multi-Head Self-Attention)の代替品であるVCA(Visual-Contrast Attention)を導入する。
VCAは、O(N N C) から O(N n C) への理論複雑性を n N で減少させながら、識別の明示的な概念を注入する。
モジュールはDeiT-Tinyのバックボーンに0.3M以下のパラメータを追加し、追加のFLOPを必要とせず、完全にアーキテクチャに依存しない。
論文 参考訳（メタデータ） (2025-11-02T07:04:12Z) - Mixture-of-Modules: Reinventing Transformers as Dynamic Assemblies of Modules [96.21649779507831]
そこで我々は,Mix-of-modules (MoM) と呼ばれる新しいアーキテクチャを提案する。
MoMは、任意の層がその位置に関係なくトークンを計算することができるという直感によって動機付けられている。
MoMはトランスフォーマーのための統一されたフレームワークを提供するだけでなく、冗長性を減らすための柔軟で学習可能なアプローチを提供する。
論文 参考訳（メタデータ） (2024-07-09T08:50:18Z) - Accelerating Transformers with Spectrum-Preserving Token Merging [43.463808781808645]
PiToMeは、エネルギースコアと呼ばれる追加のメトリックを使用して、情報トークンの保存を優先する。
実験の結果,PiToMeはベースモデルの40～60%のFLOPから保存されていた。
論文 参考訳（メタデータ） (2024-05-25T09:37:01Z) - Data-independent Module-aware Pruning for Hierarchical Vision Transformers [41.92794134275854]
階層型視覚変換器(ViT)は従来のViTよりも2つの利点がある。
まず、階層型ViTは局所的な自己注意による画像サイズに関する線形計算複雑性を実現する。
第二に、階層的なViTは階層的な特徴マップを作成し、画像パッチをより深い層にマージして、密度の高い予測を行う。
論文 参考訳（メタデータ） (2024-04-21T12:50:38Z) - Transformers meet Stochastic Block Models: Attention with Data-Adaptive
Sparsity and Cost [53.746169882193456]
最近の研究は、自己注意の二次的コストを克服するために、様々なスパークアテンションモジュールを提案している。
本稿では,それぞれの注意を混合メンバーシップブロックモデルで表現することで,両方の問題を解決するモデルを提案する。
我々のモデルは、以前の効率的な変種とオリジナルのトランスフォーマーより優れており、十分に注目されています。
論文 参考訳（メタデータ） (2022-10-27T15:30:52Z) - Squeezeformer: An Efficient Transformer for Automatic Speech Recognition [99.349598600887]
Conformerは、そのハイブリッドアテンション・コンボリューションアーキテクチャに基づいて、様々な下流音声タスクの事実上のバックボーンモデルである。
Squeezeformerモデルを提案する。これは、同じトレーニングスキームの下で、最先端のASRモデルよりも一貫して優れている。
論文 参考訳（メタデータ） (2022-06-02T06:06:29Z) - FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization [73.41395947275473]
本稿では、変換周波数領域において、ドメイン固有の特徴をフィルタリングする新しい周波数認識アーキテクチャを提案する。
3つのベンチマークの実験では、最先端の手法をそれぞれ3%、4%、9%のマージンで上回った。
論文 参考訳（メタデータ） (2022-03-24T07:26:29Z) - Shunted Self-Attention via Multi-Scale Token Aggregation [124.16925784748601]
最近のビジョン変換器(ViT)モデルは、様々なコンピュータビジョンタスクにまたがる励振結果を実証している。
注意層ごとのハイブリッドスケールでの注意をViTsでモデル化するShunted Self-attention(SSA)を提案する。
SSAベースの変換器は84.0%のTop-1精度を実現し、ImageNetの最先端のFocal Transformerより優れている。
論文 参考訳（メタデータ） (2021-11-30T08:08:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。