論文の概要: Edge-Efficient Image Restoration: Transformer Distillation into State-Space Models

• arxiv url: http://arxiv.org/abs/2605.02794v1
• Date: Mon, 04 May 2026 16:35:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:50.410233
• Title: Edge-Efficient Image Restoration: Transformer Distillation into State-Space Models
• Title（参考訳）: エッジ効率の良い画像復元:状態空間モデルへのトランスフォーマー蒸留
• Authors: Srinivas Soumitri Miriyala, Sowmya Vajrala, Sravanth Kodavanti, Vikram Nelvoy Rajendiran, Sharan Kumar Allur,
• Abstract要約: 本稿では,変換器と状態空間モデル(SSM)ブロックを統合したハイブリッド画像復元フレームワークを提案する。 SSMは、より少ないランタイムオーバーヘッドで線形時間シーケンスモデリングを提供するが、きめ細かい復元タスクでは性能が劣る可能性がある。 精度と効率のバランスをとるため、トランスブロックの特徴分担として軽量SSMブロックを訓練する。
• 参考スコア（独自算出の注目度）: 9.199488958939336
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a modular framework for hybrid image restoration that integrates transformer and state-space model (SSM) blocks with a focus on improving runtime efficiency on edge hardware. While transformers provide strong global modeling through self-attention, their attention kernels incur substantial latency on mobile devices, especially for high-resolution inputs. In contrast, SSMs such as Mamba offer lineartime sequence modeling with lower runtime overhead but may underperform on fine grained restoration tasks. To balance accuracy and efficiency, we train lightweight SSM blocks as feature-distilled surrogates of transformer blocks and use them to construct hybrid U-Net-style architectures. To automatically discover effective block combinations, we introduce Efficient Network Search (ENS), a multi-objective search strategy that selects task-specific hybrid configurations from pre-aligned components. ENS optimizes restoration quality while penalizing transformer usage, serving as a lightweight proxy for latency and enabling architecture discovery without repeated hardware profiling. On a Snapdragon 8 Elite CPU, the Restormer baseline requires 10119.52 ms for inference. In contrast, ENS-discovered hybrids significantly reduce runtime: ENS-Deblurring runs in 2973 ms (3.4x faster), ENS-Deraining in 5816 ms (1.74x faster), and ENS-Denoising in 8666 ms (1.17x faster), while maintaining competitive restoration quality.
• Abstract（参考訳）: 本稿では,変換器と状態空間モデル(SSM)ブロックを統合し,エッジハードウェアのランタイム効率向上に重点を置いたハイブリッド画像復元のためのモジュラーフレームワークを提案する。 トランスフォーマーは自己注意による強力なグローバルモデリングを提供するが、その注目カーネルはモバイルデバイス、特に高解像度入力に対してかなりの遅延を発生させる。 対照的に、MambaのようなSSMは、より少ないランタイムオーバーヘッドで線形時間シーケンスモデリングを提供するが、きめ細かい復元タスクでは性能が劣る可能性がある。 精度と効率のバランスをとるために、我々はトランスフォーマーブロックの特徴分担として軽量SSMブロックを訓練し、それらをハイブリッドU-Netスタイルのアーキテクチャの構築に利用する。 有効ブロックの組み合わせを自動的に発見するために,あらかじめ整列されたコンポーネントからタスク固有のハイブリッド構成を選択する多目的探索戦略であるEfficient Network Search (ENS)を導入する。 ENSは、トランスフォーマーの使用をペナライズしながら、復元品質を最適化し、レイテンシの軽量プロキシとして機能し、ハードウェアプロファイリングを繰り返すことなくアーキテクチャ発見を可能にする。 Snapdragon 8 Elite CPUでは、Restormerベースラインは推測に10119.52msを必要とする。 ens-Deblurringは2973 ms (3.4倍高速)、ENS-Derainingは5816 ms (1.74倍高速)、ENS-Denoisingは8666 ms (1.17倍高速)で、競争力のある復元品質を維持している。

関連論文リスト

• FastSHADE: Fast Self-augmented Hierarchical Asymmetric Denoising for Efficient inference on mobile devices [0.3448741840371157]
  現代のモバイル写真にはリアルタイム画像のデノゲーションが不可欠だが、エッジデバイスの厳格なレイテンシと電力制限のため、依然として困難である。 本稿では,モバイルGPU上でのリアルタイムかつ高忠実な復元に適した軽量なU-NetスタイルネットワークであるFastSHADEを提案する。
  論文  参考訳（メタデータ） (2026-04-11T16:36:13Z)
• MiniCPM-SALA: Hybridizing Sparse and Linear Attention for Efficient Long-Context Modeling [80.48332380100915]
  MiniCPM-SALAは、疎注意の高忠実長文モデリングと線形注意のグローバル効率を統合するハイブリッドモデルである。 1つのNVIDIA A6000D GPUでは、256Kトークンのシーケンス長におけるフルアテンションモデルの推論速度が3.5倍に達する。
  論文  参考訳（メタデータ） (2026-02-12T09:37:05Z)
• Towards Efficient Image Deblurring for Edge Deployment [1.2234742322758418]
  画像の劣化は、モバイル画像信号処理パイプラインにおいて重要な段階であり、細かな構造やテクスチャを復元する能力は、エッジデバイスのリアルタイムな制約とバランスをとらなければならない。 本稿では, 感性誘導ブロック置換, シュロゲート蒸留, デバイスプロファイリングにより駆動されるトレーニング不要な多目的探索により, 既存モデルを再構成するハードウェア対応適応フレームワークを提案する。 36ブロックのNAFNetベースラインの適用により、最適化された変種は、最近のトランスフォーマーベースのSOTAと比較して最大55%のGMAC削減を実現し、競争の正確性を維持している。最も重要なのは、オンデバイスデプロイメントがベースラインよりも1.25倍のレイテンシ改善をもたらすことだ。
  論文  参考訳（メタデータ） (2026-01-16T10:09:13Z)
• EdgeFlex-Transformer: Transformer Inference for Edge Devices [2.1130318406254074]
  視覚変換器(ViT)の圧縮・高速化を目的とした軽量で効果的な多段最適化パイプラインを提案する。 本手法は,アクティベーションプロファイリング,メモリ対応プルーニング,選択的混合精度実行,アクティベーション対応量子化(AWQ)を組み合わせることで,コストのかかるリトレーニングやタスク固有の微調整を必要とせずに,モデルのメモリフットプリントを削減する。 CIFAR-10の実験では、完全に最適化されたモデルはピークメモリ使用量の76%削減と6倍のレイテンシを実現し、元のFP32ベースラインと比較して精度を維持または改善している。
  論文  参考訳（メタデータ） (2025-12-17T21:45:12Z)
• PocketSR: The Super-Resolution Expert in Your Pocket Mobiles [69.26751136689533]
  リアルワールド・イメージ・スーパーレゾリューション (RealSR) は、携帯電話が捉えたような、Wild内の画像の視覚的品質を高めることを目的としている。 大規模な生成モデルを利用する既存の手法は印象的な結果を示しているが、計算コストとレイテンシが高いため、エッジ配置には実用的ではない。 超軽量単一ステップモデルであるPocketSRを導入し,高忠実度を維持しつつ生成モデリング機能をRealSRにもたらす。
  論文  参考訳（メタデータ） (2025-10-03T13:56:18Z)
• CollaPipe: Adaptive Segment-Optimized Pipeline Parallelism for Collaborative LLM Training in Heterogeneous Edge Networks [57.95170323315603]
  CollaPipeは、コラボレーティブパイプライン並列性とフェデレーションアグリゲーションを統合し、自己進化型ネットワークをサポートする分散学習フレームワークである。 CollaPipeでは、エンコーダ部分は可変サイズのセグメントに適応的に分割され、パイプライン並列トレーニングのためにモバイルデバイスにデプロイされ、デコーダは生成タスクを処理するためにエッジサーバにデプロイされる。 トレーニング効率を向上させるために,モデルセグメント,マイクロバッチ,帯域幅,送信電力を適応的に割り当てる共同最適化問題を定式化する。
  論文  参考訳（メタデータ） (2025-09-24T07:54:01Z)
• USEFUSE: Uniform Stride for Enhanced Performance in Fused Layer Architecture of Deep Neural Networks [0.6435156676256051]
  本研究では,低レイテンシ左から右へのビットシリアル演算を用いた畳み込みのためのSum-of-Products (SOP)ユニットを提案する。 有効メカニズムは、ReLU層の後、非効率な畳み込みを検出し、スキップし、消費電力を最小化する。 ひとつはミッションクリティカルなアプリケーションの応答時間を最小限にすること、もうひとつはリソースに制約のあるデバイスに同じレイテンシでフォーカスすることである。
  論文  参考訳（メタデータ） (2024-12-18T11:04:58Z)
• Towards Stabilized and Efficient Diffusion Transformers through Long-Skip-Connections with Spectral Constraints [51.83081671798784]
  Diffusion Transformers (DiT) は、画像およびビデオ生成のための強力なアーキテクチャとして登場し、優れた品質とスケーラビリティを提供している。 DiTの実用アプリケーションは本質的に動的特徴不安定性に悩まされており、キャッシュされた推論中にエラーを増幅する。 我々は,Long-Skip-Connections (LSCs) で拡張された画像およびビデオ生成型DiTであるSkip-DiTを提案する。
  論文  参考訳（メタデータ） (2024-11-26T17:28:10Z)
• Transforming Image Super-Resolution: A ConvFormer-based Efficient Approach [58.57026686186709]
  本稿では, Convolutional Transformer Layer (ConvFormer) を導入し, ConvFormer-based Super-Resolution Network (CFSR) を提案する。 CFSRは畳み込みベースのアプローチとトランスフォーマーベースのアプローチの両方の利点を継承する。 CFSRは計算コストと性能のバランスが最適であることを示す実験である。
  論文  参考訳（メタデータ） (2024-01-11T03:08:00Z)
• An Algorithm-Hardware Co-Optimized Framework for Accelerating N:M Sparse Transformers [11.811907838840712]
  一般のN:M空間パターンを利用して, フレキシブルかつ効率的にトランスフォーマーを高速化するアルゴリズム・ハードウェア協調最適化フレームワークを提案する。 我々は、N:Mスパーストランスをデプロイする際の大幅な高速化を実現するために、フレキシブルで効率的なハードウェアアーキテクチャ、すなわちSTAを提案する。 実験の結果, 他の方法と比較して, IDPを用いて生成したN:Mスパース変圧器は, トレーニング効率の高い精度で平均6.7%向上することがわかった。
  論文  参考訳（メタデータ） (2022-08-12T04:51:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。