論文の概要: FoveaDet: Software-Hardware Co-Design of Foveated CNN-Transformer for Object Detection
- arxiv url: http://arxiv.org/abs/2611.15579v1
- Date: Wed, 11 Nov 2026 15:02:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.176207
- Title: FoveaDet: Software-Hardware Co-Design of Foveated CNN-Transformer for Object Detection
- Title(参考訳): FoveaDet:オブジェクト検出のためのFoveated CNN-Transformerの共同設計
- Abstract要約: 本稿では,モバイルプラットフォーム上でのリアルタイムオブジェクト検出のためのFoveaDetというソフトウェアハードウェア共同設計フレームワークを提案する。
ソフトウェア側では、FoveaDetは修正点を予測するために正常な領域を動的に識別し、続いてアグレッシブパッチプルーニングを行い、無関係なバックグラウンドデータを破棄する。
- 参考スコア(独自算出の注目度): 1.0195618602298684
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deploying real-time object detection on power-constrained edge platforms is challenging as processing full-resolution frames is often computationally redundant. Inspired by biological foveation which assigns variable resolution based on visual saliency, we propose a novel software-hardware co-design framework called FoveaDet. On the software side, FoveaDet dynamically identifies salient regions to predict fixation points, followed by aggressive patch pruning in Vision Transformers (ViT) to discard irrelevant background data. To mitigate slowdowns from sequential patch generation, we implement optimized interpolation and patch selection algorithms. Evaluated on standard GPUs, this foveated approach reduces floating-point operations by 65.4% to 92.2% and accelerates inference by 4.76x, while suffering a negligible mAP drop compared to dense baselines. To eliminate hardware bottlenecks, we complement the algorithm with a custom RISC-V core featuring specialized instructions to accelerate the foveated processing pipeline. FoveaDet provides a scalable, efficient architecture capable of unlocking advanced vision processing on severely constrained mobile platforms.
- Abstract(参考訳): パワー制約のあるエッジプラットフォームにリアルタイムオブジェクト検出をデプロイすることは、フル解像度フレームの処理がしばしば計算的に冗長であるため、難しい。
視覚的サリエンシに基づく可変分解能を付与する生物的ファベーションに着想を得て,FoveaDetという新しいソフトウェア・ハードウェア共同設計フレームワークを提案する。
ソフトウェア側では、FoveaDetは修正点を予測するために正常な領域を動的に識別し、その後ViT(Vision Transformers)でアグレッシブパッチプルーニングを行い、無関係なバックグラウンドデータを破棄する。
逐次パッチ生成からスローダウンを軽減するため,最適化された補間とパッチ選択アルゴリズムを実装した。
標準的なGPUによる評価では、フローティングポイント操作を65.4%から92.2%に削減し、推論を4.76倍加速する一方で、密度の高いベースラインに比べて無視可能なmAP低下を経験する。
ハードウェアのボトルネックをなくすため、フェーベート処理パイプラインを高速化するための特別な命令を特徴とする独自のRISC-Vコアでアルゴリズムを補完する。
FoveaDetは、高度に制約されたモバイルプラットフォーム上で高度なビジョン処理をアンロックできるスケーラブルで効率的なアーキテクチャを提供する。
関連論文リスト
- TurboGS: Accelerating 3D Gaussian Splatting via Error-Guided Sparse Pixel Sampling and Optimization [54.179316928687435]
TurboGSは3DGSを高速化するエラー誘導トレーニングフレームワークであり、知覚的に情報のあるピクセルに最適化を集中させることで実現している。
標準ベンチマークの実験では、5090GPUカード1枚で100秒以内にTurboGSが同等または優れたレンダリング品質を提供できることが示されている。
論文 参考訳(メタデータ) (2026-06-14T16:59:48Z) - Accelerating HEVC Intra Partitioning via a CNN-Hierarchical Attention Transformer Hybrid [4.476114670463592]
Hybrid Fast Vision Transformer (HFViT) はHEVCのモード内分割予測を高速化するために設計されたハイブリッドアーキテクチャである。
標準的なJCT-VCテストシーケンスでは、HFViTは平均VMAF BDレートのペナルティを2.4、2.6、および7.9ポイント削減する。
論文 参考訳(メタデータ) (2026-05-27T20:10:22Z) - PARE: Pruning and Adaptive Routing for Efficient Video Generation [71.54959622788608]
ビデオ拡散変換器(DiT)は高品質なビデオを生成するが、広いブロック、深いアーキテクチャ、反復的なサンプリングのためにかなりの計算を必要とする。
最近の手法では、幅、深さ、サンプリングのステップを圧縮することでコストを削減するが、通常は個々の入力に適応できない固定されたアーキテクチャにコミットする。
本稿では,構造対応プルーニングと入力適応ルーティングを併用して,幅と深さを共同で圧縮するPAREを提案する。
論文 参考訳(メタデータ) (2026-05-26T17:43:25Z) - Amped: Adaptive Multi-stage Non-edge Pruning for Edge Detection [53.59823657644554]
エッジ検出のための適応型多段非エッジプルーニングフレームワーク(Amped)を提案する。
Ampedは高信頼の非エッジトークンを識別し、可能な限り早く削除し、計算を大幅に削減する。
既存のエッジ検出ネットワークの構造的複雑さを軽減するため,Streamline Edge Detector(SED)と呼ばれる,シンプルながら高性能なTransformerベースのモデルを導入する。
論文 参考訳(メタデータ) (2026-03-29T12:26:35Z) - Efficient On-Board Processing of Oblique UAV Video for Rapid Flood Extent Mapping [7.460695517551536]
TTR(Temporal Token Reuse)は、組み込みデバイス上でビデオセグメンテーションを高速化する適応型推論フレームワークである。
我々は,TTRがセグメンテーション精度(0.5% mIoU)の劣化を無視して,推論遅延の30%低減を実現していることを示す。
これらの結果から,TTRは運用フロンティアを効果的にシフトさせ,高忠実でリアルタイムな斜めビデオ理解を可能にすることが確認された。
論文 参考訳(メタデータ) (2026-01-16T13:41:56Z) - Towards Efficient Image Deblurring for Edge Deployment [1.2234742322758418]
画像の劣化は、モバイル画像信号処理パイプラインにおいて重要な段階であり、細かな構造やテクスチャを復元する能力は、エッジデバイスのリアルタイムな制約とバランスをとらなければならない。
本稿では, 感性誘導ブロック置換, シュロゲート蒸留, デバイスプロファイリングにより駆動されるトレーニング不要な多目的探索により, 既存モデルを再構成するハードウェア対応適応フレームワークを提案する。
36ブロックのNAFNetベースラインの適用により、最適化された変種は、最近のトランスフォーマーベースのSOTAと比較して最大55%のGMAC削減を実現し、競争の正確性を維持している。最も重要なのは、オンデバイスデプロイメントがベースラインよりも1.25倍のレイテンシ改善をもたらすことだ。
論文 参考訳(メタデータ) (2026-01-16T10:09:13Z) - FastBEV++: Fast by Algorithm, Deployable by Design [5.339716421285263]
本稿では,最新のパフォーマンスと車載デプロイメントのトラクタビリティを両立させるフレームワークであるFastBEV++を紹介する。
モノリシックなプロジェクションを標準のIndex-Gather-Reshapeパイプラインに分解する新しいビューパラダイムを通じて、"Deployable by Design"の原則を実現する。
論文 参考訳(メタデータ) (2025-12-09T04:37:46Z) - DPVO-QAT++: Heterogeneous QAT and CUDA Kernel Fusion for High-Performance Deep Patch Visual Odometry [0.8122270502556375]
本稿では,DPVO-QAT++ (DPVO-QAT++: Heterogeneous QAT and Kernel Fusion for High-Performance Deep Patch Visual Odometry)を提案する。
論文 参考訳(メタデータ) (2025-11-16T15:38:25Z) - Sliding Window Attention for Learned Video Compression [67.57073402826292]
本研究は3D Sliding Window Attention (SWA)を導入している。
Bjorntegaard Delta-rate saves to up 18.6% %。
論文 参考訳(メタデータ) (2025-10-04T20:11:43Z) - ResidualViT for Efficient Temporally Dense Video Encoding [66.57779133786131]
我々は,時間的に密集したタスクに対する計算機能のコスト削減に3つの貢献をしている。
まず、ビデオの時間的冗長性を活用するビジョントランスフォーマー(ViT)アーキテクチャ、ResidualViTを紹介する。
第2に,原基礎モデルのフレームレベルの特徴を近似する軽量蒸留方式を提案する。
論文 参考訳(メタデータ) (2025-09-16T17:12:23Z) - Degradation-Aware Unfolding Half-Shuffle Transformer for Spectral
Compressive Imaging [142.11622043078867]
圧縮画像と物理マスクからパラメータを推定し,これらのパラメータを用いて各イテレーションを制御する,DAUF(Degradation-Aware Unfolding Framework)を提案する。
HST を DAUF に接続することにより,HSI 再構成のための変換器の深部展開法であるデグレーション・アウェア・アンフォールディング・ハーフシャッフル変換器 (DAUHST) を確立した。
論文 参考訳(メタデータ) (2022-05-20T11:37:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。