論文の概要: Beyond MACs: Hardware Efficient Architecture Design for Vision Backbones

• arxiv url: http://arxiv.org/abs/2603.26551v1
• Date: Fri, 27 Mar 2026 16:05:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-30 21:49:48.582761
• Title: Beyond MACs: Hardware Efficient Architecture Design for Vision Backbones
• Title（参考訳）: MACを超えて - ビジョンバックボーンのためのハードウェア効率の良いアーキテクチャ設計
• Authors: Moritz Nottebaum, Matteo Dunnhofer, Christian Micheloni,
• Abstract要約: 私たちは、新しいビジョンバックボーンファミリーであるLowFormerを紹介します。 LowFormerは、マルチヘッドセルフアテンションの軽量な代替品であるLowtentionを含む、合理化されたマクロとマイクロデザインを備えている。 我々は、より小さな画像分類データセットで評価し、オブジェクト検出、セマンティックセグメンテーション、画像検索、ビジュアルオブジェクト追跡などの下流タスクに適応することで、LowFormerの幅広い適用性を実証する。
• 参考スコア（独自算出の注目度）: 8.982222466965384
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision backbone networks play a central role in modern computer vision. Enhancing their efficiency directly benefits a wide range of downstream applications. To measure efficiency, many publications rely on MACs (Multiply Accumulate operations) as a predictor of execution time. In this paper, we experimentally demonstrate the shortcomings of such a metric, especially in the context of edge devices. By contrasting the MAC count and execution time of common architectural design elements, we identify key factors for efficient execution and provide insights to optimize backbone design. Based on these insights, we present LowFormer, a novel vision backbone family. LowFormer features a streamlined macro and micro design that includes Lowtention, a lightweight alternative to Multi-Head Self-Attention. Lowtention not only proves more efficient, but also enables superior results on ImageNet. Additionally, we present an edge GPU version of LowFormer, that can further improve upon its baseline's speed on edge GPU and desktop GPU. We demonstrate LowFormer's wide applicability by evaluating it on smaller image classification datasets, as well as adapting it to several downstream tasks, such as object detection, semantic segmentation, image retrieval, and visual object tracking. LowFormer models consistently achieve remarkable speed-ups across various hardware platforms compared to recent state-of-the-art backbones. Code and models are available at https://github.com/altair199797/LowFormer/blob/main/Beyond_MACs.md.
• Abstract（参考訳）: ビジョンバックボーンネットワークは、現代のコンピュータビジョンにおいて中心的な役割を果たす。 効率性を高めることは、幅広いダウンストリームアプリケーションに直接利益をもたらす。 効率を測定するために、多くの出版物はMAC(Multiply Accumulate Operation)を実行時間の予測器として依存している。 本稿では,このような計量の欠点,特にエッジデバイスにおける問題点を実験的に示す。 共通アーキテクチャ設計要素のMAC数と実行時間とを対比することにより、効率的な実行の鍵となる要素を特定し、バックボーン設計を最適化するための洞察を提供する。 これらの知見に基づいて、新しいビジョンバックボーンファミリーであるLowFormerを紹介します。 LowFormerは、マルチヘッドセルフアテンションの軽量な代替品であるLowtentionを含む、合理化されたマクロとマイクロデザインを備えている。 ローテンションは、より効率的であるだけでなく、ImageNet上で優れた結果を可能にする。 さらに、エッジGPUとデスクトップGPUのベースラインの速度をさらに向上させることができる、エッジGPUバージョンのLowFormerを紹介します。 我々は、より小さな画像分類データセットで評価し、オブジェクト検出、セマンティックセグメンテーション、画像検索、ビジュアルオブジェクト追跡などの下流タスクに適応することで、LowFormerの幅広い適用性を実証する。 LowFormerモデルは、最近の最先端のバックボーンと比較して、様々なハードウェアプラットフォームで一貫して顕著なスピードアップを実現している。 コードとモデルはhttps://github.com/altair 199797/LowFormer/blob/main/Beyond_MACs.mdで入手できる。

関連論文リスト

• Striving for Faster and Better: A One-Layer Architecture with Auto Re-parameterization for Low-Light Image Enhancement [50.93686436282772]
  我々は、視覚的品質と計算効率の両方から、画像エンハンサーの限界を掘り下げることを目指している。 タスク要求を再考することにより、視覚的品質と計算効率がモデル学習と構造設計に対応する、明示的な接続を構築する。 最終的には、単一の畳み込み層のみを使用して、優れた視覚的品質を維持しながら、効率的な低照度画像強調を実現する。
  論文  参考訳（メタデータ） (2025-02-27T08:20:03Z)
• UniForm: A Reuse Attention Mechanism Optimized for Efficient Vision Transformers on Edge Devices [1.795366746592388]
  トランスフォーマーベースのアーキテクチャは、さまざまなドメインで顕著な成功を収めていますが、エッジデバイスへのデプロイメントは依然として困難です。 本稿では,効率的なメモリアクセスと計算最適化に適した新しいReuse Attention機構を提案する。
  論文  参考訳（メタデータ） (2024-12-03T10:04:15Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• LowFormer: Hardware Efficient Design for Convolutional Transformer Backbones [10.435069781620957]
  効率的な視覚バックボーンの研究は、畳み込みとトランスフォーマーブロックの混合モデルに進化しつつある。 我々は、MACではなく、実際のスループットとレイテンシの観点から、一般的なモジュールとアーキテクチャ設計の選択を分析します。 マクロデザインとマイクロデザインを組み合わせることで,LowFormerと呼ばれる,ハードウェア効率のよいバックボーンネットワークの新たなファミリを作ります。
  論文  参考訳（メタデータ） (2024-09-05T12:18:32Z)
• ParaGraph: Weighted Graph Representation for Performance Optimization of HPC Kernels [1.304892050913381]
  抽象構文木を拡張した並列アプリケーションのためのグラフベースの新しいプログラム表現を提案する。 提案した表現は,OpenMPコード領域のランタイムを予測するために,グラフニューラルネットワーク(GNN)をトレーニングすることで評価する。 その結果,本手法は実効性があり,実行時予測では 0.004 から 0.01 に RMSE を正規化していることがわかった。
  論文  参考訳（メタデータ） (2023-04-07T05:52:59Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• EfficientViT: Multi-Scale Linear Attention for High-Resolution Dense Prediction [67.11722682878722]
  この研究は、新しいマルチスケール線形注意を持つ高解像度ビジョンモデルのファミリーであるEfficientViTを提示する。 マルチスケール線形注意は,グローバルな受容場とマルチスケール学習を実現する。 EfficientViTは従来の最先端モデルよりも優れたパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2022-05-29T20:07:23Z)
• MAPLE-Edge: A Runtime Latency Predictor for Edge Devices [80.01591186546793]
  汎用ハードウェアの最先端遅延予測器であるMAPLEのエッジデバイス指向拡張であるMAPLE-Edgeを提案する。 MAPLEと比較して、MAPLE-Edgeはより小さなCPUパフォーマンスカウンタを使用して、ランタイムとターゲットデバイスプラットフォームを記述することができる。 また、共通ランタイムを共有するデバイスプール上でトレーニングを行うMAPLEとは異なり、MAPLE-Edgeは実行時に効果的に一般化できることを示す。
  論文  参考訳（メタデータ） (2022-04-27T14:00:48Z)
• An Efficient and Scalable Collection of Fly-inspired Voting Units for Visual Place Recognition in Changing Environments [20.485491385050615]
  ローオーバーヘッドのVPR技術は、ローエンドの安価なハードウェアを搭載したプラットフォームを可能にする。 我々のゴールは、外観変化と小さな視点変化に対する最先端のロバスト性を達成しつつ、極端なコンパクト性と効率のアルゴリズムを提供することである。
  論文  参考訳（メタデータ） (2021-09-22T19:01:20Z)
• Anchor-free Small-scale Multispectral Pedestrian Detection [88.7497134369344]
  適応型単一段アンカーフリーベースアーキテクチャにおける2つのモードの効果的かつ効率的な多重スペクトル融合法を提案する。 我々は,直接的境界ボックス予測ではなく,対象の中心と規模に基づく歩行者表現の学習を目指す。 その結果,小型歩行者の検出における本手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2020-08-19T13:13:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。