論文の概要: DeVIT: Low-Power Vision Transformer Acceleration Using Delta Computation

• arxiv url: http://arxiv.org/abs/2608.01343v1
• Date: Sun, 02 Aug 2026 16:08:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.169645
• Title: DeVIT: Low-Power Vision Transformer Acceleration Using Delta Computation
• Title（参考訳）: DeVIT:デルタ計算を用いた低消費電力ビジョントランス高速化
• Authors: Reyhaneh Hosseinzadeh, Parham Zilouchian Moghaddam, Mehdi Modarressi,
• Abstract要約: 本稿では,差分計算を利用して乗算行列の乗算を可能にする視覚変換器の高速化手法であるDeVITを提案する。 ディープラーニングモデルは、特に自然言語処理やコンピュータビジョンにおいて、様々な領域で前例のないパフォーマンスをもたらしている。
• 参考スコア（独自算出の注目度）: 1.0195618602298682
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The emergence of transformer-based deep learning models has brought unprecedented performance across various domains, particularly in natural language processing and computer vision. However, deploying these models, especially on resource-constrained devices, poses significant challenges due to their high computational complexity and large memory size and bandwidth requirements. This complexity has led researchers to use low-bit model weights to reduce memory usage and improve efficiency. In addition to reducing processing and memory demands, quantization introduces another useful property: value locality, where the extremely large number of parameters are restricted to a limited range of values. To fully take advantage of this locality, this paper presents DeVIT, an acceleration method for vision transformers that leverages differential computation to enable multiplier-less matrix multiplication.
• Abstract（参考訳）: トランスフォーマーベースのディープラーニングモデルの出現は、特に自然言語処理やコンピュータビジョンにおいて、様々な領域で前例のないパフォーマンスをもたらしている。 しかし、これらのモデル、特にリソースに制約のあるデバイスにデプロイすることは、高い計算複雑性と大きなメモリサイズと帯域幅の要求のために大きな課題を生んでいる。 この複雑さにより、研究者はメモリ使用量削減と効率向上のために低ビットモデルウェイトを使用するようになった。 処理とメモリ要求の削減に加えて、量子化は別の有用な特性:値の局所性(英語版)を導入し、非常に多くのパラメータが限られた範囲の値に制限される。 本稿では,この局所性を完全に活用するために,差分計算を利用して乗算行列の乗算を可能にする視覚変換器の高速化手法であるDeVITを提案する。

関連論文リスト

• Ge$^\text{2}$mS-T: Multi-Dimensional Grouping for Ultra-High Energy Efficiency in Spiking Transformer [84.8831358775386]
  スパイキングニューラルネットワーク(SNN)は、ニューラルネットワーク(ANN)よりも優れたエネルギー効率を提供する ANN-SNN ConversionやSpatial-Temporal Backpropagation (STBP)といった既存のパラダイムは、固有の制限に悩まされている。 Ge$text2$mS-Tを提案する。これは時間的・空間的・ネットワーク的構造次元にまたがるグループ計算を実装した新しいアーキテクチャである。
  論文  参考訳（メタデータ） (2026-04-10T02:58:46Z)
• HyperVL: An Efficient and Dynamic Multimodal Large Language Model for Edge Devices [33.126787921005736]
  現在の大きなラナウジュモデルは強い知覚と推論能力を持っている。 高い計算とメモリの要求により、デバイス上で直接デプロイすることが困難になる。 デバイス上での推論に適したマルチモーダルな大規模言語モデルであるHyperVLを紹介する。
  論文  参考訳（メタデータ） (2025-12-16T03:36:41Z)
• DeepCoT: Deep Continual Transformers for Real-Time Inference on Data Streams [63.27233749591346]
  トランスフォーマーベースのモデルは、ますます複雑なタスクに取り組むために、そのサイズとパラメータ数を劇的に増加させてきた。 ストリームデータ推論は通常、スライディング時間ウィンドウ上で実行され、非常に冗長な計算に繋がる。 提案するDeep Continual Transformer(DeepCoT)は冗長性のないエンコーダのみのモデルであり,最小限の変更で既存のディープエンコーダアーキテクチャに適用できる。
  論文  参考訳（メタデータ） (2025-11-21T16:15:43Z)
• ECViT: Efficient Convolutional Vision Transformer with Local-Attention and Multi-scale Stages [0.0]
  ビジョントランスフォーマー(ViT)は、長距離依存をモデル化するために自己アテンションを活用することで、コンピュータビジョンに革命をもたらした。 我々は,CNNとトランスフォーマーの強度を効果的に組み合わせたハイブリッドアーキテクチャである,効率的な畳み込み視覚変換器(ECViT)を提案する。
  論文  参考訳（メタデータ） (2025-04-21T03:00:17Z)
• Accelerating Error Correction Code Transformers [56.75773430667148]
  本稿では,トランスを用いたデコーダの高速化手法を提案する。 最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
  論文  参考訳（メタデータ） (2024-10-08T11:07:55Z)
• OnDev-LCT: On-Device Lightweight Convolutional Transformers towards federated learning [29.798780069556074]
  フェデレートラーニング(FL)は、複数のエッジデバイスにまたがる機械学習モデルを協調的にトレーニングするための、有望なアプローチとして登場した。 トレーニングデータとリソースに制限のあるオンデバイスビジョンタスクのための軽量畳み込み変換器を提案する。
  論文  参考訳（メタデータ） (2024-01-22T02:17:36Z)
• Accelerator-driven Data Arrangement to Minimize Transformers Run-time on Multi-core Architectures [5.46396577345121]
  人工知能におけるトランスフォーマーモデルの複雑さは、計算コスト、メモリ使用量、エネルギー消費を拡大します。 ハードウェアアクセラレーターのカーネルサイズに支配される新しいメモリアレンジメント戦略を提案し,オフチップデータアクセスを効果的に最小化する。 我々の手法は、最先端の変圧器を用いた推論を実行する場合、最大2.8倍の速度向上を実現することができる。
  論文  参考訳（メタデータ） (2023-12-20T13:01:25Z)
• Bitformer: An efficient Transformer with bitwise operation-based attention for Big Data Analytics at low-cost low-precision devices [2.484958184370265]
  本稿では,従来の浮動小数点行列乗算をビット演算に置き換える新しいアテンション機構であるBitformerモデルを提案する。 浮動小数点演算の典型的な$O(n2d)$複雑性から、ビット演算を特徴づける$O(n2T)$複雑性への移行は、この利点を裏付けるものである。
  論文  参考訳（メタデータ） (2023-11-22T16:20:24Z)
• Blockwise Parallel Transformer for Large Context Models [70.97386897478238]
  Blockwise Parallel Transformer (BPT) は、メモリコストを最小限に抑えるために、自己アテンションとフィードフォワードネットワーク融合のブロックワイズ計算である。 メモリ効率を維持しながら、長い入力シーケンスを処理することにより、BPTはバニラ変換器の32倍、以前のメモリ効率の4倍のトレーニングシーケンスを可能にする。
  論文  参考訳（メタデータ） (2023-05-30T19:25:51Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。