論文の概要: CoDAT: Collaborative Dual-Attention Transformer with Low-Cost Temporal Modeling for Efficient Edge Action Recognition

• arxiv url: http://arxiv.org/abs/2608.06691v1
• Date: Fri, 07 Aug 2026 01:40:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.323784
• Title: CoDAT: Collaborative Dual-Attention Transformer with Low-Cost Temporal Modeling for Efficient Edge Action Recognition
• Title（参考訳）: CoDAT: 効率的なエッジ動作認識のための低コスト時間モデルを用いた協調的デュアルアテンション変換器
• Abstract要約: 現在の3D CNN、ビデオトランスフォーマー、シフトベースのViTは高い精度を提供するが、エッジIoTデプロイメントを妨げる計算コストが伴う。 本稿では,従来のマルチヘッドアテンションを軽量なデュアルブランチモジュールに置き換えるコラボレーティブデュアルアテンショントランスを提案する。 フレーム間の時間通信を可能にするため、各ブロックにパラメータフリーのTShiftモジュールが埋め込まれている。
• 参考スコア（独自算出の注目度）: 10.191006117283782
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-time human action recognition on Internet-of-Things (IoT) edge devices requires models that capture rich spatio-temporal cues within strict latency, memory, and power envelopes. Current 3D CNNs, video transformers, and shift-based ViT deliver high accuracy but come at computational costs that preclude edge IoT deployment. This paper proposes CoDAT, a Collaborative Dual-Attention Transformer that replaces conventional multi-head attention with a lightweight dual-branch module: Spatial Convolutional Attention (SCA) for local aggregation and Strided Single-Head Attention (SSHA) for global context. SSHA jointly compresses the spatial resolution and channel dimensions of the query, key, and value tensors via stride-based sparse projection, then fuses the resulting global and local features at a markedly reduced cost. To enable temporal communication across frames, a parameter-free TShift module is embedded in each block. Extensive experiments on Jetson AGX Orin and Raspberry Pi 5 demonstrate that CoDAT achieves an energy-accuracy balance in both image and action recognition. On ImageNet-1K, CoDAT-M runs 2x faster than EfficientViT384 and FastViT-S12 at comparable accuracy, and CoDAT-L matches ViT-S with 3x fewer parameters at 2x higher throughput. On Kinetics-400 and MA-52, CoDAT achieves competitive Top-1 accuracy against state-of-the-art CNN, transformer, and hybrid baselines while running up to 2.9x faster than VSwin-T, 2x faster than ViT-Temporal-Shift variants, and 5x faster than UniFormer-B. On UCF-101, CoDAT-S384 matches TokShift and LAPS while being 6x faster and requiring up to 13x fewer FLOPs, establishing an efficiency-accuracy balance for real-time action recognition in edge IoT perception systems. Code is available at https://github.com/novendrastywn/CoDAT .
• Abstract（参考訳）: Internet-of-Things(IoT)エッジデバイス上でのリアルタイムなヒューマンアクション認識には、厳格なレイテンシ、メモリ、パワーエンベロープ内で、豊富な時空間キューをキャプチャするモデルが必要である。 現在の3D CNN、ビデオトランスフォーマー、シフトベースのViTは高い精度を提供するが、エッジIoTデプロイメントを妨げる計算コストが伴う。 本稿では,コラボレーティブなデュアルアテンション変換器であるCoDATを提案する。これは,従来のマルチヘッドアテンションを,ローカルアグリゲーションのための空間畳み込みアテンション(SCA)とグローバルコンテキストのためのストリッドシングルヘッドアテンション(SSHA)という,軽量なデュアルブランチモジュールに置き換えるものだ。 SSHAは、ストライドベースのスパースプロジェクションにより、クエリ、キー、値テンソルの空間解像度とチャネル次元を共同で圧縮し、その結果のグローバルな特徴とローカルな特徴を著しく低減したコストで融合する。 フレーム間の時間通信を可能にするため、各ブロックにパラメータフリーのTShiftモジュールが埋め込まれている。 Jetson AGX Orin と Raspberry Pi 5 の大規模な実験は、CoDAT が画像認識と行動認識の両方においてエネルギーと精度のバランスを達成していることを示している。 ImageNet-1Kでは、CoDAT-MはEfficientViT384やFastViT-S12よりも2倍高速で、CoDAT-LはViT-Sと3倍少ないパラメータを2倍高いスループットで一致させる。 Kinetics-400とMA-52では、CoDATは最先端のCNN、トランスフォーマー、ハイブリッドベースラインに対して、VSwin-Tより2.9倍、ViT-Temporal-Shiftより2倍、UniFormer-Bより5倍の速度で競合するTop-1の精度を実現している。 UCF-101では、CoDAT-S384はTokShiftとLAPSを6倍高速で、最大13倍のFLOPを必要とする。 コードはhttps://github.com/novendrastywn/CoDATで入手できる。

関連論文リスト

• Scaling Parallel Sequence Models to Foundation-Scale Vision Encoders [123.58723804218151]
  ビジョンファウンデーションモデルは、自己注意の二次的なコストによってボトルネックとなる。 2次元空間伝搬伝搬に基づくC-GSPNを提案する。
  論文  参考訳（メタデータ） (2026-05-30T14:29:43Z)
• BWTA: Accurate and Efficient Binarized Transformer by Algorithm-Hardware Co-design [71.97035034203275]
  バイナライゼーションにおけるゼロ点歪みを解析し,BWTA量子化方式を提案する。 本稿では,Smooth Multi-Stage Quantizationを提案し,レベルワイド・デグラデーション・ストラテジーとMagnitude Alignment Projection Factorを組み合わせた。 実験の結果、BWTAはTransformerベースのモデルに対して、GLUEでは平均3.5%、タスクでは2%未満の精度でフル精度のパフォーマンスにアプローチしていることがわかった。
  論文  参考訳（メタデータ） (2026-04-05T04:25:07Z)
• Linear Differential Vision Transformer: Learning Visual Contrasts via Pairwise Differentials [34.77694214755808]
  MHSA(Multi-Head Self-Attention)の代替品であるVCA(Visual-Contrast Attention)を導入する。 VCAは、O(N N C) から O(N n C) への理論複雑性を n N で減少させながら、識別の明示的な概念を注入する。 モジュールはDeiT-Tinyのバックボーンに0.3M以下のパラメータを追加し、追加のFLOPを必要とせず、完全にアーキテクチャに依存しない。
  論文  参考訳（メタデータ） (2025-11-02T07:04:12Z)
• Speedy MASt3R [68.47052557089631]
  MASt3Rは、DUSt3Rを活用して高速な相互マッチング方式を導入することで、画像マッチングを3Dタスクとして再定義する。 高速MASt3Rは、精度を犠牲にすることなく、推論時間(画像ペアあたり198msから91ms)を54%削減する。 この進歩により、リアルタイムな3D理解が可能になり、複合現実ナビゲーションや大規模3Dシーン再構築といったアプリケーションに恩恵をもたらす。
  論文  参考訳（メタデータ） (2025-03-13T03:56:22Z)
• ParFormer: A Vision Transformer with Parallel Mixer and Sparse Channel Attention Patch Embedding [9.144813021145039]
  本稿では、並列ミキサーとスパースチャネル注意パッチ埋め込み(SCAPE)を組み込んだ視覚変換器であるParFormerを紹介する。 ParFormerは、畳み込み機構とアテンション機構を組み合わせることで、特徴抽出を改善する。 エッジデバイスのデプロイメントでは、ParFormer-Tのスループットは278.1イメージ/秒で、EdgeNeXt-Sよりも1.38ドル高い。 より大型のParFormer-Lは83.5%のTop-1精度に達し、精度と効率のバランスの取れたトレードオフを提供する。
  論文  参考訳（メタデータ） (2024-03-22T07:32:21Z)
• SHViT: Single-Head Vision Transformer with Memory Efficient Macro Design [5.962184741057505]
  本稿では,メモリ効率のよい設計レベルでの計算冗長性に対処することを目的とする。 より大きなストライドのパッチフィクスを使用するとメモリアクセスコストが削減されるだけでなく、競争性能も向上することがわかった。 SHViTは、最先端の速度精度トレードオフを得る単一ヘッドビジョン変換器である。
  論文  参考訳（メタデータ） (2024-01-29T09:12:23Z)
• Edge-MoE: Memory-Efficient Multi-Task Vision Transformer Architecture with Task-level Sparsity via Mixture-of-Experts [60.1586169973792]
  M$3$ViTは、Mix-of-experts (MoE)を導入した最新のマルチタスクViTモデルである。 MoEは精度の向上と80%以上の削減計算を実現しているが、FPGAに効率的なデプロイを行う上での課題は残されている。 Edge-MoEと呼ばれる私たちの研究は、アーキテクチャの革新の集合を伴って、マルチタスクのViTのための最初のエンドツーエンドFPGAアクセラレータを導入するという課題を解決します。
  論文  参考訳（メタデータ） (2023-05-30T02:24:03Z)
• Spatiotemporal Attention-based Semantic Compression for Real-time Video Recognition [117.98023585449808]
  本稿では,各フレームにおけるフレームと画素の重要性を評価するために,時間的注意に基づくオートエンコーダ(STAE)アーキテクチャを提案する。 我々は3D-2D CNNを組み合わせた軽量デコーダを開発し、欠落した情報を再構成する。 実験の結果,VT_STAEはビデオデータセットH51を,5%の精度で104倍圧縮できることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T07:47:27Z)
• FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
  ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。 現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。 提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
  論文  参考訳（メタデータ） (2021-03-08T03:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。