論文の概要: A Framework Combining 3D CNN and Transformer for Video-Based Behavior Recognition

• arxiv url: http://arxiv.org/abs/2508.06528v1
• Date: Sat, 02 Aug 2025 07:33:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.410523
• Title: A Framework Combining 3D CNN and Transformer for Video-Based Behavior Recognition
• Title（参考訳）: 映像に基づく行動認識のための3次元CNNと変圧器を組み合わせたフレームワーク
• Authors: Xiuliang Zhang, Tadiwa Elisha Nyamasvisva, Chuntao Liu,
• Abstract要約: 本稿では3D CNNとTransformerアーキテクチャを組み合わせたハイブリッドフレームワークを提案する。 3D CNNモジュールは低レベルの時間的特徴を抽出し、Transformerモジュールは長期の時間的依存関係をキャプチャする。 提案モデルは従来の3D CNNやスタンドアロンのトランスフォーマーよりも優れており、高い認識精度と管理可能な複雑さを実現している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Video-based behavior recognition is essential in fields such as public safety, intelligent surveillance, and human-computer interaction. Traditional 3D Convolutional Neural Network (3D CNN) effectively capture local spatiotemporal features but struggle with modeling long-range dependencies. Conversely, Transformers excel at learning global contextual information but face challenges with high computational costs. To address these limitations, we propose a hybrid framework combining 3D CNN and Transformer architectures. The 3D CNN module extracts low-level spatiotemporal features, while the Transformer module captures long-range temporal dependencies, with a fusion mechanism integrating both representations. Evaluated on benchmark datasets, the proposed model outperforms traditional 3D CNN and standalone Transformers, achieving higher recognition accuracy with manageable complexity. Ablation studies further validate the complementary strengths of the two modules. This hybrid framework offers an effective and scalable solution for video-based behavior recognition.
• Abstract（参考訳）: ビデオに基づく行動認識は、公共の安全、インテリジェントな監視、人間とコンピュータの相互作用といった分野において不可欠である。 従来の3D畳み込みニューラルネットワーク(3D CNN)は、局所的な時空間的特徴を効果的に捉えるが、長距離依存のモデリングに苦慮する。 逆に、Transformerはグローバルな文脈情報を学ぶのが得意だが、計算コストの高い課題に直面している。 これらの制約に対処するため、3D CNNとTransformerアーキテクチャを組み合わせたハイブリッドフレームワークを提案する。 3D CNNモジュールは低レベルの時空間的特徴を抽出し、Transformerモジュールは長期の時間的依存関係をキャプチャし、融合機構は両方の表現を統合する。 ベンチマークデータセットに基づいて評価し、提案モデルは従来の3D CNNとスタンドアロントランスフォーマーより優れ、管理可能な複雑さで高い認識精度を達成する。 アブレーション研究は、2つの加群の相補的な強度をさらに検証する。 このハイブリッドフレームワークは、ビデオベースの行動認識に効果的でスケーラブルなソリューションを提供する。

関連論文リスト

• Lemon: A Unified and Scalable 3D Multimodal Model for Universal Spatial Understanding [80.66591664266744]
  Lemonは3Dポイントクラウドパッチと言語トークンを単一のシーケンスとして処理する統合トランスフォーマーアーキテクチャである。 3次元データの複雑さに対処するため,空間的コンテキストを保存するための構造化パッチやトークン化方式を開発した。 Lemonは、総合的な3D理解と推論タスクにまたがって、最先端のパフォーマンスを確立する。
  論文  参考訳（メタデータ） (2025-12-14T20:02:43Z)
• Puppeteer: Rig and Animate Your 3D Models [105.11046762553121]
  Puppeteerは、さまざまな3Dオブジェクトの自動リギングとアニメーションの両方に対処する包括的なフレームワークである。 本システムはまず, 自己回帰変換器を用いて, 可塑性骨格構造を推定する。 その後、注意に基づくアーキテクチャにより、皮膚の重量を推定する。
  論文  参考訳（メタデータ） (2025-08-14T17:59:31Z)
• SETransformer: A Hybrid Attention-Based Architecture for Robust Human Activity Recognition [7.291558599547268]
  ウェアラブルセンサデータを用いたヒューマンアクティビティ認識(HAR)は,モバイルコンピューティング,ヘルスケア,人間とコンピュータのインタラクションにおいて中心的な課題となっている。 本稿では、トランスフォーマーに基づく時間モデルと、チャネルワイド・サスペンション・アンド・エキサイティング(SE)アテンションと、学習可能な時間アテンションプーリング機構を組み合わせたハイブリッドディープニューラルネットワークSETransformerを提案する。 我々は、WISDMデータセット上でSETransformerを評価し、LSTM、GRU、BiLSTM、CNNベースラインといった従来のモデルよりも大幅に優れていることを示した。
  論文  参考訳（メタデータ） (2025-05-25T23:39:34Z)
• VidFormer: A novel end-to-end framework fused by 3DCNN and Transformer for Video-based Remote Physiological Measurement [9.605944796068046]
  本稿では、畳み込みネットワーク(CNN)とrタスクのモデルを統合する新しいフレームワークであるVidFormerを紹介する。 5つの公開データセットに対する評価は、VidFormerが現在のSOTA(State-of-the-art)メソッドより優れていることを示している。
  論文  参考訳（メタデータ） (2025-01-03T08:18:08Z)
• RAVEN: Rethinking Adversarial Video Generation with Efficient Tri-plane Networks [93.18404922542702]
  本稿では,長期的空間的および時間的依存関係に対処する新しいビデオ生成モデルを提案する。 提案手法は,3次元認識型生成フレームワークにインスパイアされた,明示的で単純化された3次元平面のハイブリッド表現を取り入れたものである。 我々のモデルは高精細度ビデオクリップを解像度256時間256$ピクセルで合成し、フレームレート30fpsで5ドル以上まで持続する。
  論文  参考訳（メタデータ） (2024-01-11T16:48:44Z)
• A Two-stream Hybrid CNN-Transformer Network for Skeleton-based Human Interaction Recognition [6.490564374810672]
  2ストリームハイブリッドCNN-Transformer Network(THCT-Net)を提案する。 CNNの局所的な特異性を活用し、Transformerを通じてグローバルな依存関係をモデル化する。 提案手法は, 様々な行動の意味と文脈をよりよく理解し, 推測し, 最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-31T06:46:46Z)
• Video-FocalNets: Spatio-Temporal Focal Modulation for Video Action Recognition [112.66832145320434]
  Video-FocalNetは、ローカルなグローバルなコンテキストの両方をモデル化する、ビデオ認識のための効率的かつ効率的なアーキテクチャである。 Video-FocalNetは、自己注意の相互作用と集約のステップを反転させる時間的焦点変調アーキテクチャに基づいている。 我々は,5つの大規模データセット上での映像認識のための最先端のトランスフォーマーモデルに対して,Video-FocalNetsが好適に動作することを示す。
  論文  参考訳（メタデータ） (2023-07-13T17:59:33Z)
• Video Mobile-Former: Video Recognition with Efficient Global Spatial-temporal Modeling [125.95527079960725]
  トランスフォーマーベースのモデルは、主要なビデオ認識ベンチマークで最高のパフォーマンスを達成した。 Video Mobile-Formerはトランスフォーマーベースの最初のビデオモデルであり、1G FLOP内で計算予算を制限している。
  論文  参考訳（メタデータ） (2022-08-25T17:59:00Z)
• Gate-Shift-Fuse for Video Action Recognition [43.8525418821458]
  Gate-Fuse (GSF) は、時間内相互作用を制御し、時間を通して特徴を適応的にルーティングし、それらをデータ依存的に組み合わせることを学ぶ、新しい時間的特徴抽出モジュールである。 GSFは既存の2D CNNに挿入して、パラメータや計算オーバーヘッドを無視して、効率的かつ高性能に変換することができる。 2つの人気のある2次元CNNファミリを用いてGSFを広範囲に解析し、5つの標準動作認識ベンチマークで最先端または競合性能を達成する。
  論文  参考訳（メタデータ） (2022-03-16T19:19:04Z)
• Video Frame Interpolation Transformer [86.20646863821908]
  本稿では,トランスフォーマーをベースとした動画フレームワークを提案し,コンテンツ認識集約の重み付けと,自己注意操作による長距離依存を考慮した。 グローバルな自己注意の計算コストが高くなるのを避けるため、ビデオに局所的注意の概念を導入する。 さらに,トランスフォーマーの可能性を完全に実現するためのマルチスケール・フレーム・スキームを開発した。
  論文  参考訳（メタデータ） (2021-11-27T05:35:10Z)
• Dense Interaction Learning for Video-based Person Re-identification [75.03200492219003]
  ビデオベースの人物再ID問題に取り組むために,Dense Interaction Learning (DenseIL) というハイブリッドフレームワークを提案する。 DenseILにはCNNエンコーダとDense Interaction (DI)デコーダが含まれている。 当社の実験は、複数の標準ビデオベースの再IDデータセットにおけるすべての最先端の手法を一貫して大幅に上回ります。
  論文  参考訳（メタデータ） (2021-03-16T12:22:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。