論文の概要: Event-based Action Recognition by Pre-Training on Multi-Frame Representations

• arxiv url: http://arxiv.org/abs/2610.13856v1
• Date: Fri, 09 Oct 2026 17:05:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.696282
• Title: Event-based Action Recognition by Pre-Training on Multi-Frame Representations
• Title（参考訳）: 複数フレーム表現の事前学習によるイベントベース行動認識
• Abstract要約: アクション認識は、ロボット工学、患者の監視、監視といった分野において重要なタスクである。 単一フレームの認識性能を大幅に向上させるマルチフレーム表現を提案する。 提案手法は, THU-EACT-50 CHLおよびDailyDVS-200上での最先端性能を生かし, 長期化と複雑なイベントシーケンスに挑戦する顕著な性能を示す。
• 参考スコア（独自算出の注目度）: 1.1666234644810893
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Action recognition is a crucial task in domains like robotics, patient monitoring, or surveillance. Recently, event-based action recognition has attracted much attention due to the event camera's ability to capture fast motions and its improved privacy over conventional vision cameras. While frame-based event representations work well for short event sequences, their discriminative ability declines sharply with longer and more complex event sequences. In this work, we introduce a multi-frame representation that greatly improves recognition performance over its single-frame counterpart. We adopt a masked auto-encoding framework to pre-train a Vision Transformer using a sparsity-aware masking algorithm and token selection mechanism to improve downstream performance and control computational complexity. We also introduce multiple mask tokens for the decoder with a position-aware attention mechanism, leading to further improved performance. Our proposed method shows impressive performance for challenging long-duration and complex event sequences, yielding state-of-the-art performance on THU-EACT-50 CHL and DailyDVS-200.
• Abstract（参考訳）: アクション認識は、ロボット工学、患者の監視、監視といった分野において重要なタスクである。 近年、イベントカメラが高速な動きを捉え、従来の視覚カメラよりもプライバシーが向上したため、イベントベースのアクション認識が注目されている。 フレームベースのイベント表現は短いイベントシーケンスではうまく機能するが、その識別能力はより長く複雑なイベントシーケンスで急激に低下する。 本研究では,マルチフレームの認識性能を大幅に向上させるマルチフレーム表現を提案する。 我々は,マスマスキングアルゴリズムとトークン選択機構を用いて,視覚変換器を事前訓練するマスク付き自動符号化フレームワークを採用し,下流の性能を改善し,計算複雑性を制御する。 また、位置認識型アテンション機構を備えたデコーダに複数のマスクトークンを導入し、さらなる性能向上を実現した。 提案手法は, THU-EACT-50 CHLおよびDailyDVS-200上での最先端性能を生かし, 長期化と複雑なイベントシーケンスに挑戦する顕著な性能を示す。

関連論文リスト

• EventGait: Towards Robust Gait Recognition with Event Streams [50.890621860023]
  イベントカメラは、マイクロ秒時間分解能と高ダイナミックレンジを提供し、自然にロバストなダイナミックキューをキャプチャし、静的ノイズを抑制する。 イベントの利点を保ちながら、動きと形状を別々にモデル化する、エンドツーエンドのデュアルストリームフレームワークである textbfEventGait を提案する。 当社のアプローチでは,イベント駆動歩行分析の堅牢性と可能性を強調し,合成および実世界の歩行ベンチマークに新たな技術状況が設定されている。
  論文  参考訳（メタデータ） (2026-05-21T08:12:04Z)
• CronusVLA: Towards Efficient and Robust Manipulation via Multi-Frame Vision-Language-Action Modeling [84.51372201195132]
  CronusVLAは、単一フレームのVLAモデルをマルチフレームパラダイムに拡張する統合フレームワークである。 CronusVLAは70.9%の成功率で先進的な性能と優れた堅牢性を達成する。 これらの結果は、より強力で堅牢な実世界展開のためのVLAモデルにおける効率的なマルチフレーム適応の可能性を強調している。
  論文  参考訳（メタデータ） (2025-06-24T17:30:27Z)
• Event Masked Autoencoder: Point-wise Action Recognition with Event-Based Cameras [8.089601548579116]
  本稿では,行動認識のためのイベントデータの構造を保存・活用する新しいフレームワークを提案する。 本フレームワークは,1)マスキングされた生のイベントカメラポイントデータからイベントパッチを再構成することにより,コンパクトかつ離散的な表現を学習するポイントワイド・イベントマスク自動エンコーダ (MAE) ,2) イベントデータインレーヤモデルとポイントワイドデータ拡張技術を活用する改良されたイベントポイントパッチ生成アルゴリズムにより,品質と多様性のイベントポイントパッチを向上する。
  論文  参考訳（メタデータ） (2025-01-02T03:49:03Z)
• Efficient Multi-modal Large Language Models via Visual Token Grouping [55.482198808206284]
  高解像度の画像やビデオは、彼らの広く普及するための障壁となる。 MLLMにおける視覚トークンの圧縮は、推論コストを削減するための有望なアプローチとして現れている。 本稿では,事前学習した視覚エンコーダの能力を利用して類似画像セグメントをグループ化する,新たなグループ化機構であるVisToGを紹介する。
  論文  参考訳（メタデータ） (2024-11-26T09:36:02Z)
• Resource-Efficient Multiview Perception: Integrating Semantic Masking with Masked Autoencoders [6.498925999634298]
  本稿では、マスク付きオートエンコーダ(MAE)を用いた通信効率の高い分散マルチビュー検出と追跡のための新しい手法を提案する。 本稿では,事前訓練されたセグメンテーションモデルと調整可能なパワー関数を利用して,情報領域の優先順位付けを行う意味誘導型マスキング手法を提案する。 我々は,仮想および実世界のマルチビューデータセットを用いて本手法の評価を行い,性能指標の検出と追跡において同等の性能を示す。
  論文  参考訳（メタデータ） (2024-10-07T08:06:41Z)
• M2-CLIP: A Multimodal, Multi-task Adapting Framework for Video Action Recognition [39.92547393649842]
  これらの課題に対処するために,新しいMultimodal,Multi-task CLIP適応フレームワークの名前付きフレームワークを導入する。 ゼロショットシナリオにおける強力な一般化を維持しつつ、教師あり学習における例外的な性能を示す。
  論文  参考訳（メタデータ） (2024-01-22T02:03:31Z)
• Ring Attention with Blockwise Transformers for Near-Infinite Context [88.61687950039662]
  本稿では,複数のデバイスにまたがって長いシーケンスを分散するために,ブロックワイドな自己注意とフィードフォワードの計算を利用する,ブロックワイドトランスフォーマーを用いたリングアテンション(リングアテンション)を提案する。 提案手法では,先行メモリ効率の変換器で達成可能なものよりも,デバイス数倍のシーケンスのトレーニングと推論が可能となる。
  論文  参考訳（メタデータ） (2023-10-03T08:44:50Z)
• EventTransAct: A video transformer-based framework for Event-camera based action recognition [52.537021302246664]
  イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。 本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。 イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
  論文  参考訳（メタデータ） (2023-08-25T23:51:07Z)
• Event-LSTM: An Unsupervised and Asynchronous Learning-based Representation for Event-based Data [8.931153235278831]
  イベントカメラは、アクティビティ駆動のバイオインスパイアされたビジョンセンサーです。 LSTM層からなる教師なしオートエンコーダアーキテクチャであるEvent-LSTMを提案する。 また、最先端のイベントをデノージングプロセスにメモリを導入することで、デノージングを前進させます。
  論文  参考訳（メタデータ） (2021-05-10T09:18:52Z)
• An Emerging Coding Paradigm VCM: A Scalable Coding Approach Beyond Feature and Signal [99.49099501559652]
  Video Coding for Machine (VCM)は、視覚的特徴圧縮と古典的なビデオ符号化のギャップを埋めることを目的としている。 我々は,学習した動きパターンのガイダンスを用いて,映像フレームを再構成するために条件付き深層生成ネットワークを用いる。 予測モデルを介してスパース動作パターンを抽出することを学ぶことにより、特徴表現をエレガントに活用し、符号化されたフレームの外観を生成する。
  論文  参考訳（メタデータ） (2020-01-09T14:18:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。