論文の概要: CodecMotion-OAD: Efficient Online Action Detection with Compressed-Domain Motion
- arxiv url: http://arxiv.org/abs/2610.26915v1
- Date: Sat, 17 Oct 2026 06:31:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.384223
- Title: CodecMotion-OAD: Efficient Online Action Detection with Compressed-Domain Motion
- Title（参考訳）: CodecMotion-OAD:圧縮ドメイン動作による効率的なオンライン行動検出
- Abstract要約: オンラインアクション検出(OAD)は、ストリーミングビデオにおける進行中のアクションを特定する。
我々は,光の流れをデコーダが提供するMVで置き換えるCodecMotion-OADを提案する。
THUMOS'14とMiniROADでは、CodecMotion-OADは68.3 mAP、マッチ蒸留RGB+Flowでは70.9 mAPを達成した。
- 参考スコア（独自算出の注目度）: 2.7098202853542035
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Online action detection (OAD) identifies ongoing actions in streaming videos. Many existing OAD systems combine RGB appearance with optical flow, but dense-flow extraction remains a major computational bottleneck. Codec motion vectors (MVs) are available during decoding, avoiding a separate optical-flow computation. On THUMOS'14, optical flow exceeds MVs by 11.2 mAP points with motion-only inputs, whereas the gap narrows to 3.7 points after RGB fusion, with the largest reduction in action-category discrimination. We propose CodecMotion-OAD, which replaces optical flow with decoder-provided MVs while retaining existing temporal detector architectures. Its two-stage training first aligns MV features with a pretrained flow-feature interface without action labels and then trains RGB+MV detectors using ground-truth labels and soft predictions from a frozen RGB+Flow teacher. To the best of our knowledge, this is the first application of codec MVs to frame-level OAD. On THUMOS'14 with MiniROAD, CodecMotion-OAD achieves 68.3 mAP versus 70.9 mAP for matched-distillation RGB+Flow, while reducing decoder-to-prediction processing time by 11.48-fold on CPU and 2.04-fold on GPU.
- Abstract（参考訳）: オンラインアクション検出(OAD)は、ストリーミングビデオにおける進行中のアクションを特定する。
多くの既存のOADシステムは、RGBの外観と光フローを組み合わせたものであるが、高密度フロー抽出は依然として大きな計算ボトルネックである。
コーデックモーションベクトル(MV)は復号時に利用でき、別個の光フロー計算を避けることができる。
THUMOS'14では、光学フローは動きのみの入力を持つMVを11.2 mAPで上回り、ギャップはRGB融合後に3.7ポイントに狭まり、アクションカテゴリーの識別は最大である。
我々は,既存の時間検出器アーキテクチャを維持しつつ,光フローをデコーダによるMVに置き換えるCodecMotion-OADを提案する。
その2段階の訓練は、まずMVの特徴をアクションラベルなしで事前訓練されたフロー機能インターフェースと整列させ、次にRGB+MV検出器を地上のトラックラベルと凍結したRGB+Flow教師のソフト予測を使って訓練する。
私たちの知る限りでは、コデックMVをフレームレベルのOADに適用するのはこれが初めてです。
THUMOS'14 with MiniROADでは、マッチした蒸留RGB+Flowに対して、CodecMotion-OADは68.3 mAP対70.9 mAPを達成し、CPUでは11.48倍、GPUでは2.04倍のデコーダ-予測処理時間を短縮した。
関連論文リスト
- Mage-VL: An Efficient Codec-Native Streaming Multimodal Foundation Model [60.85752511708308]
本稿では,リアルタイムマルチモーダル理解とインタラクションのための効率的なストリーミング基盤モデルであるMage-VLを提案する。
その中核として、我々のカスタムトークンであるMage-ViTは、動的エントロピーリッチな領域を選択的に符号化することで、一様フレームサンプリングを置き換える。
我々は、キャプションとAI駆動のパフォーマンス診断のためのプロンプトコード共同最適化を含むAI4AIデータパイプラインを確立する。
論文 参考訳（メタデータ） (2026-07-27T17:59:53Z) - MI-DETR: A Strong Baseline for Moving Infrared Small Target Detection with Bio-Inspired Motion Integration [63.87179575890912]
我々は、赤外線小ターゲット検出のためのバイオインスパイアされたデュアルパス検出装置であるモーション統合DETR(MI-DETR)を提案する。
まず、網膜にインスパイアされたセルオートマトン(RCA)は、生フレーム配列を外観画像と同じピクセルグリッド上に定義されたモーションマップに変換する。
第二に、PMI(Parvocellular-Magnocellular Interconnection)ブロックは2つの経路間の双方向の特徴的相互作用を促進する。
論文 参考訳（メタデータ） (2026-03-05T11:39:31Z) - Temporal Realism Evaluation of Generated Videos Using Compressed-Domain Motion Vectors [8.077437139445603]
圧縮ビデオストリームから直接抽出した動きベクトル(MV)を用いて時間的行動を評価するスケーラブルなモデルAフレームワークを提案する。
Kullback-Leibler, Jensen-Shannon, Wassersteinの2つの相違点を実ビデオと生成ビデオのMV統計量で計算することで現実性を定量化する。
論文 参考訳（メタデータ） (2025-11-17T20:47:06Z) - MALT: Multi-scale Action Learning Transformer for Online Action Detection [6.819772961626024]
オンラインアクション検出(OAD)は、将来的なフレームにアクセスすることなく、リアルタイムでストリーミングビデオから進行中のアクションを特定することを目的としている。
本稿では,新しいリカレントデコーダを備えたマルチスケール動作学習トランス (MALT) を提案する。
また、無関係なフレームをより効率的にフィルタリングするスパースアテンションを用いた明示的なフレームスコアリング機構も導入する。
論文 参考訳（メタデータ） (2024-05-31T15:03:35Z) - Multiscale Motion-Aware and Spatial-Temporal-Channel Contextual Coding
Network for Learned Video Compression [24.228981098990726]
動画圧縮ネットワーク(MASTC-VC)を提案する。
提案するMASTC-VCは,3つの公開ベンチマークデータセット上での従来の最先端(SOTA)手法よりも優れている。
提案手法は,PSNRのH.265/HEVC(HM-16.20)に対して平均10.15%のBDレートを,MS-SSIMのH.266/VVC(VTM-13.2)に対して平均23.93%のBDレートを節約する。
論文 参考訳（メタデータ） (2023-10-19T13:32:38Z) - IBVC: Interpolation-driven B-frame Video Compression [68.18440522300536]
Bフレームビデオ圧縮は、双方向動作推定と動き補償(MEMC)符号化をミドルフレーム再構成に適用することを目的としている。
従来の学習アプローチでは、しばしば双方向の光フロー推定に依存するニューラルネットワークのPフレームコーデックをBフレームに直接拡張する。
これらの問題に対処するために,IBVC (Interpolation-B-frame Video Compression) という単純な構造を提案する。
論文 参考訳（メタデータ） (2023-09-25T02:45:51Z) - ETAD: A Unified Framework for Efficient Temporal Action Detection [70.21104995731085]
時間的行動検出(TAD)のようなトリミングされていないビデオ理解は、しばしば計算資源に対する膨大な需要の苦痛に悩まされる。
我々は、効率的なエンド・ツー・エンドの時間的行動検出(ETAD)のための統合されたフレームワークを構築している。
ETADはTHUMOS-14とActivityNet-1.3の両方で最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2022-05-14T21:16:21Z) - RGB Stream Is Enough for Temporal Action Detection [3.2689702143620147]
現在最先端の時間的動作検出器は、RGBフレームと光フローを含む2ストリーム入力に基づいている。
光フローは手作業で設計した表現であり、重い計算を必要とするだけでなく、2ストリームの手法がフローとともにエンドツーエンドで学習されないことも方法論的に不満足にしている。
我々は、光学フローが高精度な時間的動作検出において不要であり、光学フローを除去する際の性能劣化を回避するために、画像レベルのデータ拡張が鍵となるソリューションであると主張している。
論文 参考訳（メタデータ） (2021-07-09T11:10:11Z) - Learning Comprehensive Motion Representation for Action Recognition [124.65403098534266]
2d cnnベースのメソッドは効率的であるが、各フレームに同じ2d畳み込みカーネルを適用することで冗長な機能が得られる。
最近の試みは、フレーム間接続を確立しながら、時間的受容野や高いレイテンシに苦しめながら、動き情報をキャプチャしようとするものである。
チャネルワイズゲートベクトルを用いた動的情報に関連するチャネルを適応的に強調するCME(Channel-wise Motion Enhancement)モジュールを提案する。
また,近接する特徴写像の点対点類似性に応じて,重要な目標を持つ領域に焦点をあてる空間的運動強調(SME)モジュールを提案する。
論文 参考訳（メタデータ） (2021-03-23T03:06:26Z) - Motion-Attentive Transition for Zero-Shot Video Object Segmentation [99.44383412488703]
ゼロショットオブジェクトセグメンテーションのためのモーション・アテンタティブ・トランジション・ネットワーク(MATNet)を提案する。
モーション・アテンティブ・トランジション (MAT) と呼ばれる非対称のアテンションブロックは、2ストリームエンコーダ内に設計されている。
このように、エンコーダは深く相互に作用し、物体の動きと外観の間の密な階層的な相互作用を可能にする。
論文 参考訳（メタデータ） (2020-03-09T16:58:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。