論文の概要: DUGO: Dual-Scale Gaussian Memory for Online Temporal Action Localization in Egocentric Procedural Videos

• arxiv url: http://arxiv.org/abs/2610.41402v1
• Date: Fri, 30 Oct 2026 08:13:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.655414
• Title: DUGO: Dual-Scale Gaussian Memory for Online Temporal Action Localization in Egocentric Procedural Videos
• Title（参考訳）: DUGO:Egocentric Procedural Videosにおけるオンライン時間的行動局在のための2次元ガウス記憶
• Abstract要約: OnTALは、未トリミングストリーミングビデオからアクションインスタンスをリアルタイムで検出し、ローカライズすることを目指している。 既存のOnTALメソッドのほとんどは、短いアンカーベースのコンテキストか、過去のフレームの単一スケールメモリに依存している。 局所運動力学と長距離時間依存性を共同でモデル化する新しいOnTALフレームワークであるDUGOを提案する。
• 参考スコア（独自算出の注目度）: 5.335391437112083
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Online Temporal Action Localization (OnTAL) aims to detect and localize action instances from untrimmed streaming videos in real time. Unlike offline approaches, OnTAL models have no access to future frames and cannot go back and refine earlier predictions, which makes the task considerably harder given the strict real-time constraints and narrow temporal window available. Most existing OnTAL methods lean on either brief anchor-based context or a single-scale memory of past frames, which limits how well they can capture actions unfolding across multiple time scales or requiring long-range reasoning in Procedural Videos. To address these gaps, we present DUGO (Dual-Scale Encoding and Gaussian Memory Online), a new OnTAL framework that jointly models local motion dynamics and long-range temporal dependencies. At its core, DUGO uses a Dual-Scale Temporal Encoder, pairing depth-wise local representations with global self-attention so it can pick up both fine-grained temporal patterns and broader contextual cues. We also introduce a Gaussian Memory Bank, which represents action memory as stochastic, input-conditioned Gaussian prototypes, allowing for richer temporal memory through gated cross-attention applied at both the encoder and anchor-query stages. Extensive experiments on procedural egocentric datasets (EGTEA, EPIC-Kitchens-100) demonstrate that DUGO achieves state-of-the-art performance while also providing substantial improvements on non-egocentric benchmarks such as Muses. The project page is available at: https://aman554-eq.github.io/DUGO
• Abstract（参考訳）: Online Temporal Action Localization (OnTAL)は、未トリミングストリーミングビデオからアクションインスタンスをリアルタイムで検出し、ローカライズすることを目的としている。 オフラインのアプローチとは異なり、OnTALモデルは将来のフレームにアクセスできず、以前の予測を遡って改善することができない。 既存のOnTALメソッドの多くは、短いアンカーベースのコンテキストか、過去のフレームの単一スケールメモリに頼っている。 これらのギャップに対処するため,Dual-Scale Encoding と Gaussian Memory Online を新たに発表した。 DUGOのコアとなるのは、Dual-Scale Temporal Encoder(デュアルスケールテンポラルエンコーダ)である。 また,動作記憶を確率的,入力条件のガウス型プロトタイプとして表現するガウス記憶バンクを導入し,エンコーダとアンカー・クエリの両方で適用されたゲート・クロスアテンションにより時間記憶をよりリッチにする。 手続き型エゴセントリックデータセット(EGTEA, EPIC-Kitchens-100)に関する大規模な実験は、DUGOが最先端のパフォーマンスを達成すると同時に、Museのような非エゴセントリックなベンチマークを大幅に改善したことを示している。 プロジェクトページは、https://aman554-eq.github.io/DUGOで公開されている。

関連論文リスト

• Attend Locally, Remember Linearly: Linear Attention as Cross-Frame Memory for Autoregressive Video Diffusion [61.57938553036056]
  ARL2は、二次的なクロスフレームアテンションを固定サイズのリカレント状態に置き換えるハイブリッドアテンションモジュールである。 本研究では,フレーム内ソフトマックスブランチとフレーム間リカレント線形ブランチの2つに分割し,ストリームコンテキストの固定サイズ状態を維持する。 75%の層がハイブリッドリニアアテンションに置き換えられ、最大2.26ウォールクロックのスピードアップと54%のメモリ削減を実現した。
  論文  参考訳（メタデータ） (2026-05-15T19:33:45Z)
• Look Every Frame All at Once: Video-Ma$^2$mba for Efficient Long-form Video Understanding with Multi-Axis Gradient Checkpointing [52.050036778325094]
  Video-Ma$2$mbaは、Mamba-2フレームワークにステートスペースモデル(SSM)を組み込んだ新しいアーキテクチャである。 本手法は,標準勾配チェックポイントに比べてメモリフットプリントを大幅に削減する。 時間的ダイナミクスの詳細なキャプチャーを維持することで、長いビデオ理解タスクにおける応答の精度と関連性を改善することができる。
  論文  参考訳（メタデータ） (2024-11-29T04:12:13Z)
• Implicit Temporal Modeling with Learnable Alignment for Video Recognition [95.82093301212964]
  本稿では,極めて高い性能を達成しつつ,時間的モデリングの労力を最小限に抑える新しいImplicit Learnable Alignment(ILA)法を提案する。 ILAはKineetics-400の88.7%で、Swin-LやViViT-Hに比べてFLOPははるかに少ない。
  論文  参考訳（メタデータ） (2023-04-20T17:11:01Z)
• Unsupervised Pre-training for Temporal Action Localization Tasks [76.01985780118422]
  本稿では、Pseudo Action Localization (PAL) と呼ばれる自己教師付きプレテキストタスクを、時間的アクションローカライゼーションタスク(UP-TAL)のための教師なし事前訓練機能エンコーダに提案する。 具体的には、まず1つのビデオから複数のクリップを含む時間領域をランダムに選択し、他の2つのビデオの異なる時間的位置に貼り付ける。 前提課題は、2つの合成ビデオからペーストした擬似行動領域の特徴を調整し、両者の合意を最大化することである。
  論文  参考訳（メタデータ） (2022-03-25T12:13:43Z)
• Efficient Global-Local Memory for Real-time Instrument Segmentation of Robotic Surgical Video [53.14186293442669]
  手術器具の知覚における重要な手がかりとして,隣接するフレームからの局所的時間依存性と,長距離における大域的意味的相関があげられる。 本稿では,グローバルとローカルの両方の時間的知識を関連付ける新しいデュアルメモリネットワーク(DMNet)を提案する。 本手法は,実時間速度を維持しながらセグメント化精度を向上する手法である。
  論文  参考訳（メタデータ） (2021-09-28T10:10:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。