論文の概要: LookWhen? Fast Video Recognition by Learning When, Where, and What to Compute
- arxiv url: http://arxiv.org/abs/2605.06809v1
- Date: Thu, 07 May 2026 18:08:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-11 19:43:38.532021
- Title: LookWhen? Fast Video Recognition by Learning When, Where, and What to Compute
- Title（参考訳）: 高速ビデオ認識はいつ, どこで, 何を計算すべきかを学習する
- Abstract要約: LookWhenは、ビデオ認識を、いつ、どこで、何を計算すべきかを学習に分解するセレクタ・エクストラクタ・フレームワークである。
私たちの浅いセレクタはスケールダウンされたビデオを受け取り、すべてのトークンを時空で素早くスコアし、深層抽出器はトップK選択トークンを取得してフルビデオ表現を近似します。
LookWhenはInternVideo2-Bの6.7倍の精度で効率が良い。
- 参考スコア（独自算出の注目度）: 32.29218279577984
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformers dominate video recognition. They split videos into tokens, and processing them has expensive superlinear computational cost. Yet videos are filled with redundancy, so we can question the need for this expense. We introduce LookWhen, a selector-extractor framework that factorizes video recognition into learning when, where, and what to compute. Our shallow selector gets a scaled-down video and quickly scores all tokens across space-time, while our deep extractor gets the top-K selected tokens to approximate full-video representations without actually processing all the tokens. A key challenge is defining effective supervision for selection and extraction. For selection pre-training, we introduce a score on representations that ranks tokens by uniqueness using a simple nearest-neighbor distance. For extraction pre-training, we distill both a video teacher and an image teacher, for which we normalize its frame-wise representations to learn what changes within videos. Through these strategies, our selector-extractor learns general and efficient representations for feature extraction or fine-tuning to a task. Through experiments on Kinetics-400, SSv2, Epic-Kitchens, Diving48, Jester, and Charades, we show that LookWhen achieves a better accuracy-computation trade-off than efficient models and upgraded baselines of similar size. LookWhen Pareto-dominates in accuracy-FLOPs on 9 of 12 cases (6 tasks x 2 settings) and roughly matches on 3. In accuracy-throughput, measuring time in practice, LookWhen is more efficient still at 6.7x faster than InternVideo2-B at equal accuracy.
- Abstract（参考訳）: トランスフォーマーはビデオ認識を支配します。
彼らはビデオをトークンに分割し、それらを処理するのに高額な超線形計算コストがかかる。
しかし、ビデオは冗長性に満ちているので、この費用の必要性に疑問を投げかけることができる。
LookWhenは、ビデオ認識を、いつ、どこで、何を計算すべきかを学習に分解するセレクタ・エクストラクタ・フレームワークである。
私たちの浅いセレクタはスケールダウンされたビデオを受け取り、すべてのトークンを時空で素早くスコアし、深層抽出器はトップK選択トークンを取得して、すべてのトークンを実際に処理することなくフルビデオ表現を近似します。
重要な課題は、選択と抽出の効果的な監督を定義することです。
選択事前学習において,簡単な最寄り距離を用いてトークンを一意性でランク付けする表現のスコアを導入する。
事前学習を抽出するために,ビデオ教師と画像教師の両方を蒸留し,そのフレームワイド表現を正規化し,ビデオ内の変化を学習する。
これらの戦略を通じて,提案するセレクタ・エクストラクタは,タスクに対する特徴抽出や微調整のための汎用的で効率的な表現を学習する。
Kinetics-400, SSv2, Epic-Kitchens, Diving48, Jester, Charadesの実験を通して、LookWhenは効率的なモデルよりも精度の高い計算トレードオフを実現し、同様のサイズのベースラインをアップグレードした。
Look When Pareto-dominates in accuracy-FLOPs on 9 case (6 task x 2 settings) and roughly match on 3。
精度のスループット、実際の測定時間では、LookWhenはInternVideo2-Bの6.7倍の精度で効率が良い。
関連論文リスト
- LookWhere? Efficient Visual Recognition by Learning Where to Look and What to See from Self-Supervision [10.461453853510964]
視覚変換器はより大きく、より正確で、計算に費用がかかる。
我々は、このコストに対応するために適応計算に切り替え、計算の場所を予測することを学習する。
我々のLookWhere法は,高分解能入力を処理せずに,低分解能セレクタと高分解能抽出器を分割する。
論文 参考訳（メタデータ） (2025-05-23T15:56:35Z) - How can objects help action recognition? [74.29564964727813]
より優れたビデオモデルを設計するために、オブジェクトの知識をどのように利用できるかを検討する。
まず,入力トークンの少数の保持が可能なオブジェクト誘導型トークンサンプリング戦略を提案する。
第二に、オブジェクト情報で特徴表現を豊かにするオブジェクト認識アテンションモジュールを提案する。
論文 参考訳（メタデータ） (2023-06-20T17:56:16Z) - Efficient Video Action Detection with Token Dropout and Context
Refinement [67.10895416008911]
効率的なビデオアクション検出(ViT)のためのエンドツーエンドフレームワークを提案する。
ビデオクリップでは、他のフレームからのアクターの動きに関連するトークンを保存しながら、その視点でトークンを維持する。
第二に、残ったトークンを利用してシーンコンテキストを洗練し、アクターのアイデンティティをよりよく認識する。
論文 参考訳（メタデータ） (2023-04-17T17:21:21Z) - EVEREST: Efficient Masked Video Autoencoder by Removing Redundant Spatiotemporal Tokens [57.354304637367555]
ビデオ表現学習のための驚くほど効率的なMVAアプローチであるEVERESTを提案する。
リッチなモーション特徴を含むトークンを発見し、事前トレーニングと微調整の両方の間、非形式的なトークンを破棄する。
提案手法は,MVAの計算とメモリ要求を大幅に低減する。
論文 参考訳（メタデータ） (2022-11-19T09:57:01Z) - Efficient Video Transformers with Spatial-Temporal Token Selection [68.27784654734396]
入力ビデオサンプルに条件付き時間的・空間的両方のトークンを動的に選択するトークン選択フレームワークSTTSを提案する。
我々のフレームワークは、20%の計算を必要としながら、同様の結果を得る。
論文 参考訳（メタデータ） (2021-11-23T00:35:58Z) - ASCNet: Self-supervised Video Representation Learning with
Appearance-Speed Consistency [62.38914747727636]
本研究では,1)明示的な監督のためのラベルの欠如,2)構造化されていない,ノイズの多い視覚情報による自己指導型映像表現学習について検討する。
既存の方法は、主にビデオクリップをインスタンスとしてコントラスト損失を使用し、互いにインスタンスを識別することで視覚的表現を学ぶ。
本稿では,ロバストな映像表現を学ぶ上で,正のサンプル間の一貫性が鍵となることを観察する。
論文 参考訳（メタデータ） (2021-06-04T08:44:50Z) - Beyond Short Clips: End-to-End Video-Level Learning with Collaborative
Memories [56.91664227337115]
本稿では,ビデオの複数のサンプルクリップにまたがる情報を,トレーニングイテレーション毎にエンコードするコラボレーティブメモリ機構を提案する。
これにより、単一のクリップ以上の長距離依存関係の学習が可能になる。
提案するフレームワークはエンドツーエンドでトレーニング可能で,計算オーバーヘッドが無視できないビデオ分類精度が大幅に向上する。
論文 参考訳（メタデータ） (2021-04-02T18:59:09Z) - Temporal Stochastic Softmax for 3D CNNs: An Application in Facial
Expression Recognition [11.517316695930596]
本稿では,3次元CNNの効率的なビデオベーストレーニング戦略を提案する。
ソフトマックスの時間プーリングと、最も関連するトレーニングクリップを選択するための重み付けサンプリング機構に依存している。
論文 参考訳（メタデータ） (2020-11-10T16:40:00Z) - RSPNet: Relative Speed Perception for Unsupervised Video Representation
Learning [100.76672109782815]
本研究では,未ラベル映像のみから動作特徴と外観特徴の両方を学習するための教師なし映像表現学習について検討する。
動作と外観の両方をうまくモデル化するために、適切な自己指導タスクを構築することは困難である。
再生速度を知覚し、2つのビデオクリップ間の相対速度をラベルとして利用するための新しい手法を提案する。
論文 参考訳（メタデータ） (2020-10-27T16:42:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。