論文の概要: FROST-STA: Frozen Dense Features for the Ego4D Short-Term Object Interaction Anticipation
- arxiv url: http://arxiv.org/abs/2606.00694v1
- Date: Sat, 30 May 2026 12:07:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.657506
- Title: FROST-STA: Frozen Dense Features for the Ego4D Short-Term Object Interaction Anticipation
- Title（参考訳）: FROST-STA:Ego4D短期物体相互作用予測のための凍結線量特性
- Abstract要約: 本報告では,EgoVis 2026におけるEgo4D Short-Term Object Interaction Precipation (STA) Challengeへの提案であるFROST-STAについて述べる。
各クエリ時間について、このモデルは、アクティブオブジェクトボックス、名詞ラベル、動詞ラベル、TTC(Time-to-Contact)、信頼度を含むランク付けされた構造化仮説を生成する。
FROST-STAは、V-JEPA 2.1 STA評価プロトコルをベースにしているが、オブジェクト中心のデコード、マルチヘッド予測、提案指向のトレーニングとアンサンブルのレシピを使用することで、この問題に適応している。
- 参考スコア（独自算出の注目度）: 4.781417767575192
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Short-term anticipation in egocentric video requires more than recognizing the current scene: a system must infer which object the camera wearer will contact, which action will follow, and how soon the contact will happen. This report describes FROST-STA, our submission to the Ego4D Short-Term Object Interaction Anticipation (STA) Challenge at EgoVis 2026. For each query time, the model produces a ranked set of structured hypotheses containing an active-object box, noun label, verb label, time-to-contact (TTC), and confidence. FROST-STA builds on the V-JEPA 2.1 STA evaluation protocol, but adapts it to the challenge by using object-centric decoding, multi-head prediction, and a submission-oriented training and ensembling recipe. We keep the V-JEPA 2.1 ViT-G backbone fixed and extract two dense token streams: video tokens from a short clip resized to 384 pixels before the query, and image tokens from the last observed high-resolution frame. A compact alignment module, consisting of an attentive probe and frame-guided temporal pooling, maps the clip representation onto the spatial reference of the final frame before fusing it with image features. The fused maps are decoded by Faster R-CNN-style STA heads that estimate box offsets, nouns, verbs, TTC values, and interaction quality. For the final leaderboard entry, we train for 25 epochs with the official training split plus additional permitted validation annotations, and combine predictions across eight heads and checkpoints from epochs 15-25. FROST-STA obtains 5.13 Overall Top-5 mAP on the official test server, ranking second in the challenge and showing that frozen dense image-video features can serve as a strong basis for object-level interaction forecasting.
- Abstract（参考訳）: システムは、カメラ装着者がどの物体に接触するか、どのアクションが続くか、そしていつ接触が起こるのかを推測する必要がある。
本報告では,EgoVis 2026におけるEgo4D Short-Term Object Interaction Precipation (STA) Challengeへの提案であるFROST-STAについて述べる。
各クエリ時間について、このモデルは、アクティブオブジェクトボックス、名詞ラベル、動詞ラベル、TTC(Time-to-Contact)、信頼度を含むランク付けされた構造化仮説を生成する。
FROST-STAは、V-JEPA 2.1 STA評価プロトコルをベースにしているが、オブジェクト中心のデコード、マルチヘッド予測、提案指向のトレーニングとアンサンブルのレシピを使用することで、この問題に適応している。
我々は、V-JEPA 2.1 ViT-Gのバックボーンを固定し、クエリの前にショートクリップから384ピクセルに再サイズされたビデオトークンと、最後に観測された高解像度フレームからの画像トークンの2つの濃密なトークンストリームを抽出する。
減衰プローブとフレーム誘導時間プーリングからなるコンパクトアライメントモジュールは、画像特徴と融合する前に、クリップ表現を最終フレームの空間参照にマッピングする。
融合マップは、ボックスオフセット、名詞、動詞、TTC値、相互作用品質を推定する、より高速なR-CNNスタイルのSTAヘッドによってデコードされる。
最終リーダーボードのエントリーでは、公式のトレーニング分割と追加の検証アノテーションで25のエポックをトレーニングし、エポックから15～25までの8つのヘッドとチェックポイントで予測を組み合わせます。
FROST-STAは、公式テストサーバ上で5.13の総合トップ5mAPを取得し、チャレンジでは2位にランクインし、凍結された高密度の画像-ビデオ機能がオブジェクトレベルの相互作用予測の強力な基盤となることを示した。
関連論文リスト
- Predict, Then Retrieve: Cross-Instance Future-State Retrieval from Video Prefixes [39.17422574355306]
本稿では、モデルが短いビデオプレフィックスと、オブジェクトの将来の状態に関する時間的質問を観察するタスクである予測状態検索(PSR)を紹介する。
PSRは予測と、複数の時間的地平線を横断するクロスインスタンス検索を組み合わせる。
また,凍結エンコーダを用いた軽量レトリバーLFTRを提案する。
論文 参考訳（メタデータ） (2026-08-05T04:12:00Z) - EgoAction: Egocentric Action Composition with Reliability-Aware Temporal Fusion for the EPIC-KITCHENS Action Detection Challenge at CVPR 2026 [69.56534058291463]
EgoActionは、統合された分離された検出と融合パイプラインである。
パイプラインはEPICに精細化されたVideoMAE-L機能を使用し、因果時間モデルを用いて名詞と動詞の時間的検出器を分離する。
EgoActionは、エゴセントリックな時間的行動検出のためのコンパクトで再現可能なシステムを提供する。
論文 参考訳（メタデータ） (2026-05-23T10:05:56Z) - TempRet: Temporal Enhancement and Two-Stage Reranking for CVPR 2026 EPIC-KITCHENS-100 Multi-Instance Retrieval Challenge [71.10535279591527]
我々は,CVPR 2026 EPIC-KITCHENS-100 MIRチャレンジに対して,TempRetと呼ばれるソリューションを提示する。
当社のアプローチは,CLIPベースのデュアルエンコーダのバックボーン上に構築されており,時間的および横断的な課題に対処するための2つの重要なコンポーネントを導入している。
EK-100 MIRベンチマークでは,平均mAPは67.97%,平均nDCGは82.92%であった。
論文 参考訳（メタデータ） (2026-05-23T08:37:39Z) - VISTA: Technical Report for the Ego4D Short-Term Object Interaction Anticipation at EgoVis 2026 [70.67609435035631]
エゴセントリックなビデオタイムスタンプが与えられたら、次の人間と物体の相互作用を予測する必要がある。
ViSTAは、オブジェクト中心空間検出と短時間時間コンテキストを組み合わせたStillFastスタイルの設計に従う。
実験の結果、VISTAはEgoVis 2026 Ego4D STA Challengeで1位を獲得した。
論文 参考訳（メタデータ） (2026-05-20T08:42:56Z) - PEARL: Personalized Streaming Video Understanding Model [50.273809779498464]
マルチモーダルパーソナライズ法は、主に静的画像やオフラインビデオに限られる。
PEARL-Benchはこの困難な設定を評価するために特別に設計された最初の包括的なベンチマークである。
PEARLは8つのオフラインおよびオンラインモデルにわたる最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-03-20T18:47:54Z) - Integrating Affordances and Attention models for Short-Term Object Interaction Anticipation [17.55088626523059]
短期的オブジェクトインタラクションの予測は、ウェアラブルアシスタントがユーザの目標を理解し、タイムリーな支援を提供するために不可欠である。
本研究では,STA予測の性能向上手法を提案する。
以上の結果より,EPIC-Kitchens STAラベルの新規セットでは,Ego4Dでは+23p.p,Ego4Dでは+31p.p,EPIC-Kitchens STAラベルでは+31p.pとなった。
論文 参考訳（メタデータ） (2026-02-16T15:29:04Z) - FRAME: Pre-Training Video Feature Representations via Anticipation and Memory [55.046881477209695]
FRAMEは、高密度ビデオ理解に適した自己監督型ビデオフレームエンコーダである。
同社は、過去と現在のRGBフレームから現在と将来のDINOパッチ機能を予測することを学ぶ。
画像エンコーダや既存の自己監督型ビデオモデルよりも一貫して優れています。
論文 参考訳（メタデータ） (2025-06-05T19:44:47Z) - ZARRIO @ Ego4D Short Term Object Interaction Anticipation Challenge: Leveraging Affordances and Attention-based models for STA [10.144283429670807]
STA(Short-Term Object-Interaction Precipation)は、次のアクティブなオブジェクトの位置、対話の名詞と動詞のカテゴリ、および自我中心のビデオの観察から接触する時間を検出することで構成される。
STAformerは、フレーム誘導時間プーリング、デュアルイメージビデオアテンション、マルチスケール機能融合を統合し、画像入力ビデオペアからのSTA予測をサポートする新しいアテンションベースアーキテクチャである。
論文 参考訳（メタデータ） (2024-07-05T09:16:30Z) - AFF-ttention! Affordances and Attention models for Short-Term Object Interaction Anticipation [14.734158936250918]
短期的オブジェクトインタラクション予測は、ユーザの目標を理解するためにウェアラブルアシスタントやヒューマンロボットのインタラクションに不可欠である。
我々は2つのコントリビューションでSTA予測の性能を改善した。
まず、フレーム誘導時間プーリング、デュアルイメージ・ビデオアテンション、マルチスケール機能融合を統合した新しいアテンションベースアーキテクチャであるSTAformerを提案する。
第2に、手と物体の軌跡の観測から相互作用ホットスポットを予測し、ホットスポット周辺に局在したSTA予測に対する信頼性を高める。
論文 参考訳（メタデータ） (2024-06-03T10:57:18Z) - Structured Video Tokens @ Ego4D PNR Temporal Localization Challenge 2022 [93.98605636451806]
本報告では、Ego4D Point of No Return (PNR) におけるSViTアプローチについて述べる。
トレーニング中にのみ利用できる少数の画像の構造を利用することで、ビデオモデルを改善することができる学習フレームワークを提案する。
SViTは、0.656の絶対時間的局所化誤差を持つチャレンジテストセットで強い性能を得る。
論文 参考訳（メタデータ） (2022-06-15T17:36:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。