論文の概要: Streaming egocentric action anticipation: An evaluation scheme and approach

• arxiv url: http://arxiv.org/abs/2306.16682v1
• Date: Thu, 29 Jun 2023 04:53:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-30 14:47:28.967310
• Title: Streaming egocentric action anticipation: An evaluation scheme and approach
• Title（参考訳）: ストリーミングエゴセントリックなアクション予測:評価スキームとアプローチ
• Authors: Antonino Furnari, Giovanni Maria Farinella
• Abstract要約: エゴセントリックなアクション予測は、カメラ装着者が過去の観察から将来のアクションを予測することを目的としている。 現在の評価手法は、入力ビデオが観測された直後に予測が利用可能であると仮定している。 本稿では,モデルが現在の入力セグメントを処理した後のみ,オンラインで予測を行うと仮定したストリーミングエゴセントリックな行動評価手法を提案する。
• 参考スコア（独自算出の注目度）: 27.391434284586985
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Egocentric action anticipation aims to predict the future actions the camera wearer will perform from the observation of the past. While predictions about the future should be available before the predicted events take place, most approaches do not pay attention to the computational time required to make such predictions. As a result, current evaluation schemes assume that predictions are available right after the input video is observed, i.e., presuming a negligible runtime, which may lead to overly optimistic evaluations. We propose a streaming egocentric action evaluation scheme which assumes that predictions are performed online and made available only after the model has processed the current input segment, which depends on its runtime. To evaluate all models considering the same prediction horizon, we hence propose that slower models should base their predictions on temporal segments sampled ahead of time. Based on the observation that model runtime can affect performance in the considered streaming evaluation scenario, we further propose a lightweight action anticipation model based on feed-forward 3D CNNs which is optimized using knowledge distillation techniques with a novel past-to-future distillation loss. Experiments on the three popular datasets EPIC-KITCHENS-55, EPIC-KITCHENS-100 and EGTEA Gaze+ show that (i) the proposed evaluation scheme induces a different ranking on state-of-the-art methods as compared to classic evaluations, (ii) lightweight approaches tend to outmatch more computationally expensive ones, and (iii) the proposed model based on feed-forward 3D CNNs and knowledge distillation outperforms current art in the streaming egocentric action anticipation scenario.
• Abstract（参考訳）: エゴセントリックアクション予測は、カメラ装着者が過去の観察から行う将来のアクションを予測することを目的としている。 予測イベントが起こる前に未来に関する予測が利用可能になるが、ほとんどのアプローチはそのような予測を行うのに必要な計算時間に注意を払わない。 結果として、現在の評価スキームは、入力ビデオが観察された直後に予測が利用可能である、すなわち無視可能なランタイムを仮定し、過度に楽観的な評価につながる可能性があると仮定している。 モデルが現在の入力セグメントを処理した後にのみ、予測がオンラインで実行され、利用可能であると仮定したストリーミング・エゴセントリックなアクション評価方式を提案する。 同じ予測地平線を考慮に入れた全てのモデルを評価するため、より遅いモデルは事前にサンプリングされた時間セグメントに基づいて予測を行うべきである。 ストリーミング評価のシナリオにおいて,モデルランタイムが性能に影響を与えるという観測に基づいて,新たな過去の蒸留損失を伴う知識蒸留技術を用いて最適化されたフィードフォワード3D CNNに基づく軽量アクション予測モデルを提案する。 EPIC-KITCHENS-55, EPIC-KITCHENS-100, EGTEA Gaze+の3つの一般的なデータセットの実験結果が示す。 (i)提案手法は,古典的評価と比較して,最先端手法のランキングが異なる。 (ii)軽量なアプローチは、計算コストが高い手法に匹敵する傾向にあり、 (iii) フィードフォワード3次元cnnと知識蒸留に基づく提案モデルは, ストリーミング・エゴセントリックな行動予測シナリオにおける現在の技術を上回る。

関連論文リスト

• AdaOcc: Adaptive Forward View Transformation and Flow Modeling for 3D Occupancy and Flow Prediction [56.72301849123049]
  CVPR 2024 における nuScenes Open-Occ データセットチャレンジにおいて,視覚中心の3次元活動とフロー予測トラックのソリューションを提案する。 我々の革新的なアプローチは、適応的なフォワード・ビュー・トランスフォーメーションとフロー・モデリングを取り入れることで、3次元の占有率とフロー予測を向上させる2段階のフレームワークである。 提案手法は回帰と分類を組み合わせることで,様々な場面におけるスケールの変動に対処し,予測フローを利用して将来のフレームに現行のボクセル特徴をワープする。
  論文  参考訳（メタデータ） (2024-07-01T16:32:15Z)
• Forecasting with Deep Learning: Beyond Average of Average of Average Performance [0.393259574660092]
  予測モデルの評価と比較の現在のプラクティスは、パフォーマンスを1つのスコアにまとめることに集中しています。 複数の視点からモデルを評価するための新しいフレームワークを提案する。 このフレームワークの利点は、最先端のディープラーニングアプローチと古典的な予測手法を比較して示す。
  論文  参考訳（メタデータ） (2024-06-24T12:28:22Z)
• Predictive Churn with the Set of Good Models [64.05949860750235]
  近似機械学習モデルの集合に対する競合予測の効果について検討する。 ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。 当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
  論文  参考訳（メタデータ） (2024-02-12T16:15:25Z)
• Improved prediction of future user activity in online A/B testing [9.824661943331119]
  オンラインランダム化実験やA/Bテストでは、参加者参加率の正確な予測が最も重要である。 我々は、個人が介入に晒される率を予測するために、新しく、単純でスケーラブルなベイズ非パラメトリックアプローチを提案する。
  論文  参考訳（メタデータ） (2024-02-05T17:44:21Z)
• Performative Time-Series Forecasting [71.18553214204978]
  我々は,機械学習の観点から,パフォーマンス時系列予測(PeTS)を定式化する。 本稿では,予測分布シフトに対する遅延応答の概念を活用する新しい手法であるFeature Performative-Shifting(FPS)を提案する。 新型コロナウイルスの複数の時系列モデルと交通予報タスクを用いた総合的な実験を行った。
  論文  参考訳（メタデータ） (2023-10-09T18:34:29Z)
• Finding Islands of Predictability in Action Forecasting [7.215559809521136]
  将来のアクションシーケンスは1つの抽象化レベルではなく、変数でより正確にモデル化されていることを示す。 本稿では,ベイズニューラルネットワークと階層的畳み込みセグメンテーションモデルを組み合わせて,将来の行動を正確に予測し,抽象化レベルを最適に選択する手法を提案する。
  論文  参考訳（メタデータ） (2022-10-13T21:01:16Z)
• Towards Streaming Egocentric Action Anticipation [23.9991007631236]
  エゴセントリックなアクション予測は、カメラ装着者が過去のビデオ観察に基づいて実行するであろう未来のアクションを予測するタスクである。 現在の評価スキームは、予測をオフラインにできるので、計算資源は制限されないと仮定している。 本稿では,パフォーマンス評価のためのモデルランタイムを明示的に検討した,ストリーミングのエゴセントリックなアクション予測評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2021-10-11T16:22:56Z)
• Back2Future: Leveraging Backfill Dynamics for Improving Real-time Predictions in Future [73.03458424369657]
  公衆衛生におけるリアルタイム予測では、データ収集は簡単で要求の多いタスクである。 過去の文献では「バックフィル」現象とそのモデル性能への影響についてはほとんど研究されていない。 我々は、与えられたモデルの予測をリアルタイムで洗練することを目的とした、新しい問題とニューラルネットワークフレームワークBack2Futureを定式化する。
  論文  参考訳（メタデータ） (2021-06-08T14:48:20Z)
• Counterfactual Predictions under Runtime Confounding [74.90756694584839]
  本研究は, 過去のデータからすべての関連要因を抽出した環境で, 事実予測タスクについて検討する。 本稿では,この環境下での対実予測モデル学習のための2次ロバスト手法を提案する。
  論文  参考訳（メタデータ） (2020-06-30T15:49:05Z)
• TTPP: Temporal Transformer with Progressive Prediction for Efficient Action Anticipation [46.28067541184604]
  ビデオアクション予測は、観察されたフレームから将来のアクションカテゴリを予測することを目的としている。 現在の最先端のアプローチは主に、履歴情報を隠された状態にエンコードするために、リカレントニューラルネットワークを利用する。 本稿では,プログレッシブ予測フレームワークを用いた簡易かつ効率的な時間変換器を提案する。
  論文  参考訳（メタデータ） (2020-03-07T07:59:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。