論文の概要: Towards Streaming Egocentric Action Anticipation

• arxiv url: http://arxiv.org/abs/2110.05386v1
• Date: Mon, 11 Oct 2021 16:22:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 18:29:41.439309
• Title: Towards Streaming Egocentric Action Anticipation
• Title（参考訳）: ストリーミングエゴセントリック行動予測に向けて
• Authors: Antonino Furnari and Giovanni Maria Farinella
• Abstract要約: エゴセントリックなアクション予測は、カメラ装着者が過去のビデオ観察に基づいて実行するであろう未来のアクションを予測するタスクである。 現在の評価スキームは、予測をオフラインにできるので、計算資源は制限されないと仮定している。 本稿では,パフォーマンス評価のためのモデルランタイムを明示的に検討した,ストリーミングのエゴセントリックなアクション予測評価プロトコルを提案する。
• 参考スコア（独自算出の注目度）: 23.9991007631236
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Egocentric action anticipation is the task of predicting the future actions a camera wearer will likely perform based on past video observations. While in a real-world system it is fundamental to output such predictions before the action begins, past works have not generally paid attention to model runtime during evaluation. Indeed, current evaluation schemes assume that predictions can be made offline, and hence that computational resources are not limited. In contrast, in this paper, we propose a ``streaming'' egocentric action anticipation evaluation protocol which explicitly considers model runtime for performance assessment, assuming that predictions will be available only after the current video segment is processed, which depends on the processing time of a method. Following the proposed evaluation scheme, we benchmark different state-of-the-art approaches for egocentric action anticipation on two popular datasets. Our analysis shows that models with a smaller runtime tend to outperform heavier models in the considered streaming scenario, thus changing the rankings generally observed in standard offline evaluations. Based on this observation, we propose a lightweight action anticipation model consisting in a simple feed-forward 3D CNN, which we propose to optimize using knowledge distillation techniques and a custom loss. The results show that the proposed approach outperforms prior art in the streaming scenario, also in combination with other lightweight models.
• Abstract（参考訳）: エゴセントリックアクション予測は、カメラ装着者が過去のビデオ観察に基づいて行うであろう将来のアクションを予測するタスクである。 実世界のシステムでは、アクションが始まる前にそのような予測を出力することが基本であるが、過去の作業は評価中に一般的にモデルランタイムに注意を払っていない。 実際、現在の評価スキームは、予測はオフラインにできるので、計算資源は制限されないと仮定している。 そこで本稿では,現在の映像セグメントが処理された後にのみ予測が可能であると仮定し,性能評価のためにモデルランタイムを明示的に考慮した '`streaming' 自己中心的行動予測評価プロトコルを提案する。 提案手法に従って,2つの一般的なデータセット上での自己中心的行動予測のための,異なる最先端のアプローチをベンチマークする。 分析の結果,より少ないランタイムモデルでは,ストリーミングシナリオにおいて重大モデルを上回る傾向がみられ,通常のオフライン評価で一般的に見られるランキングが変更される傾向が示唆された。 本稿では, 簡易フィードフォワード3D CNNによる軽量な行動予測モデルを提案し, 知識蒸留技術とカスタムロスを用いた最適化を提案する。 提案手法は,他の軽量モデルと組み合わせて,ストリーミングシナリオにおける先行技術よりも優れていることを示す。

関連論文リスト

• Forecasting with Deep Learning: Beyond Average of Average of Average Performance [0.393259574660092]
  予測モデルの評価と比較の現在のプラクティスは、パフォーマンスを1つのスコアにまとめることに集中しています。 複数の視点からモデルを評価するための新しいフレームワークを提案する。 このフレームワークの利点は、最先端のディープラーニングアプローチと古典的な予測手法を比較して示す。
  論文  参考訳（メタデータ） (2024-06-24T12:28:22Z)
• Predictive Churn with the Set of Good Models [64.05949860750235]
  近似機械学習モデルの集合に対する競合予測の効果について検討する。 ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。 当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
  論文  参考訳（メタデータ） (2024-02-12T16:15:25Z)
• Fine-grained Forecasting Models Via Gaussian Process Blurring Effect [6.472434306724611]
  時系列予測は、複雑な時間的依存関係と動的な時間的依存関係が存在するため、困難なタスクである。 より多くのトレーニングデータを使用することで精度が向上するが、このソースは制限されることが多い。 我々は、エンドツーエンドの予測・デノゲーションパラダイムを提唱し、画像生成のためのDenoisingアプローチを成功させています。
  論文  参考訳（メタデータ） (2023-12-21T20:25:16Z)
• Streaming egocentric action anticipation: An evaluation scheme and approach [27.391434284586985]
  エゴセントリックなアクション予測は、カメラ装着者が過去の観察から将来のアクションを予測することを目的としている。 現在の評価手法は、入力ビデオが観測された直後に予測が利用可能であると仮定している。 本稿では,モデルが現在の入力セグメントを処理した後のみ,オンラインで予測を行うと仮定したストリーミングエゴセントリックな行動評価手法を提案する。
  論文  参考訳（メタデータ） (2023-06-29T04:53:29Z)
• A positive feedback method based on F-measure value for Salient Object Detection [1.9249287163937976]
  本稿では,SODに対するF値に基づく正のフィードバック手法を提案する。 提案手法は,画像を検出して既存のモデルに入力し,それぞれの予測マップを取得する。 5つの公開データセットに対する実験結果から,提案手法の正のフィードバックは,5つの評価指標において最新の12の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-04-28T04:05:13Z)
• A Control-Centric Benchmark for Video Prediction [69.22614362800692]
  本稿では,アクション条件付きビデオ予測のベンチマークを,制御ベンチマークの形式で提案する。 私たちのベンチマークには、11のタスクカテゴリと310のタスクインスタンス定義を備えたシミュレーション環境が含まれています。 次に、ベンチマークを活用して、スケールするモデルサイズ、トレーニングデータの量、モデルアンサンブルの影響を調査します。
  論文  参考訳（メタデータ） (2023-04-26T17:59:45Z)
• You Mostly Walk Alone: Analyzing Feature Attribution in Trajectory Prediction [52.442129609979794]
  軌道予測のための最近の深層学習手法は有望な性能を示す。 そのようなブラックボックスモデルが実際にどのモデルを予測するために使うのかは、まだ不明である。 本稿では,モデル性能に対する異なるキューの貢献度を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2021-10-11T14:24:15Z)
• Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual Model-Based Reinforcement Learning [109.74041512359476]
  視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。 潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。 我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
  論文  参考訳（メタデータ） (2020-12-08T18:03:21Z)
• Modeling Online Behavior in Recommender Systems: The Importance of Temporal Context [30.894950420437926]
  推薦システムの性能を評価するときの時間的文脈の省略が、いかに誤った自信をもたらすかを示す。 既存のモデルに時間的文脈をさらに埋め込むためのトレーニング手順を提案する。 その結果、時間的目標を含めれば、リコール@20を最大20%改善できることがわかった。
  論文  参考訳（メタデータ） (2020-09-19T19:36:43Z)
• Video Prediction via Example Guidance [156.08546987158616]
  ビデオ予測タスクでは、将来のコンテンツとダイナミクスのマルチモーダルな性質を捉えることが大きな課題である。 本研究では,有効な将来状態の予測を効果的に行うための,シンプルで効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-03T14:57:24Z)
• Counterfactual Predictions under Runtime Confounding [74.90756694584839]
  本研究は, 過去のデータからすべての関連要因を抽出した環境で, 事実予測タスクについて検討する。 本稿では,この環境下での対実予測モデル学習のための2次ロバスト手法を提案する。
  論文  参考訳（メタデータ） (2020-06-30T15:49:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。