論文の概要: Rethinking Online Action Detection in Untrimmed Videos: A Novel Online
Evaluation Protocol
- arxiv url: http://arxiv.org/abs/2003.12041v1
- Date: Thu, 26 Mar 2020 17:13:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-19 21:59:28.873510
- Title: Rethinking Online Action Detection in Untrimmed Videos: A Novel Online
Evaluation Protocol
- Title(参考訳): 未編集ビデオにおけるオンライン行動検出の再考:新しいオンライン評価プロトコル
- Authors: Marcos Baptista Rios, Roberto J. L\'opez-Sastre, Fabian Caba Heilbron,
Jan van Gemert, F. Javier Acevedo-Rodr\'iguez, and S. Maldonado-Basc\'on
- Abstract要約: オンラインアクション検出(OAD)問題を再検討する必要がある。
従来のオフラインアクション検出アプローチとは異なり、OAD設定では、非常に少ない作業と、使用する評価プロトコルに関するコンセンサスがないことが分かりました。
本稿では,OADのシナリオを再考し,問題そのものと,オンラインとみなすモデルが従わなければならない主な特徴を明確に定義する。
- 参考スコア(独自算出の注目度): 9.3576825415122
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Online Action Detection (OAD) problem needs to be revisited. Unlike
traditional offline action detection approaches, where the evaluation metrics
are clear and well established, in the OAD setting we find very few works and
no consensus on the evaluation protocols to be used. In this work we propose to
rethink the OAD scenario, clearly defining the problem itself and the main
characteristics that the models which are considered online must comply with.
We also introduce a novel metric: the Instantaneous Accuracy ($IA$). This new
metric exhibits an \emph{online} nature and solves most of the limitations of
the previous metrics. We conduct a thorough experimental evaluation on 3
challenging datasets, where the performance of various baseline methods is
compared to that of the state-of-the-art. Our results confirm the problems of
the previous evaluation protocols, and suggest that an IA-based protocol is
more adequate to the online scenario. The baselines models and a development
kit with the novel evaluation protocol are publicly available:
https://github.com/gramuah/ia.
- Abstract(参考訳): オンラインアクション検出(OAD)問題を再検討する必要がある。
評価基準が明確で十分に確立されている従来のオフラインアクション検出アプローチとは異なり、OAD設定では、非常に少ない作業と、使用する評価プロトコルに関するコンセンサスがない。
本稿では,OADのシナリオを再考し,問題そのものと,オンラインとみなすモデルが従わなければならない主な特徴を明確に定義する。
また、新しい指標であるInstantaneous Accuracy(IA$)も導入する。
この新しい計量は \emph{online} の性質を示し、以前の計量の制限のほとんどを解決する。
本研究では,様々なベースライン法の性能を最先端法と比較した3つの挑戦的データセットについて,徹底的な実験評価を行う。
本結果は,従来の評価プロトコルの問題点を確認し,IAベースのプロトコルがオンラインシナリオに適していることを示唆している。
ベースラインモデルと新しい評価プロトコルを備えた開発キットが公開されている。 https://github.com/gramuah/ia。
関連論文リスト
- Cobra Effect in Reference-Free Image Captioning Metrics [58.438648377314436]
視覚言語事前学習モデル(VLM)を活用した参照フリー手法の普及が出現している。
本稿では,基準自由度に欠陥があるかどうかを考察する。
GPT-4Vは生成した文を評価するための評価ツールであり,提案手法がSOTA(State-of-the-art)の性能を達成することを示す。
論文 参考訳(メタデータ) (2024-02-18T12:36:23Z) - A Study of Unsupervised Evaluation Metrics for Practical and Automatic
Domain Adaptation [15.728090002818963]
教師なしドメイン適応(UDA)メソッドは、ラベルなしでターゲットドメインへのモデル転送を容易にする。
本稿では,対象の検証ラベルにアクセスすることなく,移動モデルの品質を評価できる評価指標を見つけることを目的とする。
論文 参考訳(メタデータ) (2023-08-01T05:01:05Z) - On Pitfalls of Test-Time Adaptation [82.8392232222119]
TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。
TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
論文 参考訳(メタデータ) (2023-06-06T09:35:29Z) - Revisiting Test Time Adaptation under Online Evaluation [98.1597448991166]
テスト時間適応(TTA)メソッドは、テスト時にラベルのないデータを活用して、分散シフトに適応する。
現在の評価プロトコルは、この余分なコストの影響を見落とし、実際の適用性に影響を与える。
本稿では,TTA手法のより現実的な評価プロトコルを提案し,一定の速度のデータストリームからデータをオンライン形式で受信する。
論文 参考訳(メタデータ) (2023-04-10T18:01:47Z) - Towards Data-Driven Offline Simulations for Online Reinforcement
Learning [30.654163861164864]
強化学習のためのオフライン学習者シミュレーション(OLS)を形式化する。
シミュレーションの忠実度と効率を両立させる新しい評価プロトコルを提案する。
論文 参考訳(メタデータ) (2022-11-14T18:36:13Z) - Offline Evaluation of Reward-Optimizing Recommender Systems: The Case of
Simulation [11.940733431087102]
学術的・産業的な研究において、オンライン評価手法はレコメンデーションシステムのようなインタラクティブなアプリケーションのための黄金の標準と見なされている。
オンライン評価手法は様々な理由で費用がかかるが、信頼性の高いオフライン評価手順の必要性は明らかである。
学術研究において、オンラインシステムへの限られたアクセスは、オフラインメトリクスを新しい方法を検証するデファクトアプローチにする。
論文 参考訳(メタデータ) (2022-09-18T20:03:32Z) - Towards Online Domain Adaptive Object Detection [79.89082006155135]
既存のオブジェクト検出モデルは、トレーニングデータとテストデータの両方が同じソースドメインからサンプリングされていると仮定します。
オンライン設定における対象領域の一般化を適応・改善する新しい統合適応フレームワークを提案する。
論文 参考訳(メタデータ) (2022-04-11T17:47:22Z) - SuctionNet-1Billion: A Large-Scale Benchmark for Suction Grasping [47.221326169627666]
吸引つかみのシール形成とレンチ抵抗を解析的に評価する新しい物理モデルを提案する。
現実世界の混乱したシナリオで収集された大規模データセットにアノテーションを生成するために、2段階の手法が採用されている。
連続運転空間における吸入ポーズを評価するための標準オンライン評価システムを提案する。
論文 参考訳(メタデータ) (2021-03-23T05:02:52Z) - Do Offline Metrics Predict Online Performance in Recommender Systems? [79.48653445643865]
6つのシミュレーション環境におけるレコメンデータの評価により,オフラインメトリクスがオンラインのパフォーマンスを予測する程度について検討した。
オフラインメトリクスは、様々な環境におけるオンラインのパフォーマンスと相関している。
本研究は,探索戦略の追加による影響について検討し,その有効性はレコメンデーションアルゴリズムに大きく依存していることを示す。
論文 参考訳(メタデータ) (2020-11-07T01:41:13Z) - AliExpress Learning-To-Rank: Maximizing Online Model Performance without
Going Online [60.887637616379926]
本稿では,学習からランクへ学習するための評価器・ジェネレータフレームワークを提案する。
コンテキストを含むレコメンデーションを一般化して評価する評価器と、強化学習による評価器スコアを最大化するジェネレータとから構成される。
本手法は, オンラインA/Bテストにおける産業レベルの微調整モデルよりも, 変換率(CR)の面で大幅に向上する。
論文 参考訳(メタデータ) (2020-03-25T10:27:44Z) - The Instantaneous Accuracy: a Novel Metric for the Problem of Online
Human Behaviour Recognition in Untrimmed Videos [9.3576825415122]
我々は,新しいオンライン指標Instantaneous Accuracy(IA$)を紹介した。
本研究は,従来の評価プロトコルの問題点を検証し,人の行動理解のオンラインシナリオにIAベースのプロトコルの方が適切であることを示唆する。
論文 参考訳(メタデータ) (2020-03-22T19:04:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。