論文の概要: The Instantaneous Accuracy: a Novel Metric for the Problem of Online
Human Behaviour Recognition in Untrimmed Videos
- arxiv url: http://arxiv.org/abs/2003.09970v2
- Date: Wed, 25 Mar 2020 10:06:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-21 05:42:06.844552
- Title: The Instantaneous Accuracy: a Novel Metric for the Problem of Online
Human Behaviour Recognition in Untrimmed Videos
- Title（参考訳）: 瞬時精度:未編集ビデオにおけるオンライン行動認識問題のための新しい指標
- Authors: Marcos Baptista Rios, Roberto J. L\'opez-Sastre, Fabian Caba Heilbron,
Jan van Gemert, Francisco Javier Acevedo-Rodr\'iguez, and Saturnino
Maldonado-Basc\'on
- Abstract要約: 我々は,新しいオンライン指標Instantaneous Accuracy(IA$)を紹介した。
本研究は,従来の評価プロトコルの問題点を検証し,人の行動理解のオンラインシナリオにIAベースのプロトコルの方が適切であることを示唆する。
- 参考スコア（独自算出の注目度）: 9.3576825415122
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The problem of Online Human Behaviour Recognition in untrimmed videos, aka
Online Action Detection (OAD), needs to be revisited. Unlike traditional
offline action detection approaches, where the evaluation metrics are clear and
well established, in the OAD setting we find few works and no consensus on the
evaluation protocols to be used. In this paper we introduce a novel online
metric, the Instantaneous Accuracy ($IA$), that exhibits an \emph{online}
nature, solving most of the limitations of the previous (offline) metrics. We
conduct a thorough experimental evaluation on TVSeries dataset, comparing the
performance of various baseline methods to the state of the art. Our results
confirm the problems of previous evaluation protocols, and suggest that an
IA-based protocol is more adequate to the online scenario for human behaviour
understanding. Code of the metric available https://github.com/gramuah/ia
- Abstract（参考訳）: オンライン行動検出(Online Action Detection, OAD)と呼ばれる未トリミングビデオにおけるオンライン人間行動認識の問題を再考する必要がある。
評価メトリクスが明確かつ十分に確立されている従来のオフラインアクション検出アプローチとは異なり、oad設定では、使用すべき評価プロトコルに関するコンセンサスや作業がほとんどありません。
本稿では,従来の(オフライン)メトリクスの制限の多くを解消する,新しいオンラインメトリックであるInstantaneous Accuracy(IA$)を紹介する。
本研究は,TVSeriesデータセット上で,様々なベースライン手法の性能と技術状況を比較し,徹底的な実験評価を行う。
本研究は,従来の評価プロトコルの問題点を検証し,人の行動理解のオンラインシナリオにIAベースのプロトコルの方が適切であることを示唆する。
利用可能なメトリックのコード https://github.com/gramuah/ia
関連論文リスト
- Towards Realistic Evaluation of Commit Message Generation by Matching Online and Offline Settings [77.20838441870151]
コミットメッセージ生成は、ソフトウェアエンジニアリングにおいて重要なタスクであり、正しく評価することが難しい。
オンラインメトリック - VCSに生成されたメッセージをコミットする前にユーザが導入する編集回数 - を使用して、オフライン実験用のメトリクスを選択します。
その結果,編集距離が最も高い相関を示すのに対し,BLEUやMETEORなどの類似度は低い相関を示すことがわかった。
論文 参考訳（メタデータ） (2024-10-15T20:32:07Z) - Rethinking Affect Analysis: A Protocol for Ensuring Fairness and Consistency [24.737468736951374]
本稿では,データベース分割のための統一プロトコルを提案する。
我々は、(人種、性別、年齢の観点から)詳細な統計アノテーション、評価指標、および表現認識のための共通のフレームワークを提供する。
また、新しいプロトコルでメソッドを再実行し、より公平な比較で影響認識の今後の研究を促進するための新しいリーダーボードを導入します。
論文 参考訳（メタデータ） (2024-08-04T23:21:46Z) - PREGO: online mistake detection in PRocedural EGOcentric videos [49.72812518471056]
自己中心型ビデオにおける誤り検出のための,最初のオンライン一級分類モデルであるPregoを提案する。
PreGOは、現在のアクションをモデル化するオンラインアクション認識コンポーネントと、次のアクションを予測するシンボリック推論モジュールに基づいている。
手続き的誤り検出のオンラインベンチマークに適応する2つの手続き的自己中心型ビデオデータセットであるAmbly101とEpic-tentについてPreGOを評価した。
論文 参考訳（メタデータ） (2024-04-02T13:27:28Z) - Cobra Effect in Reference-Free Image Captioning Metrics [58.438648377314436]
視覚言語事前学習モデル(VLM)を活用した参照フリー手法の普及が出現している。
本稿では,基準自由度に欠陥があるかどうかを考察する。
GPT-4Vは生成した文を評価するための評価ツールであり,提案手法がSOTA(State-of-the-art)の性能を達成することを示す。
論文 参考訳（メタデータ） (2024-02-18T12:36:23Z) - Rapid Adaptation in Online Continual Learning: Are We Evaluating It
Right? [135.71855998537347]
オンライン連続学習(OCL)アルゴリズムの適応性を評価するための一般的な手法を,オンライン精度の指標を用いて再検討する。
空白のブラインド分類器でさえ、非現実的に高いオンライン精度を達成できるため、この指標は信頼できない。
既存のOCLアルゴリズムは、オンラインの精度も高いが、有用な情報の保持は不十分である。
論文 参考訳（メタデータ） (2023-05-16T08:29:33Z) - Offline Evaluation of Reward-Optimizing Recommender Systems: The Case of
Simulation [11.940733431087102]
学術的・産業的な研究において、オンライン評価手法はレコメンデーションシステムのようなインタラクティブなアプリケーションのための黄金の標準と見なされている。
オンライン評価手法は様々な理由で費用がかかるが、信頼性の高いオフライン評価手順の必要性は明らかである。
学術研究において、オンラインシステムへの限られたアクセスは、オフラインメトリクスを新しい方法を検証するデファクトアプローチにする。
論文 参考訳（メタデータ） (2022-09-18T20:03:32Z) - Do Offline Metrics Predict Online Performance in Recommender Systems? [79.48653445643865]
6つのシミュレーション環境におけるレコメンデータの評価により,オフラインメトリクスがオンラインのパフォーマンスを予測する程度について検討した。
オフラインメトリクスは、様々な環境におけるオンラインのパフォーマンスと相関している。
本研究は,探索戦略の追加による影響について検討し,その有効性はレコメンデーションアルゴリズムに大きく依存していることを示す。
論文 参考訳（メタデータ） (2020-11-07T01:41:13Z) - Rethinking Online Action Detection in Untrimmed Videos: A Novel Online
Evaluation Protocol [9.3576825415122]
オンラインアクション検出(OAD)問題を再検討する必要がある。
従来のオフラインアクション検出アプローチとは異なり、OAD設定では、非常に少ない作業と、使用する評価プロトコルに関するコンセンサスがないことが分かりました。
本稿では,OADのシナリオを再考し,問題そのものと,オンラインとみなすモデルが従わなければならない主な特徴を明確に定義する。
論文 参考訳（メタデータ） (2020-03-26T17:13:55Z) - AliExpress Learning-To-Rank: Maximizing Online Model Performance without
Going Online [60.887637616379926]
本稿では,学習からランクへ学習するための評価器・ジェネレータフレームワークを提案する。
コンテキストを含むレコメンデーションを一般化して評価する評価器と、強化学習による評価器スコアを最大化するジェネレータとから構成される。
本手法は, オンラインA/Bテストにおける産業レベルの微調整モデルよりも, 変換率(CR)の面で大幅に向上する。
論文 参考訳（メタデータ） (2020-03-25T10:27:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。