論文の概要: The Instantaneous Accuracy: a Novel Metric for the Problem of Online
Human Behaviour Recognition in Untrimmed Videos
- arxiv url: http://arxiv.org/abs/2003.09970v2
- Date: Wed, 25 Mar 2020 10:06:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-21 05:42:06.844552
- Title: The Instantaneous Accuracy: a Novel Metric for the Problem of Online
Human Behaviour Recognition in Untrimmed Videos
- Title(参考訳): 瞬時精度:未編集ビデオにおけるオンライン行動認識問題のための新しい指標
- Authors: Marcos Baptista Rios, Roberto J. L\'opez-Sastre, Fabian Caba Heilbron,
Jan van Gemert, Francisco Javier Acevedo-Rodr\'iguez, and Saturnino
Maldonado-Basc\'on
- Abstract要約: 我々は,新しいオンライン指標Instantaneous Accuracy(IA$)を紹介した。
本研究は,従来の評価プロトコルの問題点を検証し,人の行動理解のオンラインシナリオにIAベースのプロトコルの方が適切であることを示唆する。
- 参考スコア(独自算出の注目度): 9.3576825415122
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The problem of Online Human Behaviour Recognition in untrimmed videos, aka
Online Action Detection (OAD), needs to be revisited. Unlike traditional
offline action detection approaches, where the evaluation metrics are clear and
well established, in the OAD setting we find few works and no consensus on the
evaluation protocols to be used. In this paper we introduce a novel online
metric, the Instantaneous Accuracy ($IA$), that exhibits an \emph{online}
nature, solving most of the limitations of the previous (offline) metrics. We
conduct a thorough experimental evaluation on TVSeries dataset, comparing the
performance of various baseline methods to the state of the art. Our results
confirm the problems of previous evaluation protocols, and suggest that an
IA-based protocol is more adequate to the online scenario for human behaviour
understanding. Code of the metric available https://github.com/gramuah/ia
- Abstract(参考訳): オンライン行動検出(Online Action Detection, OAD)と呼ばれる未トリミングビデオにおけるオンライン人間行動認識の問題を再考する必要がある。
評価メトリクスが明確かつ十分に確立されている従来のオフラインアクション検出アプローチとは異なり、oad設定では、使用すべき評価プロトコルに関するコンセンサスや作業がほとんどありません。
本稿では,従来の(オフライン)メトリクスの制限の多くを解消する,新しいオンラインメトリックであるInstantaneous Accuracy(IA$)を紹介する。
本研究は,TVSeriesデータセット上で,様々なベースライン手法の性能と技術状況を比較し,徹底的な実験評価を行う。
本研究は,従来の評価プロトコルの問題点を検証し,人の行動理解のオンラインシナリオにIAベースのプロトコルの方が適切であることを示唆する。
利用可能なメトリックのコード https://github.com/gramuah/ia
関連論文リスト
- Cobra Effect in Reference-Free Image Captioning Metrics [58.438648377314436]
視覚言語事前学習モデル(VLM)を活用した参照フリー手法の普及が出現している。
本稿では,基準自由度に欠陥があるかどうかを考察する。
GPT-4Vは生成した文を評価するための評価ツールであり,提案手法がSOTA(State-of-the-art)の性能を達成することを示す。
論文 参考訳(メタデータ) (2024-02-18T12:36:23Z) - A Study of Unsupervised Evaluation Metrics for Practical and Automatic
Domain Adaptation [15.728090002818963]
教師なしドメイン適応(UDA)メソッドは、ラベルなしでターゲットドメインへのモデル転送を容易にする。
本稿では,対象の検証ラベルにアクセスすることなく,移動モデルの品質を評価できる評価指標を見つけることを目的とする。
論文 参考訳(メタデータ) (2023-08-01T05:01:05Z) - Beyond AUROC & co. for evaluating out-of-distribution detection
performance [50.88341818412508]
安全(r)AIとの関連性を考えると,OOD検出法の比較の基礎が実用的ニーズと整合しているかどうかを検討することが重要である。
我々は,IDとOODの分離が不十分なことを明示する新しい指標であるAUTC(Area Under the Threshold Curve)を提案する。
論文 参考訳(メタデータ) (2023-06-26T12:51:32Z) - Rapid Adaptation in Online Continual Learning: Are We Evaluating It
Right? [135.71855998537347]
オンライン連続学習(OCL)アルゴリズムの適応性を評価するための一般的な手法を,オンライン精度の指標を用いて再検討する。
空白のブラインド分類器でさえ、非現実的に高いオンライン精度を達成できるため、この指標は信頼できない。
既存のOCLアルゴリズムは、オンラインの精度も高いが、有用な情報の保持は不十分である。
論文 参考訳(メタデータ) (2023-05-16T08:29:33Z) - Offline Evaluation of Reward-Optimizing Recommender Systems: The Case of
Simulation [11.940733431087102]
学術的・産業的な研究において、オンライン評価手法はレコメンデーションシステムのようなインタラクティブなアプリケーションのための黄金の標準と見なされている。
オンライン評価手法は様々な理由で費用がかかるが、信頼性の高いオフライン評価手順の必要性は明らかである。
学術研究において、オンラインシステムへの限られたアクセスは、オフラインメトリクスを新しい方法を検証するデファクトアプローチにする。
論文 参考訳(メタデータ) (2022-09-18T20:03:32Z) - Online Assessment Misconduct Detection using Internet Protocol and
Behavioural Classification [0.6445605125467573]
本稿では,オンラインアセスメント不正行為(e-cheating)の可能性について検討し,それに対する実践的対策を提案する。
インターネットプロトコル(IP)検出器と行動モニタとから構成される、電子商取引の知的エージェントの形式でオンライン不正行為を検出するメカニズムを提示する。
論文 参考訳(メタデータ) (2022-01-24T03:48:45Z) - Do Offline Metrics Predict Online Performance in Recommender Systems? [79.48653445643865]
6つのシミュレーション環境におけるレコメンデータの評価により,オフラインメトリクスがオンラインのパフォーマンスを予測する程度について検討した。
オフラインメトリクスは、様々な環境におけるオンラインのパフォーマンスと相関している。
本研究は,探索戦略の追加による影響について検討し,その有効性はレコメンデーションアルゴリズムに大きく依存していることを示す。
論文 参考訳(メタデータ) (2020-11-07T01:41:13Z) - GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。
10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。
また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
論文 参考訳(メタデータ) (2020-10-24T08:30:20Z) - Rethinking Online Action Detection in Untrimmed Videos: A Novel Online
Evaluation Protocol [9.3576825415122]
オンラインアクション検出(OAD)問題を再検討する必要がある。
従来のオフラインアクション検出アプローチとは異なり、OAD設定では、非常に少ない作業と、使用する評価プロトコルに関するコンセンサスがないことが分かりました。
本稿では,OADのシナリオを再考し,問題そのものと,オンラインとみなすモデルが従わなければならない主な特徴を明確に定義する。
論文 参考訳(メタデータ) (2020-03-26T17:13:55Z) - AliExpress Learning-To-Rank: Maximizing Online Model Performance without
Going Online [60.887637616379926]
本稿では,学習からランクへ学習するための評価器・ジェネレータフレームワークを提案する。
コンテキストを含むレコメンデーションを一般化して評価する評価器と、強化学習による評価器スコアを最大化するジェネレータとから構成される。
本手法は, オンラインA/Bテストにおける産業レベルの微調整モデルよりも, 変換率(CR)の面で大幅に向上する。
論文 参考訳(メタデータ) (2020-03-25T10:27:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。