論文の概要: A New Split for Evaluating True Zero-Shot Action Recognition
- arxiv url: http://arxiv.org/abs/2107.13029v1
- Date: Tue, 27 Jul 2021 18:22:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-30 02:18:28.368895
- Title: A New Split for Evaluating True Zero-Shot Action Recognition
- Title（参考訳）: 真のゼロショット行動認識のための新しいスプリット
- Authors: Shreyank N Gowda, Laura Sevilla-Lara, Kiyoon Kim, Frank Keller, and
Marcus Rohrbach
- Abstract要約: 未確認テストクラスとトレーニングおよび事前学習クラスの間に重複のない、真のゼロショット動作認識のための新しい分割を提案する。
提案するUCF101およびHMDB51に対するTrue Zero-Shot (TruZe) Splitに関する最近のアプローチをベンチマークする。
- 参考スコア（独自算出の注目度）: 45.815342448662946
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Zero-shot action recognition is the task of classifying action categories
that are not available in the training set. In this setting, the standard
evaluation protocol is to use existing action recognition datasets (e.g.
UCF101) and randomly split the classes into seen and unseen. However, most
recent work builds on representations pre-trained on the Kinetics dataset,
where classes largely overlap with classes in the zero-shot evaluation
datasets. As a result, classes which are supposed to be unseen, are present
during supervised pre-training, invalidating the condition of the zero-shot
setting. A similar concern was previously noted several years ago for image
based zero-shot recognition, but has not been considered by the zero-shot
action recognition community. In this paper, we propose a new split for true
zero-shot action recognition with no overlap between unseen test classes and
training or pre-training classes. We benchmark several recent approaches on the
proposed True Zero-Shot (TruZe) Split for UCF101 and HMDB51, with zero-shot and
generalized zero-shot evaluation. In our extensive analysis we find that our
TruZe splits are significantly harder than comparable random splits as nothing
is leaking from pre-training, i.e. unseen performance is consistently lower, up
to 9.4% for zero-shot action recognition. In an additional evaluation we also
find that similar issues exist in the splits used in few-shot action
recognition, here we see differences of up to 14.1%. We publish our splits and
hope that our benchmark analysis will change how the field is evaluating zero-
and few-shot action recognition moving forward.
- Abstract（参考訳）: ゼロショットアクション認識は、トレーニングセットで利用できないアクションカテゴリを分類するタスクである。
この設定では、標準評価プロトコルは、既存のアクション認識データセット(例)を使用する。
ucf101 とランダムにクラスを saw と unseen に分割する。
しかし、最近の研究は、クラスがゼロショット評価データセットのクラスとほとんど重複する、kineticsデータセットで事前トレーニングされた表現に基づいている。
その結果、目に見えないはずのクラスは教師付き事前トレーニング中に存在し、ゼロショット設定の条件を無効にする。
同様の懸念は数年前に画像ベースのゼロショット認識でも指摘されていたが、ゼロショットアクション認識コミュニティでは考慮されていない。
本稿では、未確認テストクラスとトレーニングおよび事前学習クラスの間に重複のない、真のゼロショット動作認識のための新しい分割を提案する。
提案するUCF101およびHMDB51のためのTrue Zero-Shot (TruZe) Splitに関する最近のアプローチを,ゼロショットと一般化ゼロショット評価を用いてベンチマークした。
我々の広範な分析では、TruZeの分割は、事前学習から漏れることのないことから、同等のランダムスプリットよりもはるかに難しい。
目に見えないパフォーマンスは、ゼロショットアクション認識では9.4%まで一貫して低い。
追加評価では、少数ショットのアクション認識で使用される分割にも同様の問題があることが分かり、14.1%の差が見られる。
私たちは分割を公開し、私たちのベンチマーク分析によって、フィールドがゼロおよび少数ショットのアクション認識をどのように評価するかが変わることを期待しています。
関連論文リスト
- CICA: Content-Injected Contrastive Alignment for Zero-Shot Document Image Classification [11.225067563482169]
ゼロショット学習(ZSL)および一般化ゼロショット学習(GZSL)設定において、包括的な文書画像分類分析を行う。
CICA(ki-ka)はCLIPのゼロショット学習能力を向上するフレームワークである。
我々のモジュールは、CLIPのZSLトップ-1精度を6.7%改善し、GZSLハーモニック平均はRVL-CDIPデータセットで24%向上した。
論文 参考訳（メタデータ） (2024-05-06T17:37:23Z) - Few-shot Open-set Recognition Using Background as Unknowns [58.04165813493666]
未使用のオープンセット認識は、見知らぬクラスの限られた訓練データしか持たない、目に見える画像と新しい画像の両方を分類することを目的としている。
提案手法は,複数のベースラインより優れるだけでなく,3つのベンチマークで新たな結果が得られた。
論文 参考訳（メタデータ） (2022-07-19T04:19:29Z) - Zero-Shot Action Recognition with Transformer-based Video Semantic
Embedding [36.24563211765782]
現実的な視点から、帰納的ゼロショット動作認識問題を包括的に考察する。
具体的には,ゼロショット動作認識のための具体的定式化を提唱する。
本稿では,長期間の時間依存性を効率的に捉えることができる新しいエンドツーエンド学習型トランスフォーマーモデルを提案する。
論文 参考訳（メタデータ） (2022-03-10T05:03:58Z) - Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。
まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。
第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
論文 参考訳（メタデータ） (2021-01-20T11:48:12Z) - CLASTER: Clustering with Reinforcement Learning for Zero-Shot Action
Recognition [52.66360172784038]
各インスタンスを個別に最適化するのではなく,すべてのトレーニングサンプルを同時に考慮したクラスタリングモデルを提案する。
提案手法をCLASTERと呼び,すべての標準データセットの最先端性を常に改善することを確認する。
論文 参考訳（メタデータ） (2021-01-18T12:46:24Z) - Unifying Few- and Zero-Shot Egocentric Action Recognition [3.1368611610608848]
オープンセット分類の評価が可能なEPIC-KITCHENSデータセットから新たな分割セットを提案する。
従来の直交ベースラインにメトリクス学習損失を加えることで、ゼロショット分類を最大10%改善できることを示す。
論文 参考訳（メタデータ） (2020-05-27T02:23:38Z) - Revisiting Few-shot Activity Detection with Class Similarity Control [107.79338380065286]
本稿では,提案回帰に基づく数ショットの時間的活動検出のためのフレームワークを提案する。
我々のモデルはエンドツーエンドのトレーニングが可能で、数ショットのアクティビティと未トリミングなテストビデオのフレームレートの違いを考慮しており、さらに数ショットのサンプルの恩恵を受けることができる。
論文 参考訳（メタデータ） (2020-03-31T22:02:38Z) - Any-Shot Object Detection [81.88153407655334]
「アニーショット検出」とは、全く見えず、数発のカテゴリが推論中に同時に共起できる場所である。
我々は、ゼロショットと少数ショットの両方のオブジェクトクラスを同時に検出できる、統合された任意のショット検出モデルを提案する。
我々のフレームワークは、ゼロショット検出とFewショット検出タスクにのみ使用できる。
論文 参考訳（メタデータ） (2020-03-16T03:43:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。