論文の概要: CLASTER: Clustering with Reinforcement Learning for Zero-Shot Action
Recognition
- arxiv url: http://arxiv.org/abs/2101.07042v1
- Date: Mon, 18 Jan 2021 12:46:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-27 12:04:51.538589
- Title: CLASTER: Clustering with Reinforcement Learning for Zero-Shot Action
Recognition
- Title(参考訳): CLASTER:ゼロショット動作認識のための強化学習によるクラスタリング
- Authors: Shreyank N Gowda, Laura Sevilla-Lara, Frank Keller, Marcus Rohrbach
- Abstract要約: 各インスタンスを個別に最適化するのではなく,すべてのトレーニングサンプルを同時に考慮したクラスタリングモデルを提案する。
提案手法をCLASTERと呼び,すべての標準データセットの最先端性を常に改善することを確認する。
- 参考スコア(独自算出の注目度): 52.66360172784038
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Zero-shot action recognition is the task of recognizing action classes
without visual examples, only with a semantic embedding which relates unseen to
seen classes. The problem can be seen as learning a function which generalizes
well to instances of unseen classes without losing discrimination between
classes. Neural networks can model the complex boundaries between visual
classes, which explains their success as supervised models. However, in
zero-shot learning, these highly specialized class boundaries may not transfer
well from seen to unseen classes. In this paper, we propose a clustering-based
model, which considers all training samples at once, instead of optimizing for
each instance individually. We optimize the clustering using Reinforcement
Learning which we show is critical for our approach to work. We call the
proposed method CLASTER and observe that it consistently improves over the
state-of-the-art in all standard datasets, UCF101, HMDB51, and Olympic Sports;
both in the standard zero-shot evaluation and the generalized zero-shot
learning.
- Abstract(参考訳): ゼロショットアクション認識は、視覚的な例のないアクションクラスを認識するタスクであり、目に見えないクラスに関連するセマンティックな埋め込みである。
問題は、クラス間の区別を失うことなく、目に見えないクラスのインスタンスによく一般化する関数を学ぶことである。
ニューラルネットワークは、視覚クラス間の複雑な境界をモデル化することができる。
しかし、ゼロショット学習では、これらの高度に専門化されたクラス境界は、目に見えるクラスから見当たらないクラスへうまく移行できないかもしれない。
本稿では,各インスタンスを個別に最適化するのではなく,すべてのトレーニングサンプルを同時に検討するクラスタリングモデルを提案する。
私たちはReinforcement Learningを使ってクラスタリングを最適化します。
我々は提案手法をCLASTERと呼び、標準ゼロショット評価と一般化ゼロショット学習の両方において、標準データセットであるUCF101, HMDB51, オリンピックスポーツの最先端性を常に改善することを確認する。
関連論文リスト
- Continual Learning Improves Zero-Shot Action Recognition [12.719578035745744]
ゼロショット動作認識に対処するための連続学習に基づく新しい手法を提案する。
メモリは分類モデルをトレーニングするために使用され、古いクラスと新しいクラスの両方にバランスのとれた露出を確保する。
実験により、Em GILは目に見えないクラスにおける一般化を改善し、ゼロショット認識における新しい最先端を達成することが示された。
論文 参考訳(メタデータ) (2024-10-14T13:42:44Z) - Towards Realistic Zero-Shot Classification via Self Structural Semantic
Alignment [53.2701026843921]
大規模事前訓練型視覚言語モデル(VLM)はゼロショット分類に有効であることが証明されている。
本稿では,アノテーションではなく,より広い語彙を前提とした,より難易度の高いゼロショット分類(Realistic Zero-Shot Classification)を提案する。
本稿では,ラベルのないデータから構造意味情報を抽出し,同時に自己学習を行う自己構造意味アライメント(S3A)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-24T17:56:46Z) - Semi-supervised learning made simple with self-supervised clustering [65.98152950607707]
自己教師付き学習モデルは、人間のアノテーションを必要とせずにリッチな視覚表現を学習することが示されている。
本稿では,クラスタリングに基づく自己教師付き手法を半教師付き学習者へと変換する,概念的に単純だが経験的に強力な手法を提案する。
論文 参考訳(メタデータ) (2023-06-13T01:09:18Z) - VGSE: Visually-Grounded Semantic Embeddings for Zero-Shot Learning [113.50220968583353]
ゼロショット学習のための識別的視覚特性を含むセマンティック埋め込みを発見することを提案する。
本モデルでは,画像の集合を視覚的類似性に応じて局所的な画像領域の集合に視覚的に分割する。
視覚的に接地されたセマンティック埋め込みは、様々なZSLモデルにまたがる単語埋め込みよりも、大きなマージンで性能を向上することを示した。
論文 参考訳(メタデータ) (2022-03-20T03:49:02Z) - Cluster-based Contrastive Disentangling for Generalized Zero-Shot
Learning [25.92340532509084]
Generalized Zero-Shot Learning (GZSL) は、目に見えないクラスと見えないクラスの両方を認識することを目的としている。
本稿では,クラスタベースのContrastive Disentangling(CCD)手法を提案する。
論文 参考訳(メタデータ) (2022-03-05T02:50:12Z) - Representation Learning via Consistent Assignment of Views to Clusters [0.7614628596146599]
Consistent Assignment for Representation Learning (CARL)は、視覚表現を学習するための教師なし学習手法である。
CARLはクラスタリングの観点から対照的な学習を眺めることで、一般的なプロトタイプの集合を学習することで教師なし表現を学習する。
深層クラスタリングによるコントラスト学習に関する現代の研究とは異なり、CARLはオンライン方式で一般的なプロトタイプのセットを学ぶことを提案する。
論文 参考訳(メタデータ) (2021-12-31T12:59:23Z) - Using Fictitious Class Representations to Boost Discriminative Zero-Shot
Learners [23.854093182195246]
そこで本研究では,学習中に動的に拡張する機構を導入し,新たな虚構クラスを創出する。
これらの架空のクラスは、トレーニングセットに現れるが、新たに公開されたクラスには現れない属性相関に基づいて、トレーニング中にモデルを固定する傾向を減少させる。
論文 参考訳(メタデータ) (2021-11-26T15:41:16Z) - GAN for Vision, KG for Relation: a Two-stage Deep Network for Zero-shot
Action Recognition [33.23662792742078]
ゼロショット動作認識のための2段階のディープニューラルネットワークを提案する。
サンプリング段階では,授業の動作特徴と単語ベクトルによって訓練されたGAN(Generative Adversarial Network)を利用する。
分類段階において、アクションクラスの単語ベクトルと関連するオブジェクトの関係に基づいて知識グラフを構築する。
論文 参考訳(メタデータ) (2021-05-25T09:34:42Z) - Meta-Learned Attribute Self-Gating for Continual Generalized Zero-Shot
Learning [82.07273754143547]
トレーニング中に見られないカテゴリにモデルを一般化するためのメタ連続ゼロショット学習(MCZSL)アプローチを提案する。
属性の自己決定とスケールしたクラス正規化をメタラーニングベースのトレーニングと組み合わせることで、最先端の成果を上回ることができるのです。
論文 参考訳(メタデータ) (2021-02-23T18:36:14Z) - Generative Multi-Label Zero-Shot Learning [136.17594611722285]
マルチラベルゼロショット学習は、トレーニング中にデータが入手できない複数の見えないカテゴリにイメージを分類する試みである。
我々の研究は、(一般化された)ゼロショット設定におけるマルチラベル機能の問題に最初に取り組みました。
私たちのクロスレベル核融合に基づく生成アプローチは、3つのデータセットすべてにおいて最先端の手法よりも優れています。
論文 参考訳(メタデータ) (2021-01-27T18:56:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。