論文の概要: Group-aware Contrastive Regression for Action Quality Assessment
- arxiv url: http://arxiv.org/abs/2108.07797v1
- Date: Tue, 17 Aug 2021 17:59:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-18 13:28:11.075489
- Title: Group-aware Contrastive Regression for Action Quality Assessment
- Title(参考訳): 行動品質評価のためのグループ対応コントラスト回帰
- Authors: Xumin Yu, Yongming Rao, Wenliang Zhao, Jiwen Lu, Jie Zhou
- Abstract要約: ビデオ間の関係は、より正確な行動品質評価のための重要な手がかりとなることを示す。
提案手法は従来の手法よりも大きなマージンを達成し,3つのベンチマークで新たな最先端の手法を確立する。
- 参考スコア(独自算出の注目度): 85.43203180953076
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Assessing action quality is challenging due to the subtle differences between
videos and large variations in scores. Most existing approaches tackle this
problem by regressing a quality score from a single video, suffering a lot from
the large inter-video score variations. In this paper, we show that the
relations among videos can provide important clues for more accurate action
quality assessment during both training and inference. Specifically, we
reformulate the problem of action quality assessment as regressing the relative
scores with reference to another video that has shared attributes (e.g.,
category and difficulty), instead of learning unreferenced scores. Following
this formulation, we propose a new Contrastive Regression (CoRe) framework to
learn the relative scores by pair-wise comparison, which highlights the
differences between videos and guides the models to learn the key hints for
assessment. In order to further exploit the relative information between two
videos, we devise a group-aware regression tree to convert the conventional
score regression into two easier sub-problems: coarse-to-fine classification
and regression in small intervals. To demonstrate the effectiveness of CoRe, we
conduct extensive experiments on three mainstream AQA datasets including AQA-7,
MTL-AQA and JIGSAWS. Our approach outperforms previous methods by a large
margin and establishes new state-of-the-art on all three benchmarks.
- Abstract(参考訳): ビデオ間の微妙な違いと、スコアのばらつきのため、アクション品質の評価は困難である。
既存のほとんどのアプローチでは、単一のビデオから品質スコアを回帰することでこの問題に対処しています。
本稿では,ビデオ間の関係が,トレーニングと推論の両方において,より正確な行動品質評価のための重要な手がかりとなることを示す。
具体的には、属性(カテゴリーや難易度など)を共有した別のビデオを参照して、相対スコアを後退させるような行動品質評価の問題を、参照されていないスコアを学習する代わりに再検討する。
そこで本研究では,ビデオ間の差異に着目し,評価のための重要なヒントを学習するためのモデル指導を行う,対比較による相対スコア学習のための新しいコントラスト回帰(core)フレームワークを提案する。
2つのビデオ間の相対情報をさらに活用するために,従来のスコア回帰をより簡単な2つのサブプロブレムに変換するために,グループ対応回帰木を考案した。
CoReの有効性を示すために、AQA-7、MTL-AQA、JIGSAWSを含む3つの主流AQAデータセットについて広範な実験を行った。
提案手法は従来の手法よりも大きなマージンを達成し,3つのベンチマークで新たな最先端技術を確立する。
関連論文リスト
- Not All Pairs are Equal: Hierarchical Learning for Average-Precision-Oriented Video Retrieval [80.09819072780193]
平均精度(AP)は、関連ビデオのランキングを上位リストで評価する。
最近のビデオ検索手法は、全てのサンプル対を等しく扱うペアワイズ損失を利用する。
論文 参考訳(メタデータ) (2024-07-22T11:52:04Z) - Multi-Stage Contrastive Regression for Action Quality Assessment [31.763380011104015]
本稿では,アクション品質評価(AQA)タスクのためのMCoRe(Multi-stage Contrastive Regression)フレームワークを提案する。
グラフのコントラスト学習にヒントを得て,新たな段階的コントラスト学習損失関数を提案する。
MCoReは、広く採用されている詳細なAQAデータセット上で、最先端の結果を実証している。
論文 参考訳(メタデータ) (2024-01-05T14:48:19Z) - CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。
本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。
本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
論文 参考訳(メタデータ) (2022-06-29T15:22:01Z) - Auto-Encoding Score Distribution Regression for Action Quality
Assessment [41.45638722765149]
ビデオからのアクション品質評価(AQA)は難しい視力課題である。
伝統的に、AQAタスクは、ビデオとアクションスコアの間の基盤となるマッピングを学ぶための回帰問題として扱われる。
上記の問題に対処するため、配電用オートエンコーダ(DAE)を開発した。
論文 参考訳(メタデータ) (2021-11-22T07:30:04Z) - CoCon: Cooperative-Contrastive Learning [52.342936645996765]
自己教師付き視覚表現学習は効率的な映像分析の鍵である。
最近の画像表現の学習の成功は、コントラスト学習がこの課題に取り組むための有望なフレームワークであることを示唆している。
コントラスト学習の協調的バリエーションを導入し、ビュー間の相補的な情報を活用する。
論文 参考訳(メタデータ) (2021-04-30T05:46:02Z) - Regression or Classification? New Methods to Evaluate No-Reference
Picture and Video Quality Models [45.974399400141685]
粗いレベルでの非参照品質モデルの評価と比較のための2つの新しい手法を提案する。
我々は、最近の画像とビデオの品質データセットに基づいて、人気のあるノン参照品質モデルのベンチマーク実験を行う。
論文 参考訳(メタデータ) (2021-01-30T05:40:14Z) - Generalized Few-Shot Video Classification with Video Retrieval and
Feature Generation [132.82884193921535]
従来の手法は,映像特徴学習の重要性を過小評価し,二段階的アプローチを提案する。
この単純なベースラインアプローチは、既存のベンチマークで20ポイント以上の精度で、以前の数ショットビデオ分類方法よりも優れていることを示す。
さらなる改善をもたらす2つの新しいアプローチを提案する。
論文 参考訳(メタデータ) (2020-07-09T13:05:32Z) - Uncertainty-aware Score Distribution Learning for Action Quality
Assessment [91.05846506274881]
行動品質評価(AQA)のための不確実性認識スコア分布学習(USDL)手法を提案する。
具体的には、異なる評価スコアの確率を記述したスコア分布に関連する事例として、アクションを考察する。
微粒なスコアラベルが利用できる状況下では、多パス不確実性を考慮したスコア分布学習法(MUSDL)を考案し、スコアの不整合成分を探索する。
論文 参考訳(メタデータ) (2020-06-13T15:41:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。