論文の概要: CoFInAl: Enhancing Action Quality Assessment with Coarse-to-Fine Instruction Alignment
- arxiv url: http://arxiv.org/abs/2404.13999v1
- Date: Mon, 22 Apr 2024 09:03:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-23 14:35:57.095864
- Title: CoFInAl: Enhancing Action Quality Assessment with Coarse-to-Fine Instruction Alignment
- Title(参考訳): CoFInAl: 粗いインストラクションアライメントによる行動品質評価の強化
- Authors: Kanglei Zhou, Junlin Li, Ruizhi Cai, Liyuan Wang, Xingxing Zhang, Xiaohui Liang,
- Abstract要約: アクション品質アセスメント(AQA)は、スポーツや医療といった分野におけるアクションの定量化に重要である。
既存の方法は、小さなAQAデータセットのパフォーマンスを高めるために、大規模なアクション認識データセットからトレーニング済みのバックボーンに依存することが多い。
我々は、粗大な分類タスクとして再構成することで、AQAをより広範な事前訓練タスクと整合させるために、粗大なインストラクションアライメント(CoFInAl)を提案する。
- 参考スコア(独自算出の注目度): 38.12600984070689
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Action Quality Assessment (AQA) is pivotal for quantifying actions across domains like sports and medical care. Existing methods often rely on pre-trained backbones from large-scale action recognition datasets to boost performance on smaller AQA datasets. However, this common strategy yields suboptimal results due to the inherent struggle of these backbones to capture the subtle cues essential for AQA. Moreover, fine-tuning on smaller datasets risks overfitting. To address these issues, we propose Coarse-to-Fine Instruction Alignment (CoFInAl). Inspired by recent advances in large language model tuning, CoFInAl aligns AQA with broader pre-trained tasks by reformulating it as a coarse-to-fine classification task. Initially, it learns grade prototypes for coarse assessment and then utilizes fixed sub-grade prototypes for fine-grained assessment. This hierarchical approach mirrors the judging process, enhancing interpretability within the AQA framework. Experimental results on two long-term AQA datasets demonstrate CoFInAl achieves state-of-the-art performance with significant correlation gains of 5.49% and 3.55% on Rhythmic Gymnastics and Fis-V, respectively. Our code is available at https://github.com/ZhouKanglei/CoFInAl_AQA.
- Abstract(参考訳): アクション品質アセスメント(AQA)は、スポーツや医療といった分野におけるアクションの定量化に重要である。
既存の方法は、小さなAQAデータセットのパフォーマンスを高めるために、大規模なアクション認識データセットからトレーニング済みのバックボーンに依存することが多い。
しかし、この共通の戦略は、これらの背骨がAQAに不可欠な微妙な手がかりを捉えるために固有の闘争のために、最適以下の結果をもたらす。
さらに、小さなデータセットの微調整は、過度に適合するリスクがある。
これらの問題に対処するため、我々はCoFInAl(Coarse-to-Fine Instruction Alignment)を提案する。
大規模言語モデルチューニングの最近の進歩に触発されたCoFInAlは、粗い分類タスクとして再編成することで、AQAをより広範な事前訓練タスクと整合させる。
最初は粗い評価のためのグレードのプロトタイプを学習し、その後、きめ細かい評価のために固定されたサブグレードのプロトタイプを利用する。
この階層的なアプローチは判断プロセスを反映し、AQAフレームワーク内の解釈可能性を高めます。
2つの長期AQAデータセットの実験結果は、CoFInAlがそれぞれ5.49%と3.55%の相関関係を持つ最先端のパフォーマンスを達成することを示した。
私たちのコードはhttps://github.com/ZhouKanglei/CoFInAl_AQA.comで利用可能です。
関連論文リスト
- Self-Training with Pseudo-Label Scorer for Aspect Sentiment Quad Prediction [54.23208041792073]
Aspect Sentiment Quad Prediction (ASQP) は、与えられたレビューに対して全てのクワッド(アスペクト項、アスペクトカテゴリー、意見項、感情極性)を予測することを目的としている。
ASQPタスクにおける重要な課題はラベル付きデータの不足であり、既存のメソッドのパフォーマンスを制限している。
そこで我々は,擬似ラベルスコアラーを用いた自己学習フレームワークを提案し,レビューと擬似ラベルの一致をスコアラーが評価する。
論文 参考訳(メタデータ) (2024-06-26T05:30:21Z) - Learning Feature Inversion for Multi-class Anomaly Detection under General-purpose COCO-AD Benchmark [101.23684938489413]
異常検出(AD)は、しばしば産業品質検査や医学的病変検査のための異常の検出に焦点が当てられている。
この研究はまず、COCOをADフィールドに拡張することにより、大規模で汎用的なCOCO-ADデータセットを構築する。
セグメンテーション分野のメトリクスにインスパイアされた我々は、より実用的なしきい値に依存したAD固有のメトリクスをいくつか提案する。
論文 参考訳(メタデータ) (2024-04-16T17:38:26Z) - Continual Action Assessment via Task-Consistent Score-Discriminative Feature Distribution Modeling [31.696222064667243]
アクション品質アセスメント(AQA)は、アクションがどれだけうまく実行されるかに答えようとするタスクである。
既存のAQAの作業は、トレーニングデータはすべて一度にトレーニング用に見えるが、継続的な学習はできないと仮定している。
本稿では,AQAタスクを忘れずに逐次学習するための統一モデルを提案する。
論文 参考訳(メタデータ) (2023-09-29T10:06:28Z) - SAM-IQA: Can Segment Anything Boost Image Quality Assessment? [32.10446341968312]
ディープラーニングベースのIQA手法は、通常、大量のデータセットを特徴抽出器としてトレーニングしたトレーニング済みのネットワークに依存している。
本稿では,大規模データセット上で学習したセグメント化モデルであるセグメンテーション・アニーシングのエンコーダを用いて,高レベルの意味的特徴抽出を行う。
本実験では,Segment Anythingの強力な特徴抽出機能を確認し,IQAタスクにおける空間領域と周波数領域の機能の組み合わせの価値を強調した。
論文 参考訳(メタデータ) (2023-07-10T10:07:11Z) - ReAct: Temporal Action Detection with Relational Queries [84.76646044604055]
本研究は,アクションクエリを備えたエンコーダ・デコーダフレームワークを用いて,時間的行動検出(TAD)の進展を図ることを目的とする。
まず,デコーダ内の関係注意機構を提案し,その関係に基づいてクエリ間の関心を誘導する。
最後に、高品質なクエリを区別するために、推論時に各アクションクエリのローカライズ品質を予測することを提案する。
論文 参考訳(メタデータ) (2022-07-14T17:46:37Z) - AdAUC: End-to-end Adversarial AUC Optimization Against Long-tail
Problems [102.95119281306893]
我々は、AUCを最適化するための敵の訓練方法を探求するための早期トライアルを提示する。
我々は、AUC最適化問題をサドル点問題として再構成し、目的がインスタンスワイズ関数となる。
我々の分析は, min-max問題の勾配を計算して, 逆例を生成するアルゴリズムが求められているため, 既存の研究と異なる。
論文 参考訳(メタデータ) (2022-06-24T09:13:39Z) - Open-Set Recognition: A Good Closed-Set Classifier is All You Need [146.6814176602689]
分類器が「ゼロ・オブ・ア・ア・ア・ベ」決定を行う能力は、閉集合クラスにおける精度と高い相関関係があることが示される。
この相関を利用して、閉セット精度を向上させることにより、クロスエントロピーOSR'ベースライン'の性能を向上させる。
また、セマンティックノベルティを検出するタスクをより尊重する新しいベンチマークを構築した。
論文 参考訳(メタデータ) (2021-10-12T17:58:59Z) - Boosting the Generalization Capability in Cross-Domain Few-shot Learning
via Noise-enhanced Supervised Autoencoder [23.860842627883187]
我々は、新しいノイズ強調型教師付きオートエンコーダ(NSAE)を用いて、特徴分布のより広範なバリエーションを捉えるようモデルに教える。
NSAEは入力を共同で再構築し、入力のラベルと再構成されたペアを予測することによってモデルを訓練する。
また、NSAE構造を利用して、より適応性を高め、対象領域の分類性能を向上させる2段階の微調整手順を提案する。
論文 参考訳(メタデータ) (2021-08-11T04:45:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。