論文の概要: PECoP: Parameter Efficient Continual Pretraining for Action Quality
Assessment
- arxiv url: http://arxiv.org/abs/2311.07603v1
- Date: Sat, 11 Nov 2023 02:36:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-15 17:11:37.422466
- Title: PECoP: Parameter Efficient Continual Pretraining for Action Quality
Assessment
- Title(参考訳): PECoP:行動品質評価のためのパラメータ効率的な連続事前学習
- Authors: Amirhossein Dadashzadeh, Shuchao Duan, Alan Whone, Majid Mirmehdi
- Abstract要約: 以前の作業では、大規模なドメイン汎用データセットで事前訓練されたモデルを微調整する必要がある。
このようなドメインシフトを減らすために,新しいパラメータ効率,連続的事前学習フレームワーク PEP を提案する。
我々は,最近の最先端手法の性能を向上させるPEPの能力を実証する。
- 参考スコア(独自算出の注目度): 5.646864170268027
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The limited availability of labelled data in Action Quality Assessment (AQA),
has forced previous works to fine-tune their models pretrained on large-scale
domain-general datasets. This common approach results in weak generalisation,
particularly when there is a significant domain shift. We propose a novel,
parameter efficient, continual pretraining framework, PECoP, to reduce such
domain shift via an additional pretraining stage. In PECoP, we introduce
3D-Adapters, inserted into the pretrained model, to learn spatiotemporal,
in-domain information via self-supervised learning where only the adapter
modules' parameters are updated. We demonstrate PECoP's ability to enhance the
performance of recent state-of-the-art methods (MUSDL, CoRe, and TSA) applied
to AQA, leading to considerable improvements on benchmark datasets, JIGSAWS
($\uparrow6.0\%$), MTL-AQA ($\uparrow0.99\%$), and FineDiving
($\uparrow2.54\%$). We also present a new Parkinson's Disease dataset, PD4T, of
real patients performing four various actions, where we surpass
($\uparrow3.56\%$) the state-of-the-art in comparison. Our code, pretrained
models, and the PD4T dataset are available at https://github.com/Plrbear/PECoP.
- Abstract(参考訳): ラベル付きデータのAQA(Action Quality Assessment)での可用性の制限により、以前の作業では、大規模なドメイン汎用データセットで事前トレーニングされたモデルを微調整せざるを得なくなった。
この一般的なアプローチは、特に大きな領域シフトがある場合、弱い一般化をもたらす。
そこで本研究では,新たなパラメータ効率の高い連続的事前学習フレームワークであるpecopを提案する。
PECoPでは,事前学習モデルに挿入された3D-Adaptersを導入し,適応モジュールのパラメータのみを更新する自己教師型学習を通じて時空間的,ドメイン内情報を学習する。
AQAに適用された最近の最先端手法(MUSDL、CoRe、TSA)の性能を向上させるPECoPの能力を実証し、ベンチマークデータセット、JIGSAWS(\uparrow 6.0\%$), MTL-AQA(\uparrow0.99\%$), FineDiving(\uparrow2.54\%$)を大幅に改善した。
また, パーキンソン病の新しいデータセットpd4tを提示し, 実際の患者が4つのアクションを行ない, 比較において, 最新値の$\uparrow3.56\%$を上回った。
私たちのコード、事前トレーニングされたモデル、PD4Tデータセットはhttps://github.com/Plrbear/PECoP.orgで公開されています。
関連論文リスト
- PPM : A Pre-trained Plug-in Model for Click-through Rate Prediction [10.341207266687494]
クリックスルー率(CTR)予測はレコメンダシステムにおける中核的なタスクである。
我々は、textbfP$re-trained $textbfP$lug-in CTR $textbfM$odel、すなわちPPMを提案する。
論文 参考訳(メタデータ) (2024-03-15T06:42:23Z) - Uncertainty-aware Parameter-Efficient Self-training for Semi-supervised
Language Understanding [38.11411155621616]
我々は,主に半教師あり学習の手法として,自己学習について研究している。
我々は,新しい不確かさを意識した自己学習フレームワークであるUPETを紹介する。
UPETは性能と効率の面で大幅に向上したことを示す。
論文 参考訳(メタデータ) (2023-10-19T02:18:29Z) - Revisiting DETR Pre-training for Object Detection [24.372444866927538]
完全データ条件下での堅牢なDETRモデルの性能向上におけるDETRegの欠点について検討する。
我々は、改良されたボックス予測器とObjects$365$ベンチマークを組み合わせることで、目立った拡張をもたらす、Simple Self-trainingという最適化されたアプローチを採用しています。
これらの努力の結果、COCO valセットのAPスコアは59.3%で、事前トレーニングなしで$mathcalH$-Deformable-DETR + Swin-Lを1.4%で上回った。
論文 参考訳(メタデータ) (2023-08-02T17:39:30Z) - On the Connection between Pre-training Data Diversity and Fine-tuning
Robustness [66.30369048726145]
下流の有効ロバスト性に影響を与える主な要因はデータ量である。
各種自然および合成データソースから抽出した事前学習分布について,本研究の成果を示す。
論文 参考訳(メタデータ) (2023-07-24T05:36:19Z) - ZooD: Exploiting Model Zoo for Out-of-Distribution Generalization [65.58562481279023]
PTMのランク付けと特徴選択によるアンサンブルのためのパラダイムであるZooDを提案する。
我々は,多様なアウト・オブ・ディストリビューション(OoD)タスクのための35のモデルからなる多様なモデル動物園において,我々のパラダイムを評価する。
論文 参考訳(メタデータ) (2022-10-17T16:31:57Z) - Knowledge Distillation as Efficient Pre-training: Faster Convergence,
Higher Data-efficiency, and Better Transferability [53.27240222619834]
効率的な事前学習としての知識蒸留は、学習した特徴表現を学習済みモデルから将来の下流タスクのための新しい学生モデルに効率的に転送することを目的としている。
提案手法は,3つの下流タスクにおける教師付き事前学習タスクと,10倍少ないデータと5倍少ない事前学習時間を必要とする9つの下流データセットとを比較検討する。
論文 参考訳(メタデータ) (2022-03-10T06:23:41Z) - Hyperparameter-free Continuous Learning for Domain Classification in
Natural Language Understanding [60.226644697970116]
ドメイン分類は自然言語理解(NLU)の基本課題である
既存の継続的な学習アプローチの多くは、低い精度とパフォーマンスの変動に悩まされている。
本研究では,テキストデータに対するパラメータフリー連続学習モデルを提案する。
論文 参考訳(メタデータ) (2022-01-05T02:46:16Z) - Learning to Perturb Word Embeddings for Out-of-distribution QA [55.103586220757464]
本論文では,入力問題と文脈の単語埋め込みを意味論を変化させることなく学習するノイズ発生器に基づく簡便かつ効果的なDA法を提案する。
ひとつのソースデータセットに,5つの異なるターゲットドメインに埋め込むことで,トレーニングされたQAモデルのパフォーマンスを検証する。
特に、私たちのトレーニングを受けたモデルは、240K以上の人工的なQAペアでトレーニングされたモデルよりも優れています。
論文 参考訳(メタデータ) (2021-05-06T14:12:26Z) - Parameter-Efficient Transfer from Sequential Behaviors for User Modeling
and Recommendation [111.44445634272235]
本稿では,PeterRecと呼ばれるパラメータ効率のよい移動学習アーキテクチャを提案する。
PeterRecは、トレーニング済みのパラメータを、一連の再学習ニューラルネットワークを注入することで、微調整中に修正されないようにする。
我々は5つの下流タスクにおいて学習したユーザ表現の有効性を示すために、広範囲な実験的アブレーションを行う。
論文 参考訳(メタデータ) (2020-01-13T14:09:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。