論文の概要: PECoP: Parameter Efficient Continual Pretraining for Action Quality Assessment

• arxiv url: http://arxiv.org/abs/2311.07603v1
• Date: Sat, 11 Nov 2023 02:36:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-15 17:11:37.422466
• Title: PECoP: Parameter Efficient Continual Pretraining for Action Quality Assessment
• Title（参考訳）: PECoP:行動品質評価のためのパラメータ効率的な連続事前学習
• Authors: Amirhossein Dadashzadeh, Shuchao Duan, Alan Whone, Majid Mirmehdi
• Abstract要約: 以前の作業では、大規模なドメイン汎用データセットで事前訓練されたモデルを微調整する必要がある。 このようなドメインシフトを減らすために,新しいパラメータ効率,連続的事前学習フレームワーク PEP を提案する。 我々は,最近の最先端手法の性能を向上させるPEPの能力を実証する。
• 参考スコア（独自算出の注目度）: 5.646864170268027
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The limited availability of labelled data in Action Quality Assessment (AQA), has forced previous works to fine-tune their models pretrained on large-scale domain-general datasets. This common approach results in weak generalisation, particularly when there is a significant domain shift. We propose a novel, parameter efficient, continual pretraining framework, PECoP, to reduce such domain shift via an additional pretraining stage. In PECoP, we introduce 3D-Adapters, inserted into the pretrained model, to learn spatiotemporal, in-domain information via self-supervised learning where only the adapter modules' parameters are updated. We demonstrate PECoP's ability to enhance the performance of recent state-of-the-art methods (MUSDL, CoRe, and TSA) applied to AQA, leading to considerable improvements on benchmark datasets, JIGSAWS ($\uparrow6.0\%$), MTL-AQA ($\uparrow0.99\%$), and FineDiving ($\uparrow2.54\%$). We also present a new Parkinson's Disease dataset, PD4T, of real patients performing four various actions, where we surpass ($\uparrow3.56\%$) the state-of-the-art in comparison. Our code, pretrained models, and the PD4T dataset are available at https://github.com/Plrbear/PECoP.
• Abstract（参考訳）: ラベル付きデータのAQA(Action Quality Assessment)での可用性の制限により、以前の作業では、大規模なドメイン汎用データセットで事前トレーニングされたモデルを微調整せざるを得なくなった。 この一般的なアプローチは、特に大きな領域シフトがある場合、弱い一般化をもたらす。 そこで本研究では,新たなパラメータ効率の高い連続的事前学習フレームワークであるpecopを提案する。 PECoPでは,事前学習モデルに挿入された3D-Adaptersを導入し,適応モジュールのパラメータのみを更新する自己教師型学習を通じて時空間的,ドメイン内情報を学習する。 AQAに適用された最近の最先端手法(MUSDL、CoRe、TSA)の性能を向上させるPECoPの能力を実証し、ベンチマークデータセット、JIGSAWS(\uparrow 6.0\%$), MTL-AQA(\uparrow0.99\%$), FineDiving(\uparrow2.54\%$)を大幅に改善した。 また, パーキンソン病の新しいデータセットpd4tを提示し, 実際の患者が4つのアクションを行ない, 比較において, 最新値の$\uparrow3.56\%$を上回った。 私たちのコード、事前トレーニングされたモデル、PD4Tデータセットはhttps://github.com/Plrbear/PECoP.orgで公開されています。

関連論文リスト

• Beyond Efficiency: Molecular Data Pruning for Enhanced Generalization [30.738229850748137]
  MolPegは、一般化を強化するための分子データプルーニングフレームワークである。 これは、事前訓練されたモデルでデータプルーニングを適用する、ソースフリーなデータプルーニングシナリオに焦点を当てている。 4つのダウンストリームタスクで既存のDPメソッドを一貫して上回ります。
  論文  参考訳（メタデータ） (2024-09-02T09:06:04Z)
• Learn to Preserve and Diversify: Parameter-Efficient Group with Orthogonal Regularization for Domain Generalization [28.977757627384165]
  ドメイン・ドメイン(DG)は、限られたトレーニングデータと見つからないテストデータの間の分散シフトが発生したとき、モデルの性能劣化を避けることを目的としている。 近年、膨大なパラメータを持つ基礎モデルは、膨大なデータセットで事前訓練されており、強力な一般化能力を示している。 我々のフレームワークは5つのDGベンチマークでSOTA性能を実現し、テストコストを増すことなく少数のパラメータをトレーニングするのみである。
  論文  参考訳（メタデータ） (2024-07-21T07:50:49Z)
• Unpacking DPO and PPO: Disentangling Best Practices for Learning from Preference Feedback [110.16220825629749]
  嗜好フィードバックからの学習は、現代言語モデルの生成品質と性能を改善するための重要なステップとして現れてきた。 本研究では、嗜好データ、学習アルゴリズム、報酬モデル、政策訓練プロンプトという、嗜好に基づく学習の4つの側面を特定する。 以上の結果から,すべての側面がパフォーマンス上重要であることが示唆された。
  論文  参考訳（メタデータ） (2024-06-13T16:17:21Z)
• Uncertainty-aware Parameter-Efficient Self-training for Semi-supervised Language Understanding [38.11411155621616]
  我々は,主に半教師あり学習の手法として,自己学習について研究している。 我々は,新しい不確かさを意識した自己学習フレームワークであるUPETを紹介する。 UPETは性能と効率の面で大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2023-10-19T02:18:29Z)
• On the Connection between Pre-training Data Diversity and Fine-tuning Robustness [66.30369048726145]
  下流の有効ロバスト性に影響を与える主な要因はデータ量である。 各種自然および合成データソースから抽出した事前学習分布について,本研究の成果を示す。
  論文  参考訳（メタデータ） (2023-07-24T05:36:19Z)
• Revisiting Class-Incremental Learning with Pre-Trained Models: Generalizability and Adaptivity are All You Need [84.3507610522086]
  クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに新しいクラスに適応することを目的としている。 近年の事前訓練は大きな進歩を遂げており、CILには膨大な事前訓練モデル(PTM)が利用できるようになった。 CILの中核となる要素は、モデル更新の適応性と知識伝達の一般化性である。
  論文  参考訳（メタデータ） (2023-03-13T17:59:02Z)
• ZooD: Exploiting Model Zoo for Out-of-Distribution Generalization [65.58562481279023]
  PTMのランク付けと特徴選択によるアンサンブルのためのパラダイムであるZooDを提案する。 我々は,多様なアウト・オブ・ディストリビューション(OoD)タスクのための35のモデルからなる多様なモデル動物園において,我々のパラダイムを評価する。
  論文  参考訳（メタデータ） (2022-10-17T16:31:57Z)
• Hyperparameter-free Continuous Learning for Domain Classification in Natural Language Understanding [60.226644697970116]
  ドメイン分類は自然言語理解(NLU)の基本課題である 既存の継続的な学習アプローチの多くは、低い精度とパフォーマンスの変動に悩まされている。 本研究では,テキストデータに対するパラメータフリー連続学習モデルを提案する。
  論文  参考訳（メタデータ） (2022-01-05T02:46:16Z)
• Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation [111.44445634272235]
  本稿では,PeterRecと呼ばれるパラメータ効率のよい移動学習アーキテクチャを提案する。 PeterRecは、トレーニング済みのパラメータを、一連の再学習ニューラルネットワークを注入することで、微調整中に修正されないようにする。 我々は5つの下流タスクにおいて学習したユーザ表現の有効性を示すために、広範囲な実験的アブレーションを行う。
  論文  参考訳（メタデータ） (2020-01-13T14:09:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。