論文の概要: Tuning Pre-trained Model via Moment Probing

• arxiv url: http://arxiv.org/abs/2307.11342v3
• Date: Mon, 2 Oct 2023 14:57:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-03 13:30:33.863314
• Title: Tuning Pre-trained Model via Moment Probing
• Title（参考訳）: モーメントプローブによる事前学習モデルのチューニング
• Authors: Mingze Gao and Qilong Wang and Zhenyi Lin and Pengfei Zhu and Qinghua Hu and Jingbo Zhou
• Abstract要約: 本稿では,LP の可能性を探るため,新しい Moment Probing (MP) 法を提案する。 MPは、最終特徴の平均に基づいて線形分類ヘッドを実行する。 当社のMPはLPを著しく上回り、トレーニングコストの低い相手と競争しています。
• 参考スコア（独自算出の注目度）: 62.445281364055795
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, efficient fine-tuning of large-scale pre-trained models has attracted increasing research interests, where linear probing (LP) as a fundamental module is involved in exploiting the final representations for task-dependent classification. However, most of the existing methods focus on how to effectively introduce a few of learnable parameters, and little work pays attention to the commonly used LP module. In this paper, we propose a novel Moment Probing (MP) method to further explore the potential of LP. Distinguished from LP which builds a linear classification head based on the mean of final features (e.g., word tokens for ViT) or classification tokens, our MP performs a linear classifier on feature distribution, which provides the stronger representation ability by exploiting richer statistical information inherent in features. Specifically, we represent feature distribution by its characteristic function, which is efficiently approximated by using first- and second-order moments of features. Furthermore, we propose a multi-head convolutional cross-covariance (MHC$^3$) to compute second-order moments in an efficient and effective manner. By considering that MP could affect feature learning, we introduce a partially shared module to learn two recalibrating parameters (PSRP) for backbones based on MP, namely MP$_{+}$. Extensive experiments on ten benchmarks using various models show that our MP significantly outperforms LP and is competitive with counterparts at less training cost, while our MP$_{+}$ achieves state-of-the-art performance.
• Abstract（参考訳）: 近年、大規模事前学習モデルの効率的な微調整が研究の興味を惹きつけ、基本モジュールとしての線形探索(LP)がタスク依存分類の最終表現の活用に関与している。 しかし,既存の手法のほとんどは,学習可能なパラメータのいくつかを効果的に導入する方法に重点を置いている。 本稿では,LP の可能性を探るため,新しい Moment Probing (MP) 法を提案する。 最終特徴(例えばvitの単語トークン)や分類トークンの平均に基づいて線形分類ヘッドを構築するlpと区別して,特徴分布の線形分類を行い,特徴に固有のより豊かな統計情報を活用することにより,より強力な表現能力を提供する。 具体的には,特徴関数を用いて特徴分布を表現し,特徴の1次および2次モーメントを用いて効率よく近似する。 さらに, 2次モーメントを効率的かつ効果的に計算するためのマルチヘッド畳み込み共分散(MHC$^3$)を提案する。 また,MPが特徴学習に影響を及ぼす可能性を考慮し,MPをベースとした2つのバックボーン(PSRP)、すなわちMP$_{+}$を学習するための部分共有モジュールを導入する。 様々なモデルを用いた10のベンチマーク実験の結果、MPはLPを著しく上回り、トレーニングコストが低いのに対して、MP$_{+}$は最先端のパフォーマンスを実現していることがわかった。

関連論文リスト

• Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
  マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。 事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。 次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
  論文  参考訳（メタデータ） (2024-08-21T06:48:38Z)
• Few-Shot Medical Image Segmentation with Large Kernel Attention [5.630842216128902]
  本稿では,包括的特徴表現能力を持つ数ショットの医用セグメンテーションモデルを提案する。 本モデルは,2経路特徴抽出器,アテンションモジュール,適応型プロトタイプ予測モジュール,マルチスケール予測融合モジュールの4つの重要なモジュールから構成される。 その結果,本手法が最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-07-27T02:28:30Z)
• Sample Complexity Characterization for Linear Contextual MDPs [67.79455646673762]
  文脈決定プロセス(CMDP)は、遷移カーネルと報酬関数がコンテキスト変数によってインデックス付けされた異なるMDPで時間とともに変化できる強化学習のクラスを記述する。 CMDPは、時間とともに変化する環境で多くの現実世界のアプリケーションをモデル化するための重要なフレームワークとして機能する。 CMDPを2つの線形関数近似モデルで検討する: 文脈変化表現とすべての文脈に対する共通線形重み付きモデルIと、すべての文脈に対する共通表現と文脈変化線形重み付きモデルIIである。
  論文  参考訳（メタデータ） (2024-02-05T03:25:04Z)
• Convolutional autoencoder-based multimodal one-class classification [80.52334952912808]
  1クラス分類は、単一のクラスからのデータを用いた学習のアプローチを指す。 マルチモーダルデータに適した深層学習一クラス分類法を提案する。
  論文  参考訳（メタデータ） (2023-09-25T12:31:18Z)
• MAP: A Model-agnostic Pretraining Framework for Click-through Rate Prediction [39.48740397029264]
  本稿では,多分野分類データに特徴的破損と回復を適用したMAP(Model-Agnostic Pretraining)フレームワークを提案する。 マスク付き特徴予測(RFD)と代替特徴検出(RFD)の2つの実用的なアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2023-08-03T12:55:55Z)
• Provably Efficient Representation Learning with Tractable Planning in Low-Rank POMDP [81.00800920928621]
  部分的に観測可能なマルコフ決定過程(POMDP)における表現学習の研究 まず,不確実性(OFU)に直面した最大推定(MLE)と楽観性を組み合わせた復調性POMDPのアルゴリズムを提案する。 次に、このアルゴリズムをより広範な$gamma$-observable POMDPのクラスで機能させる方法を示す。
  論文  参考訳（メタデータ） (2023-06-21T16:04:03Z)
• Provable General Function Class Representation Learning in Multitask Bandits and MDPs [58.624124220900306]
  マルチタスク表現学習は、サンプル効率を高めるために強化学習において一般的なアプローチである。 本研究では,解析結果を一般関数クラス表現に拡張する。 バンディットと線形MDPの一般関数クラスにおけるマルチタスク表現学習の利点を理論的に検証する。
  論文  参考訳（メタデータ） (2022-05-31T11:36:42Z)
• CAD: Co-Adapting Discriminative Features for Improved Few-Shot Classification [11.894289991529496]
  少数のラベル付きサンプルを与えられた未確認のクラスに適応できるモデルを学ぶことを目的としている。 最近のアプローチでは、特徴抽出器を事前訓練し、その後、エピソードなメタラーニングのための微調整を行う。 本研究は, 複数ショットの分類において, 横断的および再重み付き識別機能を実現するための戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-25T06:14:51Z)
• Beyond Simple Meta-Learning: Multi-Purpose Models for Multi-Domain, Active and Continual Few-Shot Learning [41.07029317930986]
  低ラベル方式で動作するモデルの分散感応クラスを提案する。 最初の手法であるSimple CNAPSは階層的に正規化されたマハラノビス距離に基づく分類器を用いる。 我々はさらに、このアプローチをトランスダクティブ学習環境に拡張し、トランスダクティブCNAPSを提案する。
  論文  参考訳（メタデータ） (2022-01-13T18:59:02Z)
• Towards Better Object Detection in Scale Variation with Adaptive Feature Selection [3.5352273012717044]
  チャネル次元の多レベル表現を融合する方法を自動学習する新しい適応的特徴選択モジュール(AFSM)を提案する。 これは、特徴ピラミッド構造を持つ検出器の性能を著しく向上させる。 クラス不均衡問題に対処するために,クラス対応サンプリング機構(CASM)を提案する。
  論文  参考訳（メタデータ） (2020-12-06T13:41:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。