Fugu-MT 論文翻訳(概要): General Framework for Self-Supervised Model Priming for Parameter-Efficient Fine-tuning

論文の概要: General Framework for Self-Supervised Model Priming for Parameter-Efficient Fine-tuning

arxiv url: http://arxiv.org/abs/2212.01032v1
Date: Fri, 2 Dec 2022 08:56:53 GMT
ステータス: 処理完了
システム内更新日: 2022-12-05 15:46:54.433290
Title: General Framework for Self-Supervised Model Priming for Parameter-Efficient Fine-tuning
Title（参考訳）: パラメータ効率の良い微調整のための自己教師付きモデルプライミングの汎用フレームワーク
Authors: Shih-Cheng Huang, Shih-Heng Wang, Min-Han Shih, Saurav Sahay, Hung-yi Lee
Abstract要約: 本稿では,パラメータ効率の高い手法の少数ショット適応とクロスドメイン一般化能力を高めるための汎用フレームワークを提案する。本フレームワークでは,パラメータ効率向上のための自己教師型モデルを用いて,下流の諸課題に迅速に適応する。我々は160種類のNLPタスクを含む数ショットのクロスドメインベンチマークで実験を行った。
参考スコア（独自算出の注目度）: 54.47460770634613
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Parameter-efficient methods (like Prompt or Adapters) for adapting pre-trained language models to downstream tasks have been popular recently. However, hindrances still prevent these methods from reaching their full potential. For example, two significant challenges are few-shot adaptation and cross-task generalization ability. To tackle these issues, we propose a general framework to enhance the few-shot adaptation and cross-domain generalization ability of parameter-efficient methods. In our framework, we prime the self-supervised model for parameter-efficient methods to rapidly adapt to various downstream few-shot tasks. To evaluate the authentic generalization ability of these parameter-efficient methods, we conduct experiments on a few-shot cross-domain benchmark containing 160 diverse NLP tasks. The experiment result reveals that priming by tuning PLM only with extra training tasks leads to the best performance. Also, we perform a comprehensive analysis of various parameter-efficient methods under few-shot cross-domain scenarios.
Abstract（参考訳）: 最近、学習済み言語モデルを下流タスクに適応させるためのパラメータ効率の高いメソッド(プロンプトやアダプタなど)が人気である。しかし、障害はこれらの方法が完全な可能性に達するのを防ぐ。例えば、2つの重要な課題は、少数ショット適応とクロスタスク一般化能力である。これらの課題に対処するために,パラメータ効率の高い手法の少数ショット適応とクロスドメイン一般化能力を高めるための汎用フレームワークを提案する。本フレームワークでは,パラメータ効率向上のための自己教師型モデルを用いて,下流の諸課題に迅速に適応する。パラメータ効率の高い手法の真の一般化能力を評価するために,160種類のNLPタスクを含む数ショットのクロスドメインベンチマーク実験を行った。実験結果から, PLM の調整を余分なトレーニングタスクのみで行うと, 最高の性能が得られることがわかった。また,数ショットのクロスドメインシナリオ下で,パラメータ効率の異なる手法を包括的に分析する。

関連論文リスト

TapWeight: Reweighting Pretraining Objectives for Task-Adaptive Pretraining [34.93043212352875]
TapWeightはタスク適応型事前学習フレームワークで、各事前学習対象の最適な重要性を自動的に決定する。我々はTapWeightを分子特性予測と自然言語理解タスクの両方に適用し,ベースライン法をはるかに上回った。
論文参考訳（メタデータ） (2024-10-13T20:56:13Z)
Pre-training Everywhere: Parameter-Efficient Fine-Tuning for Medical Image Analysis via Target Parameter Pre-training [17.433808197776003]
ターゲット事前学習(TPP)に基づく簡易かつ効果的な微調整フレームワークを提案する。 TPPはPEFTの前にこれらのターゲットパラメータを事前訓練するための追加段階を含む。 TPPは既存のPEFT手法に容易に統合でき、性能が大幅に向上する。
論文参考訳（メタデータ） (2024-08-27T12:48:46Z)
See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition [56.87609859444084]
パラメータ効率の細かいチューニング(PEFT)は、パラメータの選択したサブセットを最適化し、残りを固定し、計算とストレージのオーバーヘッドを大幅に削減することに焦点を当てている。分解の観点からそれらを分離することで、すべてのアプローチを統一する第一歩を踏み出します。本稿では,PEFT技術の性能向上を目的とした,単純かつ効果的なフレームワークとともに,新しい2つのPEFT手法を提案する。
論文参考訳（メタデータ） (2024-07-07T15:44:42Z)
Heuristic-enhanced Candidates Selection strategy for GPTs tackle Few-Shot Aspect-Based Sentiment Analysis [1.5020330976600738]
本論文は、ヒューリスティック・エンハンスド・候補選択戦略を設計し、それに基づくオール・イン・ワン(AiO)モデルを提案する。このモデルは2段階で動作し、PLMの精度と一般化の能力を同時に調節する。実験の結果,提案手法は複数のサブタスクに適応し,GPTを直接利用する手法よりも優れていた。
論文参考訳（メタデータ） (2024-04-09T07:02:14Z)
Parameter-Efficient Fine-Tuning Methods for Pretrained Language Models: A Critical Review and Assessment [12.674032145667763]
本稿では,事前学習言語モデル(PLM)のためのPEFT(Efficient Fine-Tuning)手法の総合的,体系的なレビューを行う。 PEFTは、完全な微調整に匹敵する性能を保ちながら、微調整パラメータとメモリ使用量を削減し、効果的なソリューションを提供する。パラメータ効率とメモリ効率の効率性をよりよく理解するために,いくつかの代表的PEFT法を用いて実験を行った。
論文参考訳（メタデータ） (2023-12-19T13:31:24Z)
Strong Baselines for Parameter Efficient Few-Shot Fine-tuning [50.83426196335385]
FSC (Few-shot Classification) は、事前訓練(メタトレーニング)フェーズの後にクラス毎にいくつかの例を与えられた新しいクラスを学習する。近年の研究では、新しいテストクラスで事前訓練された視覚変換器(ViT)を微調整することが、FSCにとって強力なアプローチであることが示されている。しかし、微調整のViTは、時間、計算、ストレージに費用がかかる。これにより、Transformerのパラメータのごく一部だけを微調整するPEFT法が考案された。
論文参考訳（メタデータ） (2023-04-04T16:14:39Z)
Efficient Meta Reinforcement Learning for Preference-based Fast Adaptation [17.165083095799712]
本研究では,ループ内強化学習の文脈における少数ショット適応の問題について検討する。そこで我々は,嗜好に基づくフィードバックによる迅速なポリシー適応を実現するメタRLアルゴリズムを開発した。
論文参考訳（メタデータ） (2022-11-20T03:55:09Z)
SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark for Semantic and Generative Capabilities [76.97949110580703]
各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
論文参考訳（メタデータ） (2022-03-14T04:26:40Z)
UniPELT: A Unified Framework for Parameter-Efficient Language Model Tuning [64.638804236566]
本稿では,異なるPELTメソッドをサブモジュールとして組み込んだ統一フレームワークUniPELTを提案する。注目すべきは、GLUEベンチマークにおいて、UniPELTは、異なる設定で微調整を組み込んだり、性能を上回る、最高のPELTメソッドと比較して、一貫して13パーセントのゲインを達成していることだ。
論文参考訳（メタデータ） (2021-10-14T17:40:08Z)
Few-shot Quality-Diversity Optimization [50.337225556491774]
品質多様性(QD)の最適化は、強化学習における知覚的最小値とスパース報酬を扱う上で効果的なツールであることが示されている。本稿では,タスク分布の例から,パラメータ空間の最適化によって得られる経路の情報を利用して,未知の環境でQD手法を初期化する場合,数発の適応が可能であることを示す。ロボット操作とナビゲーションベンチマークを用いて、疎密な報酬設定と密集した報酬設定の両方で実施された実験は、これらの環境でのQD最適化に必要な世代数を著しく削減することを示している。
論文参考訳（メタデータ） (2021-09-14T17:12:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。