論文の概要: KronA: Parameter Efficient Tuning with Kronecker Adapter

• arxiv url: http://arxiv.org/abs/2212.10650v1
• Date: Tue, 20 Dec 2022 20:56:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-22 14:38:46.534228
• Title: KronA: Parameter Efficient Tuning with Kronecker Adapter
• Title（参考訳）: KronA: Kronecker Adapterを用いたパラメータの効率的なチューニング
• Authors: Ali Edalati, Marzieh Tahaei, Ivan Kobyzev, Vahid Partovi Nia, James J. Clark, Mehdi Rezagholizadeh
• Abstract要約: 我々は、Kronecker製品ベースのアダプタモジュールであるKronAを導入し、TransformerベースのPLMを効率的に微調整する。 提案手法をGLUEベンチマークに応用し, Kronecker をベースとしたモジュールを組み込むことで, 最先端の PET 手法より優れていることを示す。
• 参考スコア（独自算出の注目度）: 17.175408603709712
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning a Pre-trained Language Model (PLM) on a specific downstream task has been a well-known paradigm in Natural Language Processing. However, with the ever-growing size of PLMs, training the entire model on several downstream tasks becomes very expensive and resource-hungry. Recently, different Parameter Efficient Tuning (PET) techniques are proposed to improve the efficiency of fine-tuning PLMs. One popular category of PET methods is the low-rank adaptation methods which insert learnable truncated SVD modules into the original model either sequentially or in parallel. However, low-rank decomposition suffers from limited representation power. In this work, we address this problem using the Kronecker product instead of the low-rank representation. We introduce KronA, a Kronecker product-based adapter module for efficient fine-tuning of Transformer-based PLMs. We apply the proposed methods for fine-tuning T5 on the GLUE benchmark to show that incorporating the Kronecker-based modules can outperform state-of-the-art PET methods.
• Abstract（参考訳）: 特定の下流タスクにおける事前学習言語モデル(PLM)の微調整は自然言語処理においてよく知られたパラダイムである。 しかし、PLMの規模が拡大するにつれて、いくつかの下流タスクでモデル全体をトレーニングする作業は非常に高価でリソース不足になる。 近年, 微調整PLMの効率を向上させるために, パラメータ効率向上技術が提案されている。 PET法の一般的なカテゴリの1つは、学習可能なSVDモジュールを逐次または並列にオリジナルのモデルに挿入する低ランク適応法である。 しかし、低位分解は限定的な表現力に苦しむ。 本研究では,この問題を低ランク表現の代わりにクロネッカー積を用いて解決する。 我々は、変圧器ベースのplmを効率的に微調整するためのクロネッカー製品ベースのアダプタモジュールであるkronaを紹介する。 提案手法をGLUEベンチマークに応用し, Kronecker をベースとしたモジュールを組み込むことで, 最先端の PET 手法より優れていることを示す。

関連論文リスト

• Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models [73.88009808326387]
  生成モデルのための新しいスペクトル対応適応フレームワークを提案する。 本手法は,事前学習した重みの特異値とその基底ベクトルを調節する。 本稿では,計算効率と表現能力のバランスをとるスペクトルオーソ分解適応(SODA)を提案する。
  論文  参考訳（メタデータ） (2024-05-31T17:43:35Z)
• SPAFIT: Stratified Progressive Adaptation Fine-tuning for Pre-trained Large Language Models [1.2263658159556594]
  フル微調整は、Transformerベースのトレーニング済みの大規模言語モデルを特定の下流タスクに適応するための一般的なアプローチである。 本研究では,多種多様な言語知識の局所化に基づくSPAFIT(Stratified Progressive Adaptation Fine-tuning)を提案する。 GLUEベンチマークの9つのタスクを用いて実験を行い,提案手法が他のPEFT法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-30T21:07:32Z)
• Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
  動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。 DyTは既存のPEFT法と比較すると、同等またはそれ以上の性能を実現している。
  論文  参考訳（メタデータ） (2024-03-18T14:05:52Z)
• Parameter and Computation Efficient Transfer Learning for Vision-Language Pre-trained Models [79.34513906324727]
  本稿では,視覚言語事前学習モデルのためのパラメータと効率的な伝達学習(PCETL)を提案する。 そこで本研究では,新しい動的アーキテクチャスキップ(DAS)アプローチを効果的PCETLに適用する。
  論文  参考訳（メタデータ） (2023-09-04T09:34:33Z)
• Exploring the Impact of Model Scaling on Parameter-Efficient Tuning [100.61202305296275]
  大規模事前学習言語モデル(PLM)を効果的に駆動できるスケーリング効率チューニング(PET)法 小型PLMでは、PET法には通常顕著な性能差がある。 本稿では,Arbitrary PET (APET) 法という,より柔軟なPET法を提案する。
  論文  参考訳（メタデータ） (2023-06-04T10:10:54Z)
• Ahead-of-Time P-Tuning [0.2538209532048867]
  Ahead-of-Time (AoT) P-Tuningは、事前学習言語モデル(LM)のためのパラメータ効率の良い微調整法である 我々は,RoBERTaモデルとDeBERTaモデルを用いて,GLUEおよびSuperGLUEベンチマークデータセットのAoT P-Tuningを評価する。 提案手法は, 1 つのバックボーン LM を用いてマルチタスクの推論を可能にする。
  論文  参考訳（メタデータ） (2023-05-18T09:24:53Z)
• PVP: Pre-trained Visual Parameter-Efficient Tuning [29.05396521860764]
  大規模事前学習型トランスフォーマーは、様々なコンピュータビジョンタスクにおいて顕著な成功を収めている。 計算とストレージのコストが高いため、これらのモデルを下流タスクのために完全に微調整することは依然として非常に困難である。 事前学習型ビジュアルを提案する。 効率的な(PVP)チューニングフレームワーク - 最初にパラメータ効率のチューニングモジュールを事前トレーニングし、次に事前トレーニングされたモジュールを活用する。
  論文  参考訳（メタデータ） (2023-04-26T15:55:29Z)
• CHAPTER: Exploiting Convolutional Neural Network Adapters for Self-supervised Speech Models [62.60723685118747]
  自己教師付き学習(SSL)は、ラベルのないデータから表現を学習するための強力な技術である。 特徴抽出器にCNNアダプタを適用し,SSL音声モデルに特化して設計された効率的なチューニング手法を提案する。 特徴抽出器にCNNを追加することで、感情や話者のタスクへの適応が促進されることを実証的に見出した。
  論文  参考訳（メタデータ） (2022-12-01T08:50:12Z)
• Towards Robust Low-Resource Fine-Tuning with Multi-View Compressed Representations [51.75960511842552]
  事前訓練された言語モデル(PLM)の微調整は、低リソースのシナリオで過度に適合する傾向がある。 オーバーフィッティングを減らすために,PLMの隠れ表現を利用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-11-16T09:39:29Z)
• Parameter-Efficient Tuning on Layer Normalization for Pre-trained Language Models [1.7185989606499712]
  まず、0.03%のパラメータしか持たないLayer Normalizationモジュールの利得とバイアス項を調整することでLNチューニングを提案する。 本研究では,LN-tuningと従来のLN-tuningを組み合わせた統一的なフレームワークについて検討し,(1)プレフィックス-tuningとMHAを用いたアダプタベースの手法を組み合わせた統一的なフレームワークがSOTA性能を実現していることを示す。
  論文  参考訳（メタデータ） (2022-11-16T05:31:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。