Fugu-MT 論文翻訳(概要): Parameter-Efficient Language Model Tuning with Active Learning in Low-Resource Settings

論文の概要: Parameter-Efficient Language Model Tuning with Active Learning in Low-Resource Settings

arxiv url: http://arxiv.org/abs/2305.14576v2
Date: Mon, 23 Oct 2023 13:58:26 GMT
ステータス: 処理完了
システム内更新日: 2023-10-25 11:44:59.240313
Title: Parameter-Efficient Language Model Tuning with Active Learning in Low-Resource Settings
Title（参考訳）: 低リソース環境下でのアクティブラーニングによるパラメータ効率の良い言語モデルチューニング
Authors: Josip Juki\'c, Jan \v{S}najder
Abstract要約: テキスト分類タスクの低リソース設定におけるアクティブラーニング(AL)とパラメータ効率細調整(PEFT)の相互作用について検討した。本研究は,低リソース環境下でのFFTよりもPEFTの方が優れていることを実証し,この利点がAL設定で持続することを示した。本研究は、低リソース環境におけるALとPEFTの相乗的ポテンシャルを強調し、効率的かつ効果的な微調整の進歩の道を開くものである。
参考スコア（独自算出の注目度）: 3.490038106567192
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Pre-trained language models (PLMs) have ignited a surge in demand for effective fine-tuning techniques, particularly in low-resource domains and languages. Active learning (AL), a set of algorithms designed to decrease labeling costs by minimizing label complexity, has shown promise in confronting the labeling bottleneck. In parallel, adapter modules designed for parameter-efficient fine-tuning (PEFT) have demonstrated notable potential in low-resource settings. However, the interplay between AL and adapter-based PEFT remains unexplored. We present an empirical study of PEFT behavior with AL in low-resource settings for text classification tasks. Our findings affirm the superiority of PEFT over full-fine tuning (FFT) in low-resource settings and demonstrate that this advantage persists in AL setups. We further examine the properties of PEFT and FFT through the lens of forgetting dynamics and instance-level representations, where we find that PEFT yields more stable representations of early and middle layers compared to FFT. Our research underscores the synergistic potential of AL and PEFT in low-resource settings, paving the way for advancements in efficient and effective fine-tuning.
Abstract（参考訳）: プレトレーニング言語モデル(PLM)は、特に低リソースのドメインや言語において、効果的な微調整技術に対する需要が急増している。ラベルの複雑さを最小限に抑えるために設計されたアルゴリズムセットであるactive learning (al)は、ラベルのボトルネックに直面する可能性を示している。パラメタ効率ファインチューニング(PEFT)のために設計されたアダプタモジュールは、低リソース設定において顕著な可能性を示している。しかし、alとアダプタベースのpeftの相互作用は未定である。テキスト分類タスクの低リソース設定におけるALを用いたPEFT動作の実証的研究について述べる。本研究は,低リソース環境下でのFFTよりもPEFTの方が優れていることを確認し,この利点がAL設定で持続することを示した。さらに,peft と fft の特性を,記憶力学やインスタンスレベル表現のレンズを通して検討し,peft が初期層と中期層のより安定な表現をもたらすことを見出した。本研究は、低リソース環境におけるALとPEFTの相乗的ポテンシャルを強調し、効率的かつ効果的な微調整の進歩の道を開くものである。

関連論文リスト

Layer-wise Importance Matters: Less Memory for Better Performance in Parameter-efficient Fine-tuning of Large Language Models [19.163639128631534]
Importance-Aware Sparse Tuning (IST) は、様々なPEFTメソッドと互換性があり、層ごとに動作する。 ISTはPEFTモジュールで選択したレイヤを動的に更新し、メモリ要求を減らした。
論文参考訳（メタデータ） (2024-10-15T16:53:26Z)
BIPEFT: Budget-Guided Iterative Search for Parameter Efficient Fine-Tuning of Large Pretrained Language Models [63.52035708182815]
自動PEFT(BIPEFT)のための新しいBudget-Guided Iterative Search戦略を提案する。 BIPEFTはバイナリモジュールとランク次元検索空間をアンタングルするために,新たな反復探索方式を採用している。公開ベンチマークの大規模な実験は、パラメータ予算の低い下流タスクにおいて、BIPEFTの優れた性能を示す。
論文参考訳（メタデータ） (2024-10-04T18:50:46Z)
Exploring Parameter-Efficient Fine-Tuning of Large Language Model on Automated Program Repair [5.6679735367798925]
事前学習・微調整」パラダイムにより、大規模言語モデル(LLM)が自動プログラム修復(APR)の修正能力を向上できる我々はまず,このギャップを埋めるために,インストラクションデータセットであるAPR-INSTRUCTIONを作成するために,プロンプトエンジニアリングを採用している。最高の微調整モデルでは、最先端のLLMベースのAPR技術よりも58%多くのバグが修正されている。
論文参考訳（メタデータ） (2024-06-09T04:42:19Z)
Unlocking Parameter-Efficient Fine-Tuning for Low-Resource Language Translation [3.558269947618352]
SacreBLEUスコアを用いて,合計15のアーキテクチャを用いた8 PEFT法の性能評価を行った。その結果、6つのPEFTアーキテクチャがドメイン内テストとドメイン外テストの両方のベースラインを上回っていることがわかった。 Houlsby+Inversionアダプタは、PEFT法の有効性を証明し、全体として最高の性能を持つ。
論文参考訳（メタデータ） (2024-04-05T16:42:28Z)
LoRETTA: Low-Rank Economic Tensor-Train Adaptation for Ultra-Low-Parameter Fine-Tuning of Large Language Models [20.5908375260123]
モデル性能を維持しながら計算効率のよい微調整を実現するために,様々なパラメータ効率の微調整技術が提案されている。テンソル-トレイン分解によりトレーニング可能なパラメータを大幅に削減するフレームワークであるLoRETTAを提案する。 LoRETTAは、LLaMA-2-7Bモデルで最大100倍のパラメータで、最も広く使われているPEFT法よりも同等または優れた性能を実現している。
論文参考訳（メタデータ） (2024-02-18T01:20:00Z)
Delving into Parameter-Efficient Fine-Tuning in Code Change Learning: An Empirical Study [10.052053069122652]
PEFTは、いくつかのコード理解タスクにおいて、優れた性能と計算オーバーヘッドを実証している。トレーニング済みの汎用知識を下流タスクに活用する。 PEFTがFMFTよりもコード変更関連タスクのタスク特化に優れているかどうかは不明だ。
論文参考訳（メタデータ） (2024-02-09T08:40:41Z)
From PEFT to DEFT: Parameter Efficient Finetuning for Reducing Activation Density in Transformers [52.199303258423306]
本稿では,事前学習したモデルにおいて,高い活性化空間性を促進する新しい密度損失を提案する。提案手法である textbfDEFT は,RoBERTa$_mathrmLarge$ で textbf44.94% ,Flan-T5$_mathrmXXL$ で textbf53.19% (エンコーダ密度) と textbf90.60% (デコーダ密度) で常に活性化密度を減少させることができる。
論文参考訳（メタデータ） (2024-02-02T21:25:46Z)
Parameter and Computation Efficient Transfer Learning for Vision-Language Pre-trained Models [79.34513906324727]
本稿では,視覚言語事前学習モデルのためのパラメータと効率的な伝達学習(PCETL)を提案する。そこで本研究では,新しい動的アーキテクチャスキップ(DAS)アプローチを効果的PCETLに適用する。
論文参考訳（メタデータ） (2023-09-04T09:34:33Z)
Layer-wise Feedback Propagation [53.00944147633484]
本稿では、ニューラルネットワークのような予測器のための新しいトレーニング手法であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決に対するそれぞれの貢献に基づいて、個々のコネクションに報酬を割り当てる。各種モデルやデータセットの勾配降下に匹敵する性能を達成できることの有効性を実証する。
論文参考訳（メタデータ） (2023-08-23T10:48:28Z)
Strong Baselines for Parameter Efficient Few-Shot Fine-tuning [50.83426196335385]
FSC (Few-shot Classification) は、事前訓練(メタトレーニング)フェーズの後にクラス毎にいくつかの例を与えられた新しいクラスを学習する。近年の研究では、新しいテストクラスで事前訓練された視覚変換器(ViT)を微調整することが、FSCにとって強力なアプローチであることが示されている。しかし、微調整のViTは、時間、計算、ストレージに費用がかかる。これにより、Transformerのパラメータのごく一部だけを微調整するPEFT法が考案された。
論文参考訳（メタデータ） (2023-04-04T16:14:39Z)
AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning [77.61565726647784]
ニューラルアーキテクチャ検索の進歩により,自動PEFT設定選択のためのAutoPEFTを提案する。本稿では,AutoPEFTが検出した構成が既存のPEFT法よりも大幅に優れており,FFTと同等かそれ以上であることを示す。
論文参考訳（メタデータ） (2023-01-28T08:51:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。