Fugu-MT 論文翻訳(概要): Parameter-Efficient Language Model Tuning with Active Learning in Low-Resource Settings

論文の概要: Parameter-Efficient Language Model Tuning with Active Learning in Low-Resource Settings

arxiv url: http://arxiv.org/abs/2305.14576v2
Date: Mon, 23 Oct 2023 13:58:26 GMT
ステータス: 処理完了
システム内更新日: 2023-10-25 11:44:59.240313
Title: Parameter-Efficient Language Model Tuning with Active Learning in Low-Resource Settings
Title（参考訳）: 低リソース環境下でのアクティブラーニングによるパラメータ効率の良い言語モデルチューニング
Authors: Josip Juki\'c, Jan \v{S}najder
Abstract要約: テキスト分類タスクの低リソース設定におけるアクティブラーニング(AL)とパラメータ効率細調整(PEFT)の相互作用について検討した。本研究は,低リソース環境下でのFFTよりもPEFTの方が優れていることを実証し,この利点がAL設定で持続することを示した。本研究は、低リソース環境におけるALとPEFTの相乗的ポテンシャルを強調し、効率的かつ効果的な微調整の進歩の道を開くものである。
参考スコア（独自算出の注目度）: 3.490038106567192
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Pre-trained language models (PLMs) have ignited a surge in demand for effective fine-tuning techniques, particularly in low-resource domains and languages. Active learning (AL), a set of algorithms designed to decrease labeling costs by minimizing label complexity, has shown promise in confronting the labeling bottleneck. In parallel, adapter modules designed for parameter-efficient fine-tuning (PEFT) have demonstrated notable potential in low-resource settings. However, the interplay between AL and adapter-based PEFT remains unexplored. We present an empirical study of PEFT behavior with AL in low-resource settings for text classification tasks. Our findings affirm the superiority of PEFT over full-fine tuning (FFT) in low-resource settings and demonstrate that this advantage persists in AL setups. We further examine the properties of PEFT and FFT through the lens of forgetting dynamics and instance-level representations, where we find that PEFT yields more stable representations of early and middle layers compared to FFT. Our research underscores the synergistic potential of AL and PEFT in low-resource settings, paving the way for advancements in efficient and effective fine-tuning.
Abstract（参考訳）: プレトレーニング言語モデル(PLM)は、特に低リソースのドメインや言語において、効果的な微調整技術に対する需要が急増している。ラベルの複雑さを最小限に抑えるために設計されたアルゴリズムセットであるactive learning (al)は、ラベルのボトルネックに直面する可能性を示している。パラメタ効率ファインチューニング(PEFT)のために設計されたアダプタモジュールは、低リソース設定において顕著な可能性を示している。しかし、alとアダプタベースのpeftの相互作用は未定である。テキスト分類タスクの低リソース設定におけるALを用いたPEFT動作の実証的研究について述べる。本研究は,低リソース環境下でのFFTよりもPEFTの方が優れていることを確認し,この利点がAL設定で持続することを示した。さらに,peft と fft の特性を,記憶力学やインスタンスレベル表現のレンズを通して検討し,peft が初期層と中期層のより安定な表現をもたらすことを見出した。本研究は、低リソース環境におけるALとPEFTの相乗的ポテンシャルを強調し、効率的かつ効果的な微調整の進歩の道を開くものである。

関連論文リスト

A Comprehensive Evaluation of Parameter-Efficient Fine-Tuning on Method-Level Code Smell Detection [11.9757082688031]
既存の検出手法は、コードまたは機械学習(ML)とディープラーニング(DL)技術に依存しており、しばしば不満足なパフォーマンスのような制限に直面している。本研究では,2種類のメソッドレベルのコードの臭いを検出するために,小・大規模言語モデルを用いたPEFT手法の評価を行った。その結果,PEFT法はGPUメモリの消費を減らしながら,フル微調整よりも同等あるいは優れた性能が得られることがわかった。
論文参考訳（メタデータ） (2024-12-18T12:48:36Z)
Refining Salience-Aware Sparse Fine-Tuning Strategies for Language Models [14.68920095399595]
SPEFT(Sparsity-based PEFT)は、モデルの重み行列にトレーニング可能なスパース適応を導入する。我々は、ゼロコストNASプロキシにインスパイアされたSPEFTのサリエンス指標を初めて体系的に評価した。我々の研究は、PEFTに複雑性が不可欠であるという考えに挑戦する。
論文参考訳（メタデータ） (2024-12-18T04:14:35Z)
ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文参考訳（メタデータ） (2024-12-11T12:31:30Z)
LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。本手法は,比較性能を維持しつつパラメータ数を削減できる。
論文参考訳（メタデータ） (2024-10-05T06:59:50Z)
BIPEFT: Budget-Guided Iterative Search for Parameter Efficient Fine-Tuning of Large Pretrained Language Models [63.52035708182815]
自動PEFT(BIPEFT)のための新しいBudget-Guided Iterative Search戦略を提案する。 BIPEFTはバイナリモジュールとランク次元検索空間をアンタングルするために,新たな反復探索方式を採用している。公開ベンチマークの大規模な実験は、パラメータ予算の低い下流タスクにおいて、BIPEFTの優れた性能を示す。
論文参考訳（メタデータ） (2024-10-04T18:50:46Z)
Exploring Parameter-Efficient Fine-Tuning of Large Language Model on Automated Program Repair [5.6679735367798925]
事前学習・微調整」パラダイムにより、大規模言語モデル(LLM)が自動プログラム修復(APR)の修正能力を向上できる我々はまず,このギャップを埋めるために,インストラクションデータセットであるAPR-INSTRUCTIONを作成するために,プロンプトエンジニアリングを採用している。最高の微調整モデルでは、最先端のLLMベースのAPR技術よりも58%多くのバグが修正されている。
論文参考訳（メタデータ） (2024-06-09T04:42:19Z)
Empirical Studies of Parameter Efficient Methods for Large Language Models of Code and Knowledge Transfer to R [1.9799527196428242]
コード要約と生成のための大規模言語モデル上でPEFT法, LoRA, Compacter, IA3を評価する。我々の実験によると、LoRAはすべての設定でCompacterとIA3を一貫して上回っている。我々の研究は、Rを含む見知らぬ言語のためのコード知能タスクの開発における将来の研究を導くことができる。
論文参考訳（メタデータ） (2024-03-16T03:12:45Z)
LoRETTA: Low-Rank Economic Tensor-Train Adaptation for Ultra-Low-Parameter Fine-Tuning of Large Language Models [20.5908375260123]
モデル性能を維持しながら計算効率のよい微調整を実現するために,様々なパラメータ効率の微調整技術が提案されている。テンソル-トレイン分解によりトレーニング可能なパラメータを大幅に削減するフレームワークであるLoRETTAを提案する。 LoRETTAは、LLaMA-2-7Bモデルで最大100倍のパラメータで、最も広く使われているPEFT法よりも同等または優れた性能を実現している。
論文参考訳（メタデータ） (2024-02-18T01:20:00Z)
From PEFT to DEFT: Parameter Efficient Finetuning for Reducing Activation Density in Transformers [52.199303258423306]
本稿では,事前学習したモデルにおいて,高い活性化空間性を促進する新しい密度損失を提案する。提案手法である textbfDEFT は,RoBERTa$_mathrmLarge$ で textbf44.94% ,Flan-T5$_mathrmXXL$ で textbf53.19% (エンコーダ密度) と textbf90.60% (デコーダ密度) で常に活性化密度を減少させることができる。
論文参考訳（メタデータ） (2024-02-02T21:25:46Z)
Strong Baselines for Parameter Efficient Few-Shot Fine-tuning [50.83426196335385]
FSC (Few-shot Classification) は、事前訓練(メタトレーニング)フェーズの後にクラス毎にいくつかの例を与えられた新しいクラスを学習する。近年の研究では、新しいテストクラスで事前訓練された視覚変換器(ViT)を微調整することが、FSCにとって強力なアプローチであることが示されている。しかし、微調整のViTは、時間、計算、ストレージに費用がかかる。これにより、Transformerのパラメータのごく一部だけを微調整するPEFT法が考案された。
論文参考訳（メタデータ） (2023-04-04T16:14:39Z)
AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning [77.61565726647784]
ニューラルアーキテクチャ検索の進歩により,自動PEFT設定選択のためのAutoPEFTを提案する。本稿では,AutoPEFTが検出した構成が既存のPEFT法よりも大幅に優れており,FFTと同等かそれ以上であることを示す。
論文参考訳（メタデータ） (2023-01-28T08:51:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。