論文の概要: Personalized LoRA for Human-Centered Text Understanding
- arxiv url: http://arxiv.org/abs/2403.06208v1
- Date: Sun, 10 Mar 2024 13:04:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 07:05:35.758808
- Title: Personalized LoRA for Human-Centered Text Understanding
- Title(参考訳): 人間中心テキスト理解のためのパーソナライズドローラ
- Authors: You Zhang, Jin Wang, Liang-Chih Yu, Dan Xu, Xuejie Zhang
- Abstract要約: HCTUタスクのためのプラグイン・アンド・プレイ・フレームワークを備えたパーソナライズされたLoRA(PLoRA)を紹介する。
PLORAは、PLMに効果的で、パラメータ効率が高く、動的にデプロイする。
4つのベンチマークデータセットを用いて行った実験により,提案手法は実時間/実時間/ゼロショットの学習シナリオにおいて,既存の手法よりも優れていることが示された。
- 参考スコア(独自算出の注目度): 15.704545145736676
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Effectively and efficiently adapting a pre-trained language model (PLM) for
human-centered text understanding (HCTU) is challenging since user tokens are
million-level in most personalized applications and do not have concrete
explicit semantics. A standard and parameter-efficient approach (e.g., LoRA)
necessitates memorizing numerous suits of adapters for each user. In this work,
we introduce a personalized LoRA (PLoRA) with a plug-and-play (PnP) framework
for the HCTU task. PLoRA is effective, parameter-efficient, and dynamically
deploying in PLMs. Moreover, a personalized dropout and a mutual information
maximizing strategies are adopted and hence the proposed PLoRA can be well
adapted to few/zero-shot learning scenarios for the cold-start issue.
Experiments conducted on four benchmark datasets show that the proposed method
outperforms existing methods in full/few/zero-shot learning scenarios for the
HCTU task, even though it has fewer trainable parameters. For reproducibility,
the code for this paper is available at: https://github.com/yoyo-yun/PLoRA.
- Abstract(参考訳): ユーザトークンは、ほとんどのパーソナライズされたアプリケーションにおいて百万レベルであり、具体的な意味論を持たないため、人間中心のテキスト理解(HCTU)に事前訓練された言語モデル(PLM)を効果的かつ効率的に適用することは困難である。
標準およびパラメータ効率のアプローチ(例えばLoRA)では、ユーザ毎に多数のアダプタのスーツを記憶する必要がある。
本研究では,HCTUタスクのためのプラグイン・アンド・プレイ(PnP)フレームワークを備えたパーソナライズされたLoRA(PLoRA)を提案する。
ploraは効果的でパラメータ効率が高く、plmに動的にデプロイできる。
さらに、パーソナライズされたドロップアウトと相互情報の最大化戦略を採用し、提案したPLoRAは、コールドスタート問題に対する少数/ゼロショットの学習シナリオに適応することができる。
4つのベンチマークデータセットで行った実験では、トレーニング可能なパラメータが少ないにもかかわらず、提案手法はHCTUタスクのフル/フェー/ゼロショット学習シナリオにおいて、既存の手法よりも優れていた。
再現性のため、この論文のコードはhttps://github.com/yoyo-yun/plora.com/で入手できる。
関連論文リスト
- Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning [74.58403497789422]
低ランク適応 (LoRA) は、適応過程が本質的に低次元であるという考えに基づいている。
我々は、より高階を維持しながらトレーニング可能なパラメータを少なくするミニアンサンブルな低ランクアダプタMELoRAを提案する。
実験結果から, 自然言語理解タスクの8倍のトレーニングパラメータ, 続くタスクの36倍のトレーニングパラメータが得られた。
論文 参考訳(メタデータ) (2024-02-27T07:14:12Z) - Relative Preference Optimization: Enhancing LLM Alignment through
Contrasting Responses across Identical and Diverse Prompts [100.76940486636121]
Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。
RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
論文で提示された結果を再現するために必要なPyTorchコードは、GitHubで公開されている。
論文 参考訳(メタデータ) (2024-02-12T22:47:57Z) - PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。
8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
論文 参考訳(メタデータ) (2024-01-20T20:25:17Z) - Efficient slot labelling [0.0]
スロットラベリングは対話システムにおいて不可欠な要素であり、ユーザのターン毎に重要な引数を見つけることを目的としている。
一般的なアプローチはBERTやRoBERTaのような大規模な事前学習言語モデル(PLM)であるが、高い計算要求や事前学習データへの依存といった課題に直面している。
そこで本研究では,従来のPLM手法と同等以上の性能を示す軽量な手法を提案する。
論文 参考訳(メタデータ) (2024-01-17T17:08:36Z) - Chain of LoRA: Efficient Fine-tuning of Language Models via Residual
Learning [31.036465632204663]
本稿では,Frank-Wolfeアルゴリズムにインスパイアされた反復最適化フレームワークであるLoRAのChainを紹介する。
計算コストやメモリコストを増大させることなく,COLA が LoRA を一貫して上回ることを示す。
論文 参考訳(メタデータ) (2024-01-08T14:26:49Z) - Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。
提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。
実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-11-20T11:56:25Z) - SiRA: Sparse Mixture of Low Rank Adaptation [63.926732717719354]
我々は「スパース」計算を活用することの重要性について検討し、低ランクのスパース混合SiRAを提案する。
具体的には、各専門家が処理できるトークンの最大数を制限するキャパシティ制限付きの、トップ$k$のエキスパートルーティングを強制する。
論文 参考訳(メタデータ) (2023-11-15T18:15:37Z) - IncreLoRA: Incremental Parameter Allocation Method for
Parameter-Efficient Fine-tuning [15.964205804768163]
IncreLoRAは、トレーニング中にトレーニング可能なパラメータを適応的に追加するインクリメンタルパラメータ割り当て手法である。
我々は,IncreLoRAの有効性を示すため,GLUEの広範な実験を行った。
論文 参考訳(メタデータ) (2023-08-23T10:08:10Z) - Dialogue for Prompting: a Policy-Gradient-Based Discrete Prompt
Generation for Few-shot Learning [14.200398093260118]
事前の離散的なプロンプト最適化法は、基本プロンプトセットを設計し、高品質なプロンプトを特定するために専門家の知識を必要とする。
既存の連続的なプロンプト最適化手法は、理想的なプロンプトを学習することで性能を向上させる。
数ショット設定でタスク上でのPLMパラメータサイズのわずか0.67%のポリシネットワークをトレーニングすることにより、$DPO$は4つのオープンソースデータセットで1.52%の精度で最先端(SOTA)メソッドを上回ります。
論文 参考訳(メタデータ) (2023-08-14T16:58:50Z) - Evaluating Parameter-Efficient Transfer Learning Approaches on SURE
Benchmark for Speech Understanding [40.27182770995891]
ファインチューニングは、事前訓練されたモデルからのトランスファー学習のデフォルトアルゴリズムとして広く使われている。
本稿では,様々な音声処理タスクに対するパラメータ効率学習のための音声不確定評価(SURE)ベンチマークを提案する。
論文 参考訳(メタデータ) (2023-03-02T08:57:33Z) - Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。
IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
論文 参考訳(メタデータ) (2022-06-04T10:08:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。