論文の概要: Personalized LoRA for Human-Centered Text Understanding

• arxiv url: http://arxiv.org/abs/2403.06208v1
• Date: Sun, 10 Mar 2024 13:04:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 07:05:35.758808
• Title: Personalized LoRA for Human-Centered Text Understanding
• Title（参考訳）: 人間中心テキスト理解のためのパーソナライズドローラ
• Authors: You Zhang, Jin Wang, Liang-Chih Yu, Dan Xu, Xuejie Zhang
• Abstract要約: HCTUタスクのためのプラグイン・アンド・プレイ・フレームワークを備えたパーソナライズされたLoRA(PLoRA)を紹介する。 PLORAは、PLMに効果的で、パラメータ効率が高く、動的にデプロイする。 4つのベンチマークデータセットを用いて行った実験により,提案手法は実時間/実時間/ゼロショットの学習シナリオにおいて,既存の手法よりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 15.704545145736676
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Effectively and efficiently adapting a pre-trained language model (PLM) for human-centered text understanding (HCTU) is challenging since user tokens are million-level in most personalized applications and do not have concrete explicit semantics. A standard and parameter-efficient approach (e.g., LoRA) necessitates memorizing numerous suits of adapters for each user. In this work, we introduce a personalized LoRA (PLoRA) with a plug-and-play (PnP) framework for the HCTU task. PLoRA is effective, parameter-efficient, and dynamically deploying in PLMs. Moreover, a personalized dropout and a mutual information maximizing strategies are adopted and hence the proposed PLoRA can be well adapted to few/zero-shot learning scenarios for the cold-start issue. Experiments conducted on four benchmark datasets show that the proposed method outperforms existing methods in full/few/zero-shot learning scenarios for the HCTU task, even though it has fewer trainable parameters. For reproducibility, the code for this paper is available at: https://github.com/yoyo-yun/PLoRA.
• Abstract（参考訳）: ユーザトークンは、ほとんどのパーソナライズされたアプリケーションにおいて百万レベルであり、具体的な意味論を持たないため、人間中心のテキスト理解(HCTU)に事前訓練された言語モデル(PLM)を効果的かつ効率的に適用することは困難である。 標準およびパラメータ効率のアプローチ(例えばLoRA)では、ユーザ毎に多数のアダプタのスーツを記憶する必要がある。 本研究では,HCTUタスクのためのプラグイン・アンド・プレイ(PnP)フレームワークを備えたパーソナライズされたLoRA(PLoRA)を提案する。 ploraは効果的でパラメータ効率が高く、plmに動的にデプロイできる。 さらに、パーソナライズされたドロップアウトと相互情報の最大化戦略を採用し、提案したPLoRAは、コールドスタート問題に対する少数/ゼロショットの学習シナリオに適応することができる。 4つのベンチマークデータセットで行った実験では、トレーニング可能なパラメータが少ないにもかかわらず、提案手法はHCTUタスクのフル/フェー/ゼロショット学習シナリオにおいて、既存の手法よりも優れていた。 再現性のため、この論文のコードはhttps://github.com/yoyo-yun/plora.com/で入手できる。

関連論文リスト

• Retrieval Instead of Fine-tuning: A Retrieval-based Parameter Ensemble for Zero-shot Learning [22.748835458594744]
  Retrievalをベースとする。 Ensemble (RPE) - ベクトル化されたデータベースを作成する新しい方法。 Low-Rank Adaptations (LoRA) RPEは、広範囲なトレーニングの必要性を最小限に抑え、ラベル付きデータの要求を排除し、特にゼロショット学習に有効である。 RPEは、生のデータにアクセスせずにモデルパラメータを変更するため、ヘルスケアのようなプライバシに敏感なドメインに適している。
  論文  参考訳（メタデータ） (2024-10-13T16:28:38Z)
• MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
  マルチタスク学習能力を大幅に向上させながら、低ランク適応の利点を保ちながら、MTL-LoRAを提案する。 MTL-LoRAは、タスク固有の情報を識別するタスク適応パラメータを追加することでLoRAを強化する。 このアプローチにより、汎用コーパス上で事前訓練された大規模言語モデル(LLM)が、限られた数のトレーニング可能なパラメータで異なるターゲットタスクドメインに適応できる。
  論文  参考訳（メタデータ） (2024-10-12T08:32:26Z)
• Lifelong Personalized Low-Rank Adaptation of Large Language Models for Recommendation [50.837277466987345]
  我々は、推奨のために大規模言語モデル(LLM)の分野に焦点を当てる。 ユーザ毎に独立したLoRAを管理するPersonalized LoRAモジュールを組み込んだRecLoRAを提案する。 また、Few2Many Learning Strategyを設計し、従来のレコメンデーションモデルをレンズとして使用して、小さなトレーニングスペースをフルスペースに拡大する。
  論文  参考訳（メタデータ） (2024-08-07T04:20:28Z)
• Reinforced Prompt Personalization for Recommendation with Large Language Models [24.360796133889156]
  本稿では,個々のユーザに対して個別のプロンプトをパーソナライズするインスタンスワイドプロンプトの概念を紹介する。 マルチエージェント強化学習(MARL)を用いたプロンプトにおける4つのパターンを最適化するための強化プロンプトパーソナライゼーション(RPP)を提案する。 従来のレコメンデータモデルよりもRCP/RPP+の方が優れていることを示す実験結果が得られた。
  論文  参考訳（メタデータ） (2024-07-24T09:24:49Z)
• MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning [71.50432879573614]
  低ランク適応 (LoRA) は、適応過程が本質的に低次元であるという考えに基づいている。 我々は、より高階を維持しながらトレーニング可能なパラメータを少なくするミニアンサンブルな低ランクアダプタMELoRAを提案する。 実験結果から, 自然言語理解タスクの8倍のトレーニングパラメータ, 続くタスクの36倍のトレーニングパラメータが得られた。
  論文  参考訳（メタデータ） (2024-02-27T07:14:12Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)
• PILoRA: Prototype Guided Incremental LoRA for Federated Class-Incremental Learning [41.984652077669104]
  標準データセットによる実験結果から,本手法は最先端の手法よりも優れていたことが示唆された。 本手法は, 異なる設定, データの均一度において, 強靭性と優越性を示す。
  論文  参考訳（メタデータ） (2024-01-04T06:46:19Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)
• SiRA: Sparse Mixture of Low Rank Adaptation [63.926732717719354]
  我々は「スパース」計算を活用することの重要性について検討し、低ランクのスパース混合SiRAを提案する。 具体的には、各専門家が処理できるトークンの最大数を制限するキャパシティ制限付きの、トップ$k$のエキスパートルーティングを強制する。
  論文  参考訳（メタデータ） (2023-11-15T18:15:37Z)
• IncreLoRA: Incremental Parameter Allocation Method for Parameter-Efficient Fine-tuning [15.964205804768163]
  IncreLoRAは、トレーニング中にトレーニング可能なパラメータを適応的に追加するインクリメンタルパラメータ割り当て手法である。 我々は,IncreLoRAの有効性を示すため,GLUEの広範な実験を行った。
  論文  参考訳（メタデータ） (2023-08-23T10:08:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。