論文の概要: AdapterSwap: Continuous Training of LLMs with Data Removal and Access-Control Guarantees

• arxiv url: http://arxiv.org/abs/2404.08417v1
• Date: Fri, 12 Apr 2024 12:06:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-15 15:06:48.546109
• Title: AdapterSwap: Continuous Training of LLMs with Data Removal and Access-Control Guarantees
• Title（参考訳）: AdapterSwap: データ削除とアクセシビリティ保証を備えたLCMの継続的トレーニング
• Authors: William Fleshman, Aleem Khan, Marc Marone, Benjamin Van Durme,
• Abstract要約: 大規模言語モデル(LLM)は、静的事前学習コーパスからの情報をリコールすることで、知識集約的なタスクを完了させる能力がますます高まっている。 本稿では,データ収集からの知識を低ランクなアダプタの集合に整理するトレーニングおよび推論スキームであるAdapterSwapを紹介する。 実験では、AdapterSwapが効率的な継続的学習をサポートすると同時に、データアクセスと削除をきめ細かな制御が可能であることを実証した。
• 参考スコア（独自算出の注目度）: 33.403215546159046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly capable of completing knowledge intensive tasks by recalling information from a static pretraining corpus. Here we are concerned with LLMs in the context of evolving data requirements. For instance: batches of new data that are introduced periodically; subsets of data with user-based access controls; or requirements on dynamic removal of documents with guarantees that associated knowledge cannot be recalled. We wish to satisfy these requirements while at the same time ensuring a model does not forget old information when new data becomes available. To address these issues, we introduce AdapterSwap, a training and inference scheme that organizes knowledge from a data collection into a set of low-rank adapters, which are dynamically composed during inference. Our experiments demonstrate AdapterSwap's ability to support efficient continual learning, while also enabling organizations to have fine-grained control over data access and deletion.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、静的事前学習コーパスからの情報をリコールすることで、知識集約的なタスクを完了させる能力がますます高まっている。 ここでは、データ要求の進化という文脈でLLMを懸念する。 例えば、定期的に導入された新しいデータのバッチ、ユーザベースのアクセス制御を備えたデータのサブセット、あるいは関連する知識をリコールできないことを保証したドキュメントの動的削除要求などです。 これらの要件を満たすと同時に、モデルが新しいデータが利用可能になったときに古い情報を忘れないようにしたいと考えています。 これらの問題に対処するため,データ収集からの知識を推論中に動的に構成する低ランクアダプタの集合に整理するトレーニングおよび推論スキームであるAdapterSwapを導入する。 実験では、AdapterSwapが効率的な継続的学習をサポートすると同時に、データアクセスと削除をきめ細かな制御が可能であることを実証した。

関連論文リスト

• One VLM to Keep it Learning: Generation and Balancing for Data-free Continual Visual Question Answering [31.025439143093585]
  VLM(Vision-Language Models)は、Webスケールのマルチモーダルデータセットを活用することで、VQA(Visual Question Answering)タスクにおいて大きな可能性を秘めている。 これらのモデルは、新しいタスクに適応する際に破滅的な忘れ物のために、継続的な学習に苦しむことが多い。 本稿では,外部モデルに頼るのではなく,VLMの言語生成能力を活用した最初のデータフリー手法を提案する。
  論文  参考訳（メタデータ） (2024-11-04T16:04:59Z)
• Formality is Favored: Unraveling the Learning Preferences of Large Language Models on Data with Conflicting Knowledge [55.65162959527848]
  大規模言語モデルは、多くの知識集約的なタスクにおいて優れたパフォーマンスを示している。 しかし、事前学習データには誤解を招く傾向があり、矛盾する情報も含まれている。 本研究では,LLMの学習嗜好を,矛盾する知識を持つデータに対して体系的に分析する。
  論文  参考訳（メタデータ） (2024-10-07T06:49:41Z)
• Beyond Prompt Learning: Continual Adapter for Efficient Rehearsal-Free Continual Learning [22.13331870720021]
  C-ADA (Continuous Adapter) という,RFCL タスクに対する超高速学習手法を提案する。 C-ADAは、CALの特定の重みを柔軟に拡張し、各タスクの新たな知識を学び、古い重みを凍結して以前の知識を保存する。 提案手法は,現状のSOTA(State-of-the-art)法よりも優れ,性能とトレーニング速度を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-07-14T17:40:40Z)
• ReCaLL: Membership Inference via Relative Conditional Log-Likelihoods [56.073335779595475]
  ReCaLL (Relative Conditional Log-Likelihood) という新しいメンバーシップ推論攻撃(MIA)を提案する。 ReCaLLは、ターゲットデータポイントを非メンバーコンテキストでプレフィックスする場合、条件付きログライクな状態の相対的変化を調べる。 我々は総合的な実験を行い、ReCaLLがWikiMIAデータセット上で最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-06-23T00:23:13Z)
• Large Language Model Can Continue Evolving From Mistakes [36.14056870453356]
  継続的な学習(CL)は、大規模言語モデル(LLM)を最新に保ち、その欠点に対処するために不可欠である。 本稿では,CPTデータ収集を目的としたデータ効率の高い手法であるCEM法を提案する。 実験により、CEMはモデル性能と連続進化を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2024-04-11T17:44:56Z)
• Learn When (not) to Trust Language Models: A Privacy-Centric Adaptive Model-Aware Approach [23.34505448257966]
  Retrieval-augmented large language model (LLMs) は、様々なNLPタスクにおいて非常に有能である。 LLMの事前学習データを解析することにより,データ認識による検索をいつ行うかを決定する方法が提案されている。 これらのデータ認識手法は、特に機密データや広範な事前学習データへのアクセスを必要とする場合に、プライバシー上のリスクとメモリ制限をもたらす。 我々は、トークンの埋め込みがモデルの本質的な知識を捉えることができると仮定し、事前学習データへのアクセスに関連するプライバシーリスクを伴わずに、検索の必要性を判断するためのより安全で簡単な方法を提供する。
  論文  参考訳（メタデータ） (2024-04-04T15:21:22Z)
• The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
  大規模言語モデル(LLM)はAIの進歩の基礎となっている。 LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。 機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
  論文  参考訳（メタデータ） (2024-03-23T09:26:15Z)
• Online Adaptation of Language Models with a Memory of Amortized Contexts [82.02369596879817]
  MAC(Memory of Amortized Contexts)は、大規模言語モデルのための効率的かつ効果的なオンライン適応フレームワークである。 MACとMACを組み合わせれば,検索の高速化など,一般的な代替手段の性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-03-07T08:34:57Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)
• DeGAN : Data-Enriching GAN for Retrieving Representative Samples from a Trained Classifier [58.979104709647295]
  我々は、トレーニングされたネットワークの将来の学習タスクのために、利用可能なデータの豊富さと関連するデータの欠如の間のギャップを埋める。 利用可能なデータは、元のトレーニングデータセットまたは関連するドメインデータセットの不均衡なサブセットである可能性があるため、代表サンプルを検索するために使用します。 関連ドメインからのデータを活用して最先端のパフォーマンスを実現することを実証する。
  論文  参考訳（メタデータ） (2019-12-27T02:05:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。