論文の概要: Collaboratively adding new knowledge to an LLM

• arxiv url: http://arxiv.org/abs/2410.14753v1
• Date: Fri, 18 Oct 2024 04:04:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:22:25.067552
• Title: Collaboratively adding new knowledge to an LLM
• Title（参考訳）: LLMに新たな知識を共同で追加する
• Authors: Rhui Dih Lee, Laura Wynter,
• Abstract要約: 半協調と完全協調の2つの設定について検討する。 LoRAは、新しい知識獲得と古い知識の保持の両方を考慮に入れた場合、ほとんどの場合、すべてのパラメータの完全なチューニングよりも優れている。
• 参考スコア（独自算出の注目度）: 3.7261736296750634
• License:
• Abstract: We address the question of how to successively add new knowledge to an LLM whilst retaining previously-added knowledge. We consider two settings, semi-cooperative and fully-cooperative. Overall, LoRA performs better in most cases than full-fine tuning of all parameters when both new knowledge acquisition and retention of old, including recent, knowledge are taken into account. In the semi-cooperative setting, where datasets are not available after training, MOE mixing, model merging, and LoRA-based orthogonal subspace sequential learning, using a small weight on the orthogonality term, perform well. In the fully-cooperative setting where datasets remain available, joint training and sequential training with replay are both effective approaches with LoRA training generally preferable to full fine-tuning. The codes needed to reproduce the results are provided in an open source repository.
• Abstract（参考訳）: 我々は,従来の知識を維持しつつ,LLMに新たな知識を連続的に付加する方法の課題に対処する。 半協調と完全協調の2つの設定について検討する。 全体として、LoRAは、新しい知識獲得と古い知識の保持の両方を考慮に入れた場合、すべてのパラメータの完全なチューニングよりも、ほとんどの場合において、パフォーマンスが向上する。 半協調的な環境では、トレーニング後のデータセット、MOE混合、モデルマージ、LoRAベースの直交部分空間シーケンシャルラーニングが、直交項の小さな重みを使ってうまく機能する。 データセットが利用可能である完全協調的な環境では、共同トレーニングとリプレイによるシーケンシャルトレーニングの両方が、完全な微調整よりも一般的なLoRAトレーニングの効果的なアプローチである。 結果の再現に必要なコードは、オープンソースリポジトリで提供されている。

関連論文リスト

• CopRA: A Progressive LoRA Training Strategy [9.847045610578073]
  Low-Rank Adaptation (LoRA) は、微調整基礎モデルのためのパラメータ効率のよい手法である。 本研究では,ランダム層降下を伴うLoRAの新しいプログレッシブトレーニング戦略を提案する。 本手法を協調ロラ(CopRA)と呼ぶ。
  論文  参考訳（メタデータ） (2024-10-30T11:07:09Z)
• Coevolving with the Other You: Fine-Tuning LLM with Sequential Cooperative Multi-Agent Reinforcement Learning [13.753960633998389]
  強化学習 (Reinforcement Learning, RL) は, 特定のタスクにおいて, 大規模言語モデル (LLM) を微調整するための重要な手法として登場した。 本稿では,LLMのRL微調整を逐次協調型マルチエージェント強化学習フレームワークに拡張したCORYを提案する。 その結果,CORYは政策最適性,分散崩壊抵抗性,ロバスト性の訓練においてPPOよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-08T14:55:26Z)
• Lifelong Personalized Low-Rank Adaptation of Large Language Models for Recommendation [50.837277466987345]
  我々は、推奨のために大規模言語モデル(LLM)の分野に焦点を当てる。 ユーザ毎に独立したLoRAを管理するPersonalized LoRAモジュールを組み込んだRecLoRAを提案する。 また、Few2Many Learning Strategyを設計し、従来のレコメンデーションモデルをレンズとして使用して、小さなトレーニングスペースをフルスペースに拡大する。
  論文  参考訳（メタデータ） (2024-08-07T04:20:28Z)
• Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
  ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。 これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。 事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。 既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。 我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T12:19:37Z)
• KnowCoder: Coding Structured Knowledge into LLMs for Universal Information Extraction [59.039355258637315]
  コード生成によるユニバーサル情報抽出(UIE)を行うためのLarge Language Model(LLM)であるKnowCoderを提案する。 KnowCoderは、異なるスキーマをPythonクラスに一様に変換するコードスタイルのスキーマ表現メソッドを導入した。 KnowCoderには、2フェーズの学習フレームワークがあり、コード事前トレーニングによるスキーマ理解能力と、命令チューニングによるスキーマ追従能力を向上させる。
  論文  参考訳（メタデータ） (2024-03-12T14:56:34Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• Does Combining Parameter-efficient Modules Improve Few-shot Transfer Accuracy? [19.716749548892214]
  本稿では,LoRAモジュールの構成可能性について検討し,事前学習したモジュールを組み合わせることで,下流タスクに対する一般化が促進されるかどうかを検討する。 視覚モデルと言語モデルの両方の実験結果から,ダウンストリームタスクに限られたサンプルしか使用できない場合において,均一な合成法と学習された合成法により,転送精度が向上することが明らかとなった。 本研究は、学習可能なパラメータを追加することなく、低ショット設定での転送可能性を高めるための均一な構成の可能性を明らかにする。
  論文  参考訳（メタデータ） (2024-02-23T16:20:29Z)
• Forgetting before Learning: Utilizing Parametric Arithmetic for Knowledge Updating in Large Language Models [53.52344131257681]
  本稿では,F-Learningと呼ばれるファインチューニングのための新しいパラダイムを提案する。これはパラメトリック算術を用いて,古い知識の忘れと新しい知識の学習を容易にする。 2つの公開データセットによる実験結果から、提案したFラーニングは、完全な微調整とLoRA微調整の両方の知識更新性能を向上させることが明らかに示されている。
  論文  参考訳（メタデータ） (2023-11-14T09:12:40Z)
• Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship [54.73817402934303]
  本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。 ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
  論文  参考訳（メタデータ） (2021-12-31T12:05:22Z)
• Continuous Coordination As a Realistic Scenario for Lifelong Learning [6.044372319762058]
  ゼロショット設定と少数ショット設定の両方をサポートするマルチエージェント生涯学習テストベッドを導入する。 最近のMARL法、および制限メモリおよび計算における最新のLLLアルゴリズムのベンチマークを評価します。 我々は経験的に、我々の設定で訓練されたエージェントは、以前の作業による追加の仮定なしに、未発見のエージェントとうまく協調できることを示します。
  論文  参考訳（メタデータ） (2021-03-04T18:44:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。