論文の概要: The Art of Balancing: Revolutionizing Mixture of Experts for Maintaining World Knowledge in Language Model Alignment

• arxiv url: http://arxiv.org/abs/2312.09979v1
• Date: Fri, 15 Dec 2023 17:45:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-18 14:42:25.861241
• Title: The Art of Balancing: Revolutionizing Mixture of Experts for Maintaining World Knowledge in Language Model Alignment
• Title（参考訳）: the art of balance: revolutionizing mixture of experts for maintain world knowledge in language model alignment(英語)
• Authors: Shihan Dou, Enyu Zhou, Yan Liu, Songyang Gao, Jun Zhao, Wei Shen, Yuhao Zhou, Zhiheng Xi, Xiao Wang, Xiaoran Fan, Shiliang Pu, Jiang Zhu, Rui Zheng, Tao Gui, Qi Zhang, Xuanjing Huang
• Abstract要約: 私たちは、Mixture of Experts(MoE)のプラグインバージョンであるLoRAMoEを紹介します。 LoRAMoEは、トレーニングフェーズ中にバックボーンモデルを凍結することで、世界の知識の完全性を保証する。 また、他の専門家がモデルに格納されている世界の知識を完全に活用することができる。
• 参考スコア（独自算出の注目度）: 85.16356890023582
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Supervised fine-tuning (SFT) is a crucial step for large language models (LLMs), enabling them to align with human instructions and enhance their capabilities in downstream tasks. When the models are required to align with a broader range of downstream tasks, or there is a desire to notably improve the performance on a specific task, a substantial increase in fine-tuning data often emerges as the solution. However, we find that large-scale increases in instruction data can disrupt the world knowledge previously stored in the LLMs, i.e., world knowledge forgetting. In this paper, we introduce LoRAMoE to address above challenge. The LoRAMoE is a plugin version of Mixture of Experts (MoE). The plugin-form ensures the integrity of world knowledge by freezing the backbone model during the training phase. And we propose the use of localized balancing constraints to coordinate parts of experts for task utilization, meanwhile enables other experts to to fully leverage the world knowledge stored in the models. Experimental results demonstrate that LoRAMoE can reasonly coordinate experts based on data type during inference, and even dramatically increasing instruction data does not result in knowledge forgetting. Moreover, LoRAMoE provides additional benefits for the performance of downstream tasks, indicating the potential of our approach for multi-task learning.
• Abstract（参考訳）: Supervised Fine-tuning (SFT)は、大規模言語モデル(LLM)にとって重要なステップであり、人間の指示と整合し、下流タスクの能力を高めることができる。 モデルがより幅広い下流タスクに合わせる必要がある場合や、特定のタスクのパフォーマンスを著しく改善したいという願望がある場合、ソリューションとして微調整データの大幅な増加がしばしば発生する。 しかし、命令データの大規模増加は、以前LLMに格納されていた世界知識、すなわち世界知識の忘れを損なう可能性がある。 本稿では,上記の課題に対処するためにLoRAMoEを紹介する。 LoRAMoEはMixture of Experts (MoE)のプラグイン版である。 プラグインフォームは、トレーニングフェーズ中にバックボーンモデルを凍結することで、世界の知識の完全性を保証する。 また、タスク利用のための専門家のコーディネートに局所的なバランス制約を用いることにより、他の専門家がモデルに格納された世界の知識を十分に活用できるようにする。 実験の結果、loramoeは推論中にデータ型に基づいて専門家を合理的に調整できることが示され、命令データを劇的に増加しても知識を忘れることはない。 さらに、LoRAMoEは下流タスクのパフォーマンスにさらなる利点をもたらし、マルチタスク学習に対する我々のアプローチの可能性を示している。

関連論文リスト

• MoExtend: Tuning New Experts for Modality and Task Extension [61.29100693866109]
  MoExtendは、Mixture-of-Experts (MoE)モデルのモダリティ適応と拡張を効率化する効果的なフレームワークである。 MoExtendは、新しいエキスパートをトレーニング済みのMoEモデルにシームレスに統合し、トレーニング済みのモデルをチューニングすることなく、新しい知識を提供する。
  論文  参考訳（メタデータ） (2024-08-07T02:28:37Z)
• MLAAN: Scaling Supervised Local Learning with Multilaminar Leap Augmented Auxiliary Network [4.396837128416218]
  MLAAN(Multilaminar Leap Augmented Auxiliary Network)を提案する。 MLAANは、独立およびカスケードされた補助ネットワークを通じて、ローカルおよびグローバル両方の特徴をキャプチャする。 さらに,ローカルモジュール間の情報交換を容易にするために,指数移動平均 (EMA) 法を用いた拡張補助ネットワーク LAM を設計する。 CIFAR-10, STL-10, SVHN, ImageNetデータセットを用いた実験により, MLAANが既存のローカル学習フレームワークにシームレスに統合可能であることを示す。
  論文  参考訳（メタデータ） (2024-06-24T13:30:55Z)
• MemLLM: Finetuning LLMs to Use An Explicit Read-Write Memory [49.96019697955383]
  本稿では,構造化および明示的な読み書きメモリモジュールを統合することで,知識能力を向上させる新しい手法であるMemLLMを紹介する。 実験の結果,MemLLMは言語モデリング全般,特に言語モデルにおいて,性能と解釈可能性を向上させることが示唆された。 私たちは MemLLM を,メモリ拡張による LLM の基盤化と現実化に向けた重要なステップと捉えています。
  論文  参考訳（メタデータ） (2024-04-17T18:13:16Z)
• Not All Experts are Equal: Efficient Expert Pruning and Skipping for Mixture-of-Experts Large Language Models [90.14693869269519]
  MoE LLMはより少ないパラメータで高いパフォーマンスを実現することができるが、パラメータサイズが大きいためデプロイは困難である。 本稿では主に,プラグ・アンド・プレイ・エキスパートレベルのスペーシフィケーション技術を導入することで,MoE LLMの展開効率を向上させることを目的としている。
  論文  参考訳（メタデータ） (2024-02-22T18:56:07Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Octavius: Mitigating Task Interference in MLLMs via LoRA-MoE [83.00018517368973]
  LLM(Large Language Models)は、命令チューニングを通じて、ゼロショット能力をマルチモーダル学習に拡張することができる。 ネガティブな対立や干渉は パフォーマンスに悪影響を及ぼすかもしれない 我々は、よく知られたMixture-of-Experts(MoE)と代表的なPEFT技法の1つであるLoRA(LoRA-MoE)を組み合わせて、マルチモーダル学習のための新しいLLMベースのデコーダ(LoRA-MoE)を設計する。
  論文  参考訳（メタデータ） (2023-11-05T15:48:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。