論文の概要: FuseChat: Knowledge Fusion of Chat Models
- arxiv url: http://arxiv.org/abs/2402.16107v4
- Date: Mon, 27 May 2024 10:16:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 07:05:34.226534
- Title: FuseChat: Knowledge Fusion of Chat Models
- Title(参考訳): FuseChat: チャットモデルの知識融合
- Authors: Fanqi Wan, Ziyi Yang, Longguang Zhong, Xiaojun Quan, Xinting Huang, Wei Bi,
- Abstract要約: FuseChatは、チャット言語モデルのための知識融合フレームワークである。
微調整前後のパラメータ行列の変動率に基づいて, マージ重量を決定する新しい手法を提案する。
様々なチャット領域にまたがる実験結果から、7Bおよび34BスケールのチャットLLMにおけるFuseChat-7Bの優位性が示された。
- 参考スコア(独自算出の注目度): 51.0178356903925
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While training large language models (LLMs) from scratch can indeed lead to models with distinct capabilities and strengths, this approach incurs substantial costs and may lead to potential redundancy in competencies. An alternative strategy is to combine existing LLMs into a more robust LLM, thereby diminishing the necessity for expensive pre-training. However, due to the diverse architectures of LLMs, direct parameter blending proves to be unfeasible. Recently, FuseLLM introduced the concept of knowledge fusion to transfer the collective knowledge of multiple structurally varied LLMs into a target LLM through lightweight continual training. In this report, we extend the scalability and flexibility of the FuseLLM framework to realize the fusion of chat LLMs, resulting in FuseChat. FuseChat comprises two main stages. Firstly, we undertake knowledge fusion for structurally and scale-varied source LLMs to derive multiple target LLMs of identical structure and size via lightweight fine-tuning. Then, these target LLMs are merged within the parameter space, wherein we propose a novel method for determining the merging weights based on the variation ratio of parameter matrices before and after fine-tuning. We validate our approach using three prominent chat LLMs with diverse architectures and scales, namely NH2-Mixtral-8x7B, NH2-Solar-10.7B, and OpenChat-3.5-7B. Experimental results spanning various chat domains demonstrate the superiority of FuseChat-7B across a broad spectrum of chat LLMs at 7B and 34B scales, even surpassing GPT-3.5 (March) and approaching Mixtral-8x7B-Instruct. Our code, model weights, and data are openly accessible at \url{https://github.com/fanqiwan/FuseLLM}.
- Abstract(参考訳): 大規模言語モデル(LLM)をスクラッチからトレーニングすることは、機能と強みの異なるモデルにつながる可能性があるが、このアプローチはかなりのコストを発生させ、能力の冗長性をもたらす可能性がある。
代替戦略として、既存のLLMをより堅牢なLLMに組み込むことで、高価な事前訓練の必要性を減らすことがある。
しかし、LLMの多様なアーキテクチャのため、直接パラメータブレンディングは実現不可能であることが証明されている。
近年、FuseLLM は、複数の構造変化 LLM の集合的知識を、軽量な連続訓練により目標 LLM に転送する知識融合の概念を導入している。
本稿では、FuseLLMフレームワークのスケーラビリティと柔軟性を拡張し、チャットLLMの融合を実現し、FuseChatを実現する。
FuseChatは2つの主要なステージから構成される。
まず, 構造的および規模的に変化したLLMに対して知識融合を行い, 軽量微調整により同一構造と大きさの複数のLLMを導出する。
次に,これらのLLMをパラメータ空間内にマージし,微調整前後のパラメータ行列の変動率に基づいてマージ重みを決定する手法を提案する。
我々は,異なるアーキテクチャとスケールを持つ3つの著名なチャットLLM,すなわちNH2-Mixtral-8x7B,NH2-Solar-10.7B,OpenChat-3.5-7Bを用いて,我々のアプローチを検証する。
様々なチャットドメインにまたがる実験結果は、7Bおよび34BスケールのチャットLLMにおけるFuseChat-7Bの優位性を示し、GPT-3.5(3月)を超え、Mixtral-8x7B-Instructに近づいた。
私たちのコード、モデルウェイト、データは、 \url{https://github.com/fanqiwan/FuseLLM}で公開アクセスできます。
関連論文リスト
- Delta-CoMe: Training-Free Delta-Compression with Mixed-Precision for Large Language Models [79.46938238953916]
多様なアプリケーションへの微調整された大規模言語モデル(LLM)は、複雑な要求を満たすために不可欠である。
近年の研究では、微調整LDMをベースモデルと対応するデルタウェイトに分解し、低ランクまたは低ビットのアプローチで圧縮してコストを削減することが示唆されている。
本研究では,従来の低ランク圧縮法と低ビット圧縮法がタスク固有の微調整LDMのモデル性能を著しく損なうことを観察する。
論文 参考訳(メタデータ) (2024-06-13T07:57:27Z) - FedMKT: Federated Mutual Knowledge Transfer for Large and Small Language Models [28.284346666217207]
FedMKTは、大小の言語モデルのためのパラメータ効率の良い相互知識伝達フレームワークである。
我々は,FedMKTがLLMとSLMの両方の性能を同時に向上させることを示す。
論文 参考訳(メタデータ) (2024-06-04T11:36:09Z) - Pack of LLMs: Model Fusion at Test-Time via Perplexity Optimization [18.73637736606997]
Pack of LLMs (PackLLM) は、入力プロンプトが与えられた場合、各LSMの専門知識を活用するテスト時間融合の有効な方法である。
我々は,多種多様なタスクに対して,100以上の大規模言語モデル(LLM)を用いて実験を行う。
PackLLMは、テスト時間融合ベースラインを1.89%精度で上回る。
論文 参考訳(メタデータ) (2024-04-17T16:24:07Z) - Browse and Concentrate: Comprehending Multimodal Content via prior-LLM Context Fusion [70.9767518332692]
LLMを事前訓練された視覚モデルに組み込んだマルチモーダル大規模言語モデル(MLLM)は、近年、多様な視覚言語タスクにまたがる印象的なパフォーマンスを実証している。
しかし、複数の画像を含む文脈を理解するには不十分である。
本稿では,2つのフェーズ・パラダイムであるブラウズ・アンド・集中型を提案し,より深いマルチモーダルコンテキスト融合を実現する。
論文 参考訳(メタデータ) (2024-02-19T14:59:07Z) - Knowledge Fusion of Large Language Models [73.28202188100646]
本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。
我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。
この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
論文 参考訳(メタデータ) (2024-01-19T05:02:46Z) - Towards Vision Enhancing LLMs: Empowering Multimodal Knowledge Storage
and Sharing in LLMs [72.49064988035126]
マルチモーダル大規模言語モデル(MLLM)の強化を目的としたMKS2という手法を提案する。
具体的には、LLMの内部ブロックに組み込まれたコンポーネントであるModular Visual Memoryを導入し、オープンワールドの視覚情報を効率的に保存するように設計されている。
実験により,MKS2は物理的・常識的な知識を必要とする文脈において,LLMの推論能力を大幅に増強することが示された。
論文 参考訳(メタデータ) (2023-11-27T12:29:20Z) - Generative Multimodal Entity Linking [24.322540112710918]
MEL(Multimodal Entity Linking)は、知識ベースからの参照エンティティへの参照をマルチモーダルコンテキストでマッピングするタスクである。
既存のMEL法は主に複雑なマルチモーダル相互作用機構の設計に重点を置いており、すべてのモデルパラメータを微調整する必要がある。
大規模言語モデル(LLM)に基づくジェネレーティブマルチモーダルエンティティリンクフレームワークであるGEMELを提案する。
当社のフレームワークは市販の言語モデルと互換性があり、効率的で汎用的なソリューションへの道を開いたものです。
論文 参考訳(メタデータ) (2023-06-22T07:57:19Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳(メタデータ) (2023-05-19T12:10:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。