論文の概要: CCoE: A Compact LLM with Collaboration of Experts

• arxiv url: http://arxiv.org/abs/2407.11686v1
• Date: Tue, 16 Jul 2024 13:03:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 15:02:09.518100
• Title: CCoE: A Compact LLM with Collaboration of Experts
• Title（参考訳）: CCoE: 専門家の協力によるコンパクトなLLM
• Authors: Shaomang Huang, Jianfeng Pan, Hanzhong Zheng,
• Abstract要約: 我々は、強力なドメインエキスパートを簡単に結合して大きな言語モデル(LLM)に融合するフレームワークを提案する。 コード、法、テキストから数学、医学の分野の専門家5人から始めます。その結果、私たちのCCoEフレームワークは、異なるドメインのオリジナルベースモデルにおいて、トレーニングのリソースが少ないだけでなく、推論も簡単に、効率的に10%-20%パフォーマンスを向上できます。
• 参考スコア（独自算出の注目度）: 0.6144680854063939
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In the domain of Large Language Model (LLM), LLMs demonstrate significant capabilities in natural language understanding and generation. With the growing needs of applying LLMs on various domains, it is a research question that how to efficiently train and build a model that has expertise in different domains but with a low training cost. We propose CCoE architecture, a framework of easily coupling multiple strong domain experts together to fuse into a big LLM, provides a collective way of utilizing the different domain expert LLMs. Besides, training a large collaborative of multiple expert LLMs requires a high requirements on training sources. CCoE bypasses this problem through isolating other experts and train each expert separately. The design of CCoE assembles multiple expert LLMs through the CoE (Collaboration of Experts) layer. Each CoE layer could have one or more expert LLMs. Expert LLMs have different number of layers and have been well-trained for different domain tasks. Each expert is fine-tuned to be able to achieve the comparable results with SOTA domain LLMs. We start from 5 experts in the domain of Code, Math, Law, text-to-SQL and Medical. The results indicate that our CCoE framework can easily and efficiently boost nearly 10%-20% performance on original base model in different domains but using less resources on training, as well as inference.
• Abstract（参考訳）: 大規模言語モデル(LLM)の領域では、LLMは自然言語の理解と生成において重要な能力を示す。 様々なドメインにLLMを適用する必要性が高まっている中で、異なるドメインの専門知識を持つモデルをどのように効率的に訓練し、構築するかという研究の課題である。 本稿では,複数の強力なドメインエキスパートを結合して大きなLLMに融合するフレームワークであるCCoEアーキテクチャを提案する。 さらに、複数の専門家による大規模な共同作業のトレーニングには、トレーニングソースに対する高い要求が必要である。 CCoEは、他の専門家を分離し、各専門家を個別に訓練することで、この問題を回避します。 CCoEの設計は、CoE(Collaboration of Experts)レイヤを通じて複数の専門家のLCMを組み立てる。 各CoE層は1つ以上の専門LSMを持つことができる。 専門家のLLMは異なるレイヤ数を持ち、異なるドメインタスクに対して十分に訓練されている。 各エキスパートは、SOTAドメインのLLMで同等の結果を得ることができるように微調整される。 Code, Math, Law, text-to-SQL, Medicalの5つの分野の専門家から始めます。 その結果、我々のCCoEフレームワークは、異なるドメインにおける元のベースモデルで10%-20%近いパフォーマンスを容易かつ効率的に向上できるが、トレーニングのリソースは少なく、推論も少ないことが示唆された。

関連論文リスト

• Combining Domain and Alignment Vectors to Achieve Better Knowledge-Safety Trade-offs in LLMs [64.83462841029089]
  我々は、ドメインとアライメントベクトルを補間し、より安全なドメイン固有モデルを作成する、textscMergeAlignと呼ばれる効率的なマージベースのアライメント手法を導入する。 医学やファイナンスの専門家であるLlama3の変種にtextscMergeAlignを適用することで、ドメイン固有のベンチマークを最小限または全く劣化させることなく、大幅なアライメントの改善が得られる。
  論文  参考訳（メタデータ） (2024-11-11T09:32:20Z)
• Scalable Multi-Domain Adaptation of Language Models using Modular Experts [10.393155077703653]
  MoDEは、モジュール化されたドメインの専門家による一般的なPLMを強化する、エキスパートの混成アーキテクチャである。 MoDEは完全なパラメータの微調整に匹敵する目標性能を達成し、保持性能は1.65%向上した。
  論文  参考訳（メタデータ） (2024-10-14T06:02:56Z)
• Retraining-Free Merging of Sparse MoE via Hierarchical Clustering [14.858134039539697]
  本稿では, 疎活性化型エキスパート混合(HC-SMoE)のための階層クラスタリングについて紹介する。 HC-SMoEは、パラメータ還元のためのタスクに依存しないエキスパートマージフレームワークである。 我々は、QwenやMixtralを含む最先端モデルにおけるHC-SMoEの有効性を示すために、複数のゼロショット言語タスクの理論的解析と評価を行う。
  論文  参考訳（メタデータ） (2024-10-11T07:36:14Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• Uni-MoE: Scaling Unified Multimodal LLMs with Mixture of Experts [54.529880848937104]
  そこで我々は,MoEアーキテクチャをUni-MoEと呼ぶ一貫したMLLMを開発し,様々なモダリティを扱えるようにした。 具体的には、統一マルチモーダル表現のためのコネクタを持つモダリティ特化エンコーダを特徴とする。 マルチモーダルデータセットの包括的集合を用いた命令調整Uni-MoEの評価を行った。
  論文  参考訳（メタデータ） (2024-05-18T12:16:01Z)
• SepRep-Net: Multi-source Free Domain Adaptation via Model Separation And Reparameterization [75.74369886582394]
  本稿では,SepRep-Netと呼ばれる新しいフレームワークを提案する。 SepRep-Netは複数の既存モデルを統合ネットワークに再組み立て、別々の経路(分離)を維持した。 SepRep-Net は、1) 効果、2) 目標領域での競争性能、2) 効率、低い計算コスト、3) 一般化可能性、既存のソリューションよりも多くのソース知識を維持する。
  論文  参考訳（メタデータ） (2024-02-13T06:35:00Z)
• Corex: Pushing the Boundaries of Complex Reasoning through Multi-Model Collaboration [83.4031923134958]
  Corexは,大規模言語モデルを自律エージェントに変換する,新たな汎用戦略スイートだ。 人間の振る舞いにインスパイアされたCorexは、Debate、Review、Retrieveモードといった多様なコラボレーションパラダイムによって構成されている。 我々は,複数のLDMを協調的に演奏することで,既存の手法に比べて性能が著しく向上することが実証された。
  論文  参考訳（メタデータ） (2023-09-30T07:11:39Z)
• Decoupled Training: Return of Frustratingly Easy Multi-Domain Learning [20.17925272562433]
  マルチドメイン学習は、複数の重複するが識別できないドメインにわたって、最小限の平均リスクでモデルをトレーニングすることを目的としている。 本稿では,D-Train(Decoupled Training, D-Train)を提案する。 D-Trainは、まずルートモデルを温めるためにすべてのドメインで事前訓練を行い、その後、複数のヘッドに分割して各ドメインでトレーニングを行い、最後にバックボーンを固定して頭部を微調整する3段階の総合訓練戦略である。
  論文  参考訳（メタデータ） (2023-09-19T04:06:41Z)
• Multi-Prompt Alignment for Multi-Source Unsupervised Domain Adaptation [86.02485817444216]
  マルチプロンプトアライメント(MPA: Multi-Prompt Alignment)は,マルチソースUDAのためのシンプルかつ効率的なフレームワークである。 MPAは、学習したプロンプトを自動エンコードプロセスで認知し、再構築されたプロンプトの合意を最大化することでそれらを調整する。 実験によると、MPAは3つの一般的なデータセットで最先端の結果を達成し、DomainNetの平均精度は54.1%である。
  論文  参考訳（メタデータ） (2022-09-30T03:40:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。