論文の概要: Diversifying the Mixture-of-Experts Representation for Language Models with Orthogonal Optimizer

• arxiv url: http://arxiv.org/abs/2310.09762v2
• Date: Fri, 30 Aug 2024 13:39:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-02 20:41:13.158843
• Title: Diversifying the Mixture-of-Experts Representation for Language Models with Orthogonal Optimizer
• Title（参考訳）: 直交オプティマイザを用いた言語モデルにおけるMixture-of-Experts表現の多様化
• Authors: Boan Liu, Liang Ding, Li Shen, Keqin Peng, Yu Cao, Dazhao Cheng, Dacheng Tao,
• Abstract要約: The Mixture of Experts (MoE)は、ディープラーニングにおいて非常に成功したテクニックとして登場した。 本研究では,MoEの専門家が多様性の専門化や欠如に失敗した同質表現問題に光を当てた。 我々は,各専門家が他の専門家に分散された部分空間への方向を更新するように促す訓練戦略を交互に提案する。
• 参考スコア（独自算出の注目度）: 59.43462055143123
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: The Mixture of Experts (MoE) has emerged as a highly successful technique in deep learning, based on the principle of divide-and-conquer to maximize model capacity without significant additional computational cost. Even in the era of large-scale language models (LLMs), MoE continues to play a crucial role, as some researchers have indicated that GPT-4 adopts the MoE structure to ensure diverse inference results. However, MoE is susceptible to performance degeneracy, particularly evident in the issues of imbalance and homogeneous representation among experts. While previous studies have extensively addressed the problem of imbalance, the challenge of homogeneous representation remains unresolved. In this study, we shed light on the homogeneous representation problem, wherein experts in the MoE fail to specialize and lack diversity, leading to frustratingly high similarities in their representations (up to 99\% in a well-performed MoE model). This problem restricts the expressive power of the MoE and, we argue, contradicts its original intention. To tackle this issue, we propose a straightforward yet highly effective solution: OMoE, an orthogonal expert optimizer. Additionally, we introduce an alternating training strategy that encourages each expert to update in a direction orthogonal to the subspace spanned by other experts. Our algorithm facilitates MoE training in two key ways: firstly, it explicitly enhances representation diversity, and secondly, it implicitly fosters interaction between experts during orthogonal weights computation. Through extensive experiments, we demonstrate that our proposed optimization algorithm significantly improves the performance of fine-tuning the MoE model on the GLUE benchmark, SuperGLUE benchmark, question-answering task, and name entity recognition tasks.
• Abstract（参考訳）: The Mixture of Experts (MoE) is appeared as a high successful technique in Deep Learning, based on the principle of divide-and-conquer to maximum model capacity without significant further compute cost。 大規模言語モデル (LLMs) の時代においても、GPT-4 が様々な推論結果を保証するために MoE 構造を採用することを一部の研究者が示しているように、MoE は依然として重要な役割を担っている。 しかし、MoEは、特に専門家間の不均衡と均質な表現の問題において、パフォーマンスの縮退に影響を受けやすい。 これまでの研究では、不均衡の問題に広範囲に対処してきたが、同質表現の課題は未解決のままである。 本研究では,同種表現問題に光を当て,MoEの専門家は多様性の専門化と欠如に失敗し,その表現にフラストレーションの高い類似性(MoEモデルでは最大99\%)をもたらす。 この問題はMoEの表現力を制限するものであり、我々はその本来の意図と矛盾していると主張する。 この問題に対処するため,直交型エキスパートオプティマイザであるOMoEを提案する。 さらに,各専門家に対して,他の専門家が対象とする部分空間に直交する方向の更新を奨励する交互トレーニング戦略を導入する。 まず,表現の多様性を明確に向上させ,次に直交重み計算における専門家間の相互作用を暗黙的に促進する。 広範にわたる実験により,提案アルゴリズムは,GLUEベンチマーク,SuperGLUEベンチマーク,質問応答タスク,名称エンティティ認識タスクにおいて,MoEモデルを微調整する性能を大幅に向上することを示した。

関連論文リスト

• SimSMoE: Solving Representational Collapse via Similarity Measure [34.20340688374905]
  SMOE(Sparse mixed of experts)は、計算コストを一定に保ちながら、大きな言語モデルをスケールするための効果的なアプローチとして登場した。 本稿では、ニューラルネットワークアルゴリズムの新たな類似性であるSimSMoE(Simisity-based Sparse Mixture of Experts)を提案する。
  論文  参考訳（メタデータ） (2024-06-22T16:10:45Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Unchosen Experts Can Contribute Too: Unleashing MoE Models' Power by Self-Contrast [58.98411447739218]
  Mixture-of-Experts (MoE) は、計算効率を保ちながら、モデルサイズをスケールするための顕著なアーキテクチャとして登場した。 本研究では,無声専門家を推論中に自己コントラスト的に活用する学習自由戦略である自己コントラスト混合(SCMoE)を提案する。 我々の手法は概念的には単純で計算量も軽量であり、グリージー復号法に比べて最小限の遅延を発生させる。
  論文  参考訳（メタデータ） (2024-05-23T12:45:29Z)
• Efficient Multi-Model Fusion with Adversarial Complementary Representation Learning [26.393644289860084]
  単一モデルシステムは、話者検証(SV)や画像分類といったタスクにおいて、しばしば欠陥に悩まされる。 本稿では、新たに訓練されたモデルが以前取得した知識を回避できる逆相補表現学習(ACoRL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-24T07:47:55Z)
• Multi-Head Mixture-of-Experts [100.60556163597946]
  MH-MoE(Multi-Head Mixture-of-Experts)を提案する。 MH-MoEは、他のSMoE最適化手法の実装と分離が容易であり、性能向上のために他のSMoEモデルとの統合が容易である。
  論文  参考訳（メタデータ） (2024-04-23T13:47:09Z)
• Intuition-aware Mixture-of-Rank-1-Experts for Parameter Efficient Finetuning [50.73666458313015]
  大規模言語モデル(LLM)はマルチメディアアプリケーションで複数のタスクを実行する上で大きな可能性を証明している。 MoEは、効率的なタスクデカップリングのためのスパースアーキテクチャによる有望なソリューションとして登場した。 Intuition-MoR1Eは14のパブリックデータセットで優れた効率と2.15%の全体的な精度向上を実現している。
  論文  参考訳（メタデータ） (2024-04-13T12:14:58Z)
• SEER-MoE: Sparse Expert Efficiency through Regularization for Mixture-of-Experts [49.01990048827639]
  本稿では,事前学習したMoEモデルのメモリフットプリントと計算要求の両方を削減するためのフレームワークSEER-MoEを紹介する。 第1段階では、ヘビーヒッターズカウントガイダンスを使用して専門家の総数を計算し、第2段階では、正則化に基づく微調整戦略を使用して精度の低下を回復する。 実験により,提案手法の有効性を実証し,精度のトレードオフを最小限に抑えた推論効率に最適化したMoEsモデルを試作した。
  論文  参考訳（メタデータ） (2024-04-07T22:13:43Z)
• State-only Imitation with Transition Dynamics Mismatch [16.934888672659824]
  イミテーションラーニング(Imitation Learning, IL)は、専門家の行動を活用することで、複雑な目標を達成するための訓練エージェントにとって一般的なパラダイムである。 本稿では,新しい状態のみのILアルゴリズムを提案する。 提案アルゴリズムは,専門家と模倣MDPの間に遷移力学ミスマッチが存在する場合,特に有効であることを示す。
  論文  参考訳（メタデータ） (2020-02-27T02:27:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。