論文の概要: SimSMoE: Solving Representational Collapse via Similarity Measure

• arxiv url: http://arxiv.org/abs/2406.15883v1
• Date: Sat, 22 Jun 2024 16:10:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 20:03:15.665042
• Title: SimSMoE: Solving Representational Collapse via Similarity Measure
• Title（参考訳）: SimSMoE: 類似度測定による表現的崩壊の解決
• Authors: Giang Do, Hung Le, Truyen Tran,
• Abstract要約: SMOE(Sparse mixed of experts)は、計算コストを一定に保ちながら、大きな言語モデルをスケールするための効果的なアプローチとして登場した。 本稿では、ニューラルネットワークアルゴリズムの新たな類似性であるSimSMoE(Simisity-based Sparse Mixture of Experts)を提案する。
• 参考スコア（独自算出の注目度）: 34.20340688374905
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse mixture of experts (SMoE) have emerged as an effective approach for scaling large language models while keeping a constant computational cost. Regardless of several notable successes of SMoE, effective training such architecture remains elusive due to the representation collapse problem, which in turn harms model performance and causes parameter redundancy. In this work, we present Similarity-based Sparse Mixture of Experts (SimSMoE), a novel similarity of neural network algorithm, that guarantees a solution to address the representation collapse issue between experts given a fixed FLOPs budget. We conduct extensive empirical evaluations on three large language models for both Pre-training and Fine-tuning tasks to illustrate the efficacy, robustness, and scalability of our method. The results demonstrate that SimSMoE significantly enhances existing routing policy and outperforms other SMoE training methods in performance for the tasks.
• Abstract（参考訳）: SMOE(Sparse mixed of experts)は、計算コストを一定に保ちながら、大きな言語モデルをスケールするための効果的なアプローチとして登場した。 SMoEのいくつかの顕著な成功にもかかわらず、表現崩壊問題により、そのようなアーキテクチャを効果的に訓練することは、モデル性能を害し、パラメータ冗長性を引き起こす。 本研究では,ニューラルネットワークアルゴリズムの新たな類似性であるSimisity-based Sparse Mixture of Experts (SimSMoE)を提案する。 提案手法の有効性, 堅牢性, 拡張性を示すために, 3つの大規模言語モデルに対して, 事前学習タスクと微調整タスクの両方に対して広範な実験的な評価を行う。 その結果、SimSMoEは既存のルーティングポリシーを大幅に改善し、タスクのパフォーマンスにおいて他のSMoEトレーニング手法よりも優れていることが示された。

関連論文リスト

• Diversifying the Expert Knowledge for Task-Agnostic Pruning in Sparse Mixture-of-Experts [75.85448576746373]
  そこで本研究では,モデルパラメータ効率を向上させるために,類似の専門家をグループ化し,グループ化する方法を提案する。 本手法は,Mixtral-8x7BとMixtral-8x22Bの2種類のMoEモデルを用いて評価を行った。 本手法は,様々な自然言語タスクにおいて,他のモデルプルーニング手法よりも優れる。
  論文  参考訳（メタデータ） (2024-07-12T17:25:02Z)
• Efficient Multi-Model Fusion with Adversarial Complementary Representation Learning [26.393644289860084]
  単一モデルシステムは、話者検証(SV)や画像分類といったタスクにおいて、しばしば欠陥に悩まされる。 本稿では、新たに訓練されたモデルが以前取得した知識を回避できる逆相補表現学習(ACoRL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-24T07:47:55Z)
• DiffusionNOCS: Managing Symmetry and Uncertainty in Sim2Real Multi-Modal Category-level Pose Estimation [20.676510832922016]
  本研究では,部分物体形状の復元に不可欠な高密度正準写像を推定するために拡散に依存する確率モデルを提案する。 マルチモーダル入力表現を用いた拡散モデルの強度を活用することにより,性能向上のための重要なコンポーネントを導入する。 提案手法は, 生成した合成データのみに基づいて訓練されているにもかかわらず, 最先端の性能と前例のない一般化特性を達成している。
  論文  参考訳（メタデータ） (2024-02-20T01:48:33Z)
• CompeteSMoE -- Effective Training of Sparse Mixture of Experts via Competition [52.2034494666179]
  スパース・ミックス・オブ・エキスパート(SMoE)は、ネットワークの深さや幅を増大させる平均を超えた、モデルの複雑さをスケールアップする魅力的なソリューションを提供する。 本稿では,この表現崩壊の根本的な課題に対処する競合機構を提案する。 入力を最も高い神経応答を持つ専門家にのみルーティングすることにより、コンペティションが最適推定器と同じ収束率を持つことを示す。
  論文  参考訳（メタデータ） (2024-02-04T15:17:09Z)
• Diversifying the Mixture-of-Experts Representation for Language Models with Orthogonal Optimizer [62.41501243027603]
  The Mixture of Experts (MoE)は、ディープラーニングにおいて非常に成功したテクニックとして登場した。 本研究では,MoEの専門家が多様性の専門化や欠如に失敗した同質表現問題に光を当てた。 我々は,エキスパートエンティティであるOMoEという,単純かつ高効率なソリューションを提案する。
  論文  参考訳（メタデータ） (2023-10-15T07:20:28Z)
• Distributionally Robust Model-based Reinforcement Learning with Large State Spaces [55.14361269378122]
  強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。 広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。 本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-05T13:42:11Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)
• Softmax with Regularization: Better Value Estimation in Multi-Agent Reinforcement Learning [72.28520951105207]
  q$-learningの過大評価は、シングルエージェント強化学習で広く研究されている重要な問題である。 ベースラインから逸脱する大きな関節動作値をペナライズする,新たな正規化ベースの更新方式を提案する。 本手法は,StarCraft IIマイクロマネジメントの課題に対して,一貫した性能向上を実現する。
  論文  参考訳（メタデータ） (2021-03-22T14:18:39Z)
• Byzantine Resilient Distributed Multi-Task Learning [6.850757447639822]
  タスク間の関連性を学習するための分散アルゴリズムは、ビザンティンエージェントの存在下では回復力がないことを示す。 ビザンチンレジリエントな分散マルチタスク学習のためのアプローチを提案する。
  論文  参考訳（メタデータ） (2020-10-25T04:32:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。