論文の概要: Modeling Task Relationships in Multi-variate Soft Sensor with Balanced Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2305.16360v1
• Date: Thu, 25 May 2023 07:32:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-29 19:06:38.162793
• Title: Modeling Task Relationships in Multi-variate Soft Sensor with Balanced Mixture-of-Experts
• Title（参考訳）: 平衡混合を用いた多変量ソフトセンサのタスク関係のモデル化
• Authors: Yuxin Huang, Hao Wang, Zhaoran Liu, Licheng Pan, Haozhe Li, Xinggao Liu
• Abstract要約: この作業は、専門家(MMoE)モジュールとタスク勾配バランス(TGB)モジュールのマルチゲート混合で構成されている。 MoEモジュールはタスクの関係を表現することを目的としており、TGBモジュールはタスク間の勾配を動的にバランスさせる。 典型的な硫黄回収装置の実験は、BMoEがタスク関係をモデル化し、訓練過程を効果的にバランスさせることを示した。
• 参考スコア（独自算出の注目度）: 10.663250728718959
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurate estimation of multiple quality variables is critical for building industrial soft sensor models, which have long been confronted with data efficiency and negative transfer issues. Methods sharing backbone parameters among tasks address the data efficiency issue; however, they still fail to mitigate the negative transfer problem. To address this issue, a balanced Mixture-of-Experts (BMoE) is proposed in this work, which consists of a multi-gate mixture of experts (MMoE) module and a task gradient balancing (TGB) module. The MoE module aims to portray task relationships, while the TGB module balances the gradients among tasks dynamically. Both of them cooperate to mitigate the negative transfer problem. Experiments on the typical sulfur recovery unit demonstrate that BMoE models task relationship and balances the training process effectively, and achieves better performance than baseline models significantly.
• Abstract（参考訳）: 複数の品質変数の正確な推定は、データ効率や負の伝達問題に長年直面してきた産業用ソフトセンサーモデルの構築に不可欠である。 タスク間でバックボーンパラメータを共有する方法は、データ効率の問題に対処するが、負の転送問題を軽減できない。 この問題に対処するために,マルチゲート・エキスパート(mmoe)モジュールとタスク・グラデーション・バランシング(tgb)モジュールからなるbmoe( balanced mixture-of-experts)を提案する。 moeモジュールはタスク間の関係を表現し、tgbモジュールはタスク間の勾配を動的にバランスさせる。 両者は負の転送問題を緩和するために協力する。 典型的な硫黄回収装置の実験では、BMoEはタスク関係をモデル化し、トレーニングプロセスを効果的にバランスさせ、ベースラインモデルよりも優れた性能を達成する。

関連論文リスト

• Efficient and Effective Weight-Ensembling Mixture of Experts for Multi-Task Model Merging [111.8456671452411]
  マルチタスク学習(MTL)は、共有モデルを利用して複数のタスクを遂行し、知識伝達を促進する。 マルチタスクモデル統合のためのウェイトエンセブリング・ミックス・オブ・エキスパート(WEMoE)手法を提案する。 WEMoEとE-WEMoEは, MTL性能, 一般化, 堅牢性の観点から, 最先端(SOTA)モデルマージ法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-29T07:16:31Z)
• Dynamic Adaptive Optimization for Effective Sentiment Analysis Fine-Tuning on Large Language Models [0.0]
  大規模言語モデル(LLM)は、マルチタスク学習を利用して特定のタスクを同時に処理することで、感情分析の一般的なパラダイムとなっている。 動的適応最適化(DAO)モジュールを用いた新しいマルチタスク学習フレームワークを提案する。 この研究は、平均二乗誤差(MSE)と精度(ACC)を、以前の研究と比べてそれぞれ15.58%、1.24%改善した。
  論文  参考訳（メタデータ） (2024-08-15T19:13:38Z)
• FuseMoE: Mixture-of-Experts Transformers for Fleximodal Fusion [29.130355774088205]
  FuseMoEは、革新的なゲーティング機能を備えた、エキスパートの混成フレームワークである。 多様なモダリティを統合するために設計されたFuseMoEは、欠落したモダリティと不規則にサンプリングされたデータトラジェクトリのシナリオを管理するのに効果的である。
  論文  参考訳（メタデータ） (2024-02-05T17:37:46Z)
• Merging Multi-Task Models via Weight-Ensembling Mixture of Experts [64.94129594112557]
  異なるタスクでトレーニングされたTransformerベースのモデルを単一の統一モデルにマージすることで、すべてのタスクを同時に実行できる。 従来の手法は、タスク演算によって例示され、効率的かつスケーラブルであることが証明されている。 本稿では,Transformer層をMoEモジュールにアップスケーリングしながら,ほとんどのパラメータをマージすることを提案する。
  論文  参考訳（メタデータ） (2024-02-01T08:58:57Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)
• Uni-Perceiver-MoE: Learning Sparse Generalist Models with Conditional MoEs [63.936622239286685]
  異なるタスクとモダリティ間の干渉が、この現象の主要な要因であることがわかった。 一般モデルに条件混合(Conditional Mixture-of-Experts)を導入する。 コード及び事前訓練されたジェネリストモデルは、解放される。
  論文  参考訳（メタデータ） (2022-06-09T17:59:59Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。