論文の概要: Modeling Task Relationships in Multi-variate Soft Sensor with Balanced
Mixture-of-Experts
- arxiv url: http://arxiv.org/abs/2305.16360v1
- Date: Thu, 25 May 2023 07:32:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 19:06:38.162793
- Title: Modeling Task Relationships in Multi-variate Soft Sensor with Balanced
Mixture-of-Experts
- Title(参考訳): 平衡混合を用いた多変量ソフトセンサのタスク関係のモデル化
- Authors: Yuxin Huang, Hao Wang, Zhaoran Liu, Licheng Pan, Haozhe Li, Xinggao
Liu
- Abstract要約: この作業は、専門家(MMoE)モジュールとタスク勾配バランス(TGB)モジュールのマルチゲート混合で構成されている。
MoEモジュールはタスクの関係を表現することを目的としており、TGBモジュールはタスク間の勾配を動的にバランスさせる。
典型的な硫黄回収装置の実験は、BMoEがタスク関係をモデル化し、訓練過程を効果的にバランスさせることを示した。
- 参考スコア(独自算出の注目度): 10.663250728718959
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Accurate estimation of multiple quality variables is critical for building
industrial soft sensor models, which have long been confronted with data
efficiency and negative transfer issues. Methods sharing backbone parameters
among tasks address the data efficiency issue; however, they still fail to
mitigate the negative transfer problem. To address this issue, a balanced
Mixture-of-Experts (BMoE) is proposed in this work, which consists of a
multi-gate mixture of experts (MMoE) module and a task gradient balancing (TGB)
module. The MoE module aims to portray task relationships, while the TGB module
balances the gradients among tasks dynamically. Both of them cooperate to
mitigate the negative transfer problem. Experiments on the typical sulfur
recovery unit demonstrate that BMoE models task relationship and balances the
training process effectively, and achieves better performance than baseline
models significantly.
- Abstract(参考訳): 複数の品質変数の正確な推定は、データ効率や負の伝達問題に長年直面してきた産業用ソフトセンサーモデルの構築に不可欠である。
タスク間でバックボーンパラメータを共有する方法は、データ効率の問題に対処するが、負の転送問題を軽減できない。
この問題に対処するために,マルチゲート・エキスパート(mmoe)モジュールとタスク・グラデーション・バランシング(tgb)モジュールからなるbmoe( balanced mixture-of-experts)を提案する。
moeモジュールはタスク間の関係を表現し、tgbモジュールはタスク間の勾配を動的にバランスさせる。
両者は負の転送問題を緩和するために協力する。
典型的な硫黄回収装置の実験では、BMoEはタスク関係をモデル化し、トレーニングプロセスを効果的にバランスさせ、ベースラインモデルよりも優れた性能を達成する。
関連論文リスト
- FuseMoE: Mixture-of-Experts Transformers for Fleximodal Fusion [31.252384334117792]
FuseMoEは、革新的なゲーティング機能を備えた、エキスパートの混成フレームワークである。
多様なモダリティを統合するために設計されたFuseMoEは、欠落したモダリティと不規則にサンプリングされたデータトラジェクトリのシナリオを管理するのに効果的である。
実世界でのFuseMoEの実用性は、臨床リスク予測タスクの挑戦的なセットによって検証される。
論文 参考訳(メタデータ) (2024-02-05T17:37:46Z) - Merging Multi-Task Models via Weight-Ensembling Mixture of Experts [68.8128246362533]
異なるタスクでトレーニングされたTransformerベースのモデルを単一の統一モデルにマージすることで、すべてのタスクを同時に実行できる。
本稿では,Transformer層をMoEモジュールにアップスケーリングしながら,ほとんどのパラメータをマージすることを提案する。
我々の重要な洞察は、共有知識とタスク固有の知識を識別して分離し、それらを動的に統合することで、パラメータ干渉問題を大幅に緩和できるということです。
論文 参考訳(メタデータ) (2024-02-01T08:58:57Z) - Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。
TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文 参考訳(メタデータ) (2023-11-23T15:46:54Z) - AdaMerging: Adaptive Model Merging for Multi-Task Learning [72.2068175246167]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。
本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。
AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文 参考訳(メタデータ) (2023-10-04T04:26:33Z) - Dual-Balancing for Multi-Task Learning [42.613360970194734]
本稿では、損失と勾配の両面からタスクバランスの問題を軽減するために、Dual-Balancing Multi-Task Learning (DB-MTL)法を提案する。
DB-MTLは、各タスク損失に対して対数変換を行うことで損失スケールの分散を保証し、すべてのタスク勾配を最大勾配基準と同じ大きさに正規化することで勾配磁度バランスを保証します。
論文 参考訳(メタデータ) (2023-08-23T09:41:28Z) - TMoE-P: Towards the Pareto Optimum for Multivariate Soft Sensors [7.236362889442992]
我々は,多変量ソフトセンサを多目的問題に再構成し,課題と最先端性能の両方に対処する。
負の伝達問題に対処するために,我々はまず,パラメータ共有のための客観的かつ客観的な専門家を利用したOMoEモジュールを提案する。
次に,シーソー現象に対処するため,最適ルーティングを実現するためのタスク認識型Mixture-of-Expertsフレームワークを提案する。
論文 参考訳(メタデータ) (2023-02-21T06:49:09Z) - Uni-Perceiver-MoE: Learning Sparse Generalist Models with Conditional
MoEs [63.936622239286685]
異なるタスクとモダリティ間の干渉が、この現象の主要な要因であることがわかった。
一般モデルに条件混合(Conditional Mixture-of-Experts)を導入する。
コード及び事前訓練されたジェネリストモデルは、解放される。
論文 参考訳(メタデータ) (2022-06-09T17:59:59Z) - MoEfication: Conditional Computation of Transformer Models for Efficient
Inference [66.56994436947441]
トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。
スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。
そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
論文 参考訳(メタデータ) (2021-10-05T02:14:38Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳(メタデータ) (2020-04-29T02:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。