論文の概要: TMoE-P: Towards the Pareto Optimum for Multivariate Soft Sensors
- arxiv url: http://arxiv.org/abs/2302.10477v1
- Date: Tue, 21 Feb 2023 06:49:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-22 16:05:13.129590
- Title: TMoE-P: Towards the Pareto Optimum for Multivariate Soft Sensors
- Title(参考訳): TMoE-P:多変量ソフトセンサのパレート最適化に向けて
- Authors: Licheng Pan, Hao Wang, Zhichao Chen, Yuxing Huang, Xinggao Liu
- Abstract要約: 我々は,多変量ソフトセンサを多目的問題に再構成し,課題と最先端性能の両方に対処する。
負の伝達問題に対処するために,我々はまず,パラメータ共有のための客観的かつ客観的な専門家を利用したOMoEモジュールを提案する。
次に,シーソー現象に対処するため,最適ルーティングを実現するためのタスク認識型Mixture-of-Expertsフレームワークを提案する。
- 参考スコア(独自算出の注目度): 7.236362889442992
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-variate soft sensor seeks accurate estimation of multiple quality
variables using measurable process variables, which have emerged as a key
factor in improving the quality of industrial manufacturing. The current
progress stays in some direct applications of multitask network architectures;
however, there are two fundamental issues remain yet to be investigated with
these approaches: (1) negative transfer, where sharing representations despite
the difference of discriminate representations for different objectives
degrades performance; (2) seesaw phenomenon, where the optimizer focuses on one
dominant yet simple objective at the expense of others. In this study, we
reformulate the multi-variate soft sensor to a multi-objective problem, to
address both issues and advance state-of-the-art performance. To handle the
negative transfer issue, we first propose an Objective-aware Mixture-of-Experts
(OMoE) module, utilizing objective-specific and objective-shared experts for
parameter sharing while maintaining the distinction between objectives. To
address the seesaw phenomenon, we then propose a Pareto Objective Routing (POR)
module, adjusting the weights of learning objectives dynamically to achieve the
Pareto optimum, with solid theoretical supports. We further present a
Task-aware Mixture-of-Experts framework for achieving the Pareto optimum
(TMoE-P) in multi-variate soft sensor, which consists of a stacked OMoE module
and a POR module. We illustrate the efficacy of TMoE-P with an open soft sensor
benchmark, where TMoE-P effectively alleviates the negative transfer and seesaw
issues and outperforms the baseline models.
- Abstract(参考訳): 多変量ソフトセンサは, 製造品質向上の鍵となる, 測定可能なプロセス変数を用いて, 複数の品質変数を正確に推定する。
現在の状況はマルチタスクネットワークアーキテクチャの直接的な応用に留まっているが, 負の移動, 異なる目的の識別表現の違いに拘わらず表現の共有が性能を低下させる, 2) セソー現象, 最適化者が他を犠牲にして支配的かつ単純な目的に焦点をあてる,という2つの根本的な問題はまだ研究されていない。
本研究では,多変量ソフトセンサを多目的問題に再構成し,課題と最先端性能の両立を図る。
まず,目的と目的の区別を保ちつつパラメータ共有のために,目的に特有かつ客観的に共有された専門家を活用し,目的に配慮した混合・オブ・エキスパート(omoe)モジュールを提案する。
次に, シーソー現象に対処するために, 学習対象の重みを動的に調整し, 理論的支援を具体化するpareto objective routing (por)モジュールを提案する。
さらに,重畳されたOMoEモジュールとPORモジュールからなる多変量ソフトセンサのParetoOptimum(TMoE-P)を実現するためのタスク対応Mixture-of-Expertsフレームワークを提案する。
そこでは,TMoE-Pが負の伝達やシーソー問題を効果的に軽減し,ベースラインモデルより優れていることを示す。
関連論文リスト
- Efficient and Effective Weight-Ensembling Mixture of Experts for Multi-Task Model Merging [111.8456671452411]
マルチタスク学習(MTL)は、共有モデルを利用して複数のタスクを遂行し、知識伝達を促進する。
マルチタスクモデル統合のためのウェイトエンセブリング・ミックス・オブ・エキスパート(WEMoE)手法を提案する。
WEMoEとE-WEMoEは, MTL性能, 一般化, 堅牢性の観点から, 最先端(SOTA)モデルマージ法より優れていることを示す。
論文 参考訳(メタデータ) (2024-10-29T07:16:31Z) - Deep Pareto Reinforcement Learning for Multi-Objective Recommender Systems [60.91599969408029]
複数の目的を同時に最適化することは、レコメンデーションプラットフォームにとって重要なタスクです。
既存の多目的推薦システムは、そのような動的な関係を体系的に考慮していない。
論文 参考訳(メタデータ) (2024-07-04T02:19:49Z) - UCB-driven Utility Function Search for Multi-objective Reinforcement Learning [75.11267478778295]
マルチオブジェクト強化学習(MORL)エージェントでは、意思決定行動の最適化を行う。
重みベクトル w でパラメータ化される線型効用関数の場合に焦点を当てる。
学習過程の異なる段階で最も有望な重みベクトルを効率的に探索する上信頼境界に基づく手法を提案する。
論文 参考訳(メタデータ) (2024-05-01T09:34:42Z) - Intuition-aware Mixture-of-Rank-1-Experts for Parameter Efficient Finetuning [50.73666458313015]
大規模言語モデル(LLM)はマルチメディアアプリケーションで複数のタスクを実行する上で大きな可能性を証明している。
MoEは、効率的なタスクデカップリングのためのスパースアーキテクチャによる有望なソリューションとして登場した。
Intuition-MoR1Eは14のパブリックデータセットで優れた効率と2.15%の全体的な精度向上を実現している。
論文 参考訳(メタデータ) (2024-04-13T12:14:58Z) - Interactive Hyperparameter Optimization in Multi-Objective Problems via
Preference Learning [65.51668094117802]
我々は多目的機械学習(ML)に適した人間中心型対話型HPO手法を提案する。
ユーザが自分のニーズに最も適した指標を推測する代わりに、私たちのアプローチは自動的に適切な指標を学習します。
論文 参考訳(メタデータ) (2023-09-07T09:22:05Z) - BOtied: Multi-objective Bayesian optimization with tied multivariate ranks [33.414682601242006]
本稿では,非支配解と結合累積分布関数の極端量子化との自然な関係を示す。
このリンクにより、我々はPareto対応CDFインジケータと関連する取得関数BOtiedを提案する。
種々の合成および実世界の問題に対する実験により,BOtied は最先端MOBO 取得関数より優れていることが示された。
論文 参考訳(メタデータ) (2023-06-01T04:50:06Z) - Multi-Objective GFlowNets [59.16787189214784]
本稿では,多目的最適化の文脈において,多様な候補を生成する問題について検討する。
薬物発見やマテリアルデザインといった機械学習の多くの応用において、目標は、競合する可能性のある目標のセットを同時に最適化する候補を生成することである。
GFlowNetsをベースとした多目的GFlowNets(MOGFNs)を提案する。
論文 参考訳(メタデータ) (2022-10-23T16:15:36Z) - Multi-Fidelity Multi-Objective Bayesian Optimization: An Output Space
Entropy Search Approach [44.25245545568633]
複数目的のブラックボックス最適化の新たな課題を多要素関数評価を用いて検討する。
いくつかの総合的および実世界のベンチマーク問題に対する実験により、MF-OSEMOは両者の近似により、最先端の単一忠実度アルゴリズムよりも大幅に改善されていることが示された。
論文 参考訳(メタデータ) (2020-11-02T06:59:04Z) - MOPT: Multi-Object Panoptic Tracking [33.77171216778909]
マルチオブジェクト・パノプティブ・トラッキング(MOPT)と呼ばれる新しい知覚タスクを導入する。
MOPTは、時間とともに、"thing"クラスと"stuff"クラスのピクセルレベルのセマンティック情報、時間的コヒーレンス、ピクセルレベルの関連を活用できる。
視覚ベースとLiDARベースのMOPTの定量的,定性的な評価を行い,その効果を実証した。
論文 参考訳(メタデータ) (2020-04-17T11:45:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。