論文の概要: FT-MoE: Sustainable-learning Mixture of Experts Model for Fault-Tolerant Computing with Multiple Tasks

• arxiv url: http://arxiv.org/abs/2504.20446v1
• Date: Tue, 29 Apr 2025 05:44:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:54.766863
• Title: FT-MoE: Sustainable-learning Mixture of Experts Model for Fault-Tolerant Computing with Multiple Tasks
• Title（参考訳）: FT-MoE:複数タスクをもつフォールトトレラントコンピューティングのためのエキスパートモデルの持続的学習混合
• Authors: Wenjing Xiao, Wenhao Song, Miaojiang Chen, Ruikun Luo, Min Chen,
• Abstract要約: 複数のタスクを伴うフォールトトレラントコンピューティングのための持続的学習ミックス・オブ・エキスパートモデルFT-MoEを提案する。 本稿では,故障検出タスクと分類タスクの両方に対して高精度な予測を行うための,専門家ネットワークの2つの組み合わせを提案する。 FT-MoEの有効性を検証するため,FTベンチマークで広範囲に実験を行った。
• 参考スコア（独自算出の注目度）: 5.271397717002302
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Intelligent fault-tolerant (FT) computing has recently demonstrated significant advantages of predicting and diagnosing faults in advance, enabling reliable service delivery. However, due to heterogeneity of fault knowledge and complex dependence relationships of time series log data, existing deep learning-based FT algorithms further improve detection performance relying on single neural network model with difficulty. To this end, we propose FT-MoE, a sustainable-learning mixture-of-experts model for fault-tolerant computing with multiple tasks, which enables different parameters learning distinct fault knowledge to achieve high-reliability for service system. Firstly, we use decoder-based transformer models to obtain fault prototype vectors of decoupling long-distance dependencies. Followed by, we present a dual mixture of experts networks for high-accurate prediction for both fault detection and classification tasks. Then, we design a two-stage optimization scheme of offline training and online tuning, which allows that in operation FT-MoE can also keep learning to adapt to dynamic service environments. Finally, to verify the effectiveness of FT-MoE, we conduct extensive experiments on the FT benchmark. Experimental results show that FT-MoE achieves superior performance compared to the state-of-the-art methods. Code will be available upon publication.
• Abstract（参考訳）: インテリジェントなフォールトトレラント(FT)コンピューティングは、障害を事前に予測し、診断し、信頼性の高いサービス配信を可能にするという大きな利点を最近示した。 しかし、フォールト知識の不均一性と時系列ログデータの複雑な依存関係により、既存のディープラーニングベースのFTアルゴリズムは、単一ニューラルネットワークモデルに依存する検出性能をさらに向上する。 そこで本研究では,複数のタスクによるフォールトトレラントコンピューティングのための持続的学習ミックス・オブ・エキスパートモデルであるFT-MoEを提案する。 まず、デコーダベースのトランスフォーマーモデルを用いて、長距離依存を分離する故障プロトタイプベクトルを得る。 続いて, 故障検出と分類タスクの双方に対して, 高精度な予測を行うための, 専門家ネットワークの2つの混合について述べる。 そして、オフライントレーニングとオンラインチューニングの2段階最適化方式を設計し、動作中にFT-MoEが動的サービス環境への適応を継続できるようにする。 最後に、FT-MoEの有効性を検証するために、FTベンチマークで広範な実験を行う。 実験の結果,FT-MoEは最先端手法に比べて優れた性能を示した。 コードは出版時に公開されます。

関連論文リスト

• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• MFTCoder: Boosting Code LLMs with Multitask Fine-Tuning [28.12788291168137]
  複数のタスクを同時に並列に微調整できるマルチタスクファインチューニングフレームワーク MFTcoder を提案する。 実験により、我々のマルチタスクファインチューニングアプローチは、単一タスクにおける個々のファインチューニングと、混合タスクにおけるファインチューニングの両方より優れていることが示された。
  論文  参考訳（メタデータ） (2023-11-04T02:22:40Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• An Incomplete Tensor Tucker decomposition based Traffic Speed Prediction Method [0.0]
  この研究は、比例積分微分(PID)コントローラのユニークな利点をタッカー分解に基づくLFTモデルに統合する。 2つの主要都市交通道路速度データセットによる実験により,提案モデルが高い効率向上と高い競合予測精度を実現することを示す。
  論文  参考訳（メタデータ） (2023-04-21T13:59:28Z)
• DeepFT: Fault-Tolerant Edge Computing using a Self-Supervised Deep Surrogate Model [12.335763358698564]
  本稿では,システム過負荷とその悪影響を積極的に回避するためにDeepFTを提案する。 DeepFTは、システム内の障害を正確に予測し、診断するために、ディープサロゲートモデルを使用している。 モデルのサイズが1ユニットあたりわずか3～1%のスケールで、アクティブなタスクやホストの数が増えるため、非常にスケーラブルなソリューションを提供する。
  論文  参考訳（メタデータ） (2022-12-02T16:51:58Z)
• Automatic inference of fault tree models via multi-objective evolutionary algorithms [1.189955933770711]
  フォールトツリー解析は信頼性工学とリスクアセスメントにおいてよく知られている手法である。 伝統的に、フォールトツリーモデルはドメインの専門家と一緒に手動で構築される。 インダストリアル4.0では、インスペクションとモニタリングデータの利用が増加し、関連する大規模データセットから知識を抽出する技術が開発されている。 本稿では,人間の介入を伴わない障害データセットに含まれる障害機構の完全な表現を実現するために,効率的なFT構造を推論するためのデータ駆動手法を提案する。
  論文  参考訳（メタデータ） (2022-04-06T13:19:41Z)
• Bias-Variance Tradeoffs in Single-Sample Binary Gradient Estimators [100.58924375509659]
  ストレートスルー (ST) 推定器はその単純さと効率性から人気を得た。 計算の複雑さを低く保ちながら、STよりも改善するいくつかの手法が提案された。 我々は、トレードオフを理解し、元来主張された特性を検証するために、これらの手法のバイアスとばらつきの理論解析を行う。
  論文  参考訳（メタデータ） (2021-10-07T15:16:07Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• Deep Multi-Task Learning for Cooperative NOMA: System Design and Principles [52.79089414630366]
  我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。 我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-07-27T12:38:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。