論文の概要: DriftMoE: A Mixture of Experts Approach to Handle Concept Drifts
- arxiv url: http://arxiv.org/abs/2507.18464v1
- Date: Thu, 24 Jul 2025 14:39:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-25 15:10:43.817652
- Title: DriftMoE: A Mixture of Experts Approach to Handle Concept Drifts
- Title（参考訳）: DriftMoE: コンセプトドリフトを扱うエキスパートのアプローチ
- Authors: Miguel Aspis, Sebastián A. Cajas Ordónez, Andrés L. Suárez-Cetrulo, Ricardo Simón Carbajo,
- Abstract要約: 本稿では、新しいコトレーニングフレームワークを通じて制限に対処するオンラインMixture-of-Experts (MoE)アーキテクチャであるDriftMoEを紹介する。
DriftMoEはコンパクトなニューラルルータで、インクリメンタルなHoeffdingツリーの専門家のプールと一緒に訓練されている。
我々はDriftMoEの性能を,急激な,段階的,現実的なドリフトにまたがる9つの最先端データストリーム学習ベンチマークで評価した。
- 参考スコア（独自算出の注目度）: 1.2487037582320804
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Learning from non-stationary data streams subject to concept drift requires models that can adapt on-the-fly while remaining resource-efficient. Existing adaptive ensemble methods often rely on coarse-grained adaptation mechanisms or simple voting schemes that fail to optimally leverage specialized knowledge. This paper introduces DriftMoE, an online Mixture-of-Experts (MoE) architecture that addresses these limitations through a novel co-training framework. DriftMoE features a compact neural router that is co-trained alongside a pool of incremental Hoeffding tree experts. The key innovation lies in a symbiotic learning loop that enables expert specialization: the router selects the most suitable expert for prediction, the relevant experts update incrementally with the true label, and the router refines its parameters using a multi-hot correctness mask that reinforces every accurate expert. This feedback loop provides the router with a clear training signal while accelerating expert specialization. We evaluate DriftMoE's performance across nine state-of-the-art data stream learning benchmarks spanning abrupt, gradual, and real-world drifts testing two distinct configurations: one where experts specialize on data regimes (multi-class variant), and another where they focus on single-class specialization (task-based variant). Our results demonstrate that DriftMoE achieves competitive results with state-of-the-art stream learning adaptive ensembles, offering a principled and efficient approach to concept drift adaptation. All code, data pipelines, and reproducibility scripts are available in our public GitHub repository: https://github.com/miguel-ceadar/drift-moe.
- Abstract（参考訳）: 非定常データストリームからの学習は、リソース効率を保ちながらオンザフライで適応できるモデルを必要とする。
既存の適応アンサンブル法は、しばしば専門知識を最適に活用できない粗粒度適応機構や単純な投票方式に依存している。
本稿では,これらの制約に対処するオンラインMixture-of-Experts(MoE)アーキテクチャであるDriftMoEを紹介する。
DriftMoEはコンパクトなニューラルルータで、インクリメンタルなHoeffdingツリーの専門家のプールと一緒に訓練されている。
重要なイノベーションは、専門家の専門化を可能にする共生学習ループにある。ルータは予測に最も適した専門家を選択し、関連する専門家は真のラベルを漸進的に更新し、ルータは、すべての正確な専門家を補強するマルチホットの正当性マスクを使用してパラメータを洗練する。
このフィードバックループは、専門家の専門化を加速しながら、ルータに明確な訓練信号を与える。
DriftMoEは、突発的、漸進的、実世界のドリフトにまたがる9つの最先端データストリーム学習ベンチマークのパフォーマンスを評価し、データレシスタンス(マルチクラスの亜種)の専門家と、単一クラスの特殊化(タスクベースの変種)に焦点を当てた2つの異なる構成をテストする。
以上の結果から,DriftMoEは最先端のストリーム学習適応アンサンブルと競合し,原理的かつ効率的なドリフト適応手法を提供することを示した。
すべてのコード、データパイプライン、再現性スクリプトは、GitHubのパブリックリポジトリで利用可能です。
関連論文リスト
- FedDAA: Dynamic Client Clustering for Concept Drift Adaptation in Federated Learning [6.327777127276663]
我々は、貴重な歴史的知識を保持しつつ、マルチソース概念のドリフトに適応するように設計された動的クラスタリングFLフレームワークであるFedDAAを提案する。
特に、FedDAAは3つのモジュールを統合している。クラスタ数決定モジュールは最適なクラスタ数を見つけることができ、実際のドリフトと仮想/ラベルドリフトを区別するリアルドリフト検出モジュールは、有用な履歴情報を保持しながら新しいデータに適応するコンセプトドリフト適応モジュールである。
実験の結果、FedDAAはFashion-MNIST、CIFAR-10、CIFAR-100の最先端手法よりも精度が7.84%から8.52%向上した。
論文 参考訳（メタデータ） (2025-06-26T07:09:08Z) - XTrack: Multimodal Training Boosts RGB-X Video Object Trackers [88.72203975896558]
マルチモーダルセンシングから得られる知識を効果的に共有することが重要である。
異なるモダリティにまたがる類似のサンプルは、他のものよりも多くの知識を共有できる。
提案手法は,現在のSOTAよりも平均+3%精度が向上したRGB-Xトラッカーである。
論文 参考訳（メタデータ） (2024-05-28T03:00:58Z) - Methods for Generating Drift in Text Streams [49.3179290313959]
コンセプトドリフトは、実世界のデータセットで頻繁に発生する現象であり、時間とともにデータ分布の変化に対応する。
本稿では,ラベル付きドリフトを用いたデータセット作成を容易にするための4つのテキストドリフト生成手法を提案する。
その結果、ドリフトの直後にすべてのメソッドのパフォーマンスが低下し、インクリメンタルなSVMは、以前のパフォーマンスレベルを実行し、回復するのに最も速いことを示している。
論文 参考訳（メタデータ） (2024-03-18T23:48:33Z) - A comprehensive analysis of concept drift locality in data streams [3.5897534810405403]
概念ドリフトは、進化するデータ特性への効果的なモデル適応のために検出されなければならない。
本稿では,その局所性とスケールに基づいて,概念ドリフトの新たな分類法を提案する。
我々は, 様々な難易度において, 9つの最先端ドリフト検出器の比較評価を行った。
論文 参考訳（メタデータ） (2023-11-10T20:57:43Z) - FEAMOE: Fair, Explainable and Adaptive Mixture of Experts [9.665417053344614]
FEAMOEは、より公平で説明可能な、解釈可能なモデルを学ぶことを目的とした、"mixture-of-experts"にインスパイアされたフレームワークである。
線形エキスパートの混合物に適用した我々のフレームワークは、より公平なモデルを作成しながら、精度の観点からニューラルネットワークに相容れない性能を発揮できることを示す。
また,提案フレームワークがShapley値の高速な説明を可能にすることも証明した。
論文 参考訳（メタデータ） (2022-10-10T20:02:02Z) - Physics-Inspired Temporal Learning of Quadrotor Dynamics for Accurate
Model Predictive Trajectory Tracking [76.27433308688592]
クオーロタのシステムダイナミクスを正確にモデル化することは、アジャイル、安全、安定したナビゲーションを保証する上で非常に重要です。
本稿では,ロボットの経験から,四重項系の力学を純粋に学習するための新しい物理インスパイアされた時間畳み込みネットワーク(PI-TCN)を提案する。
提案手法は,スパース時間的畳み込みと高密度フィードフォワード接続の表現力を組み合わせて,正確なシステム予測を行う。
論文 参考訳（メタデータ） (2022-06-07T13:51:35Z) - Asynchronous Federated Learning for Sensor Data with Concept Drift [17.390098048134195]
フェデレートラーニング(FL)では、複数の分散デバイスが共有モデルを共同でトレーニングする。
以前のFLアプローチのほとんどは、トレーニングプロセス中にデバイス上のデータが固定され、静止していると仮定している。
コンセプトドリフトは、既存のデータと今後のデータの間に矛盾があるため、学習プロセスを複雑にします。
本稿では,ローカルデバイス上でのドリフトを検知し,対処するための新しいアプローチであるFedConDを提案する。
論文 参考訳（メタデータ） (2021-09-01T02:06:42Z) - A Generalizable Model-and-Data Driven Approach for Open-Set RFF
Authentication [74.63333951647581]
高周波指紋(RFF)は、低コストな物理層認証を実現するための有望な解決策である。
RFF抽出と識別のために機械学習に基づく手法が提案されている。
生受信信号からRFFを抽出するエンド・ツー・エンドのディープラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2021-08-10T03:59:37Z) - Concept drift detection and adaptation for federated and continual
learning [55.41644538483948]
スマートデバイスは環境から大量のデータを収集することができる。
このデータは機械学習モデルのトレーニングに適しており、その振る舞いを大幅に改善することができる。
そこで本研究では,Concept-Drift-Aware Federated Averagingと呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2021-05-27T17:01:58Z) - Learning Parameter Distributions to Detect Concept Drift in Data Streams [13.20231558027132]
実コンセプトドリフト検出のための新しいフレームワークであるERICSを提案する。
予測モデルのパラメータをランダム変数として扱うことにより、最適パラメータの分布の変化に対応する概念ドリフトが示される。
ERICSはまた、既存のアプローチよりも大きな利点である入力レベルで概念ドリフトを検出することができる。
論文 参考訳（メタデータ） (2020-10-19T11:19:16Z) - Learning From Multiple Experts: Self-paced Knowledge Distillation for
Long-tailed Classification [106.08067870620218]
我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。
提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。
提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2020-01-06T12:57:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。