Fugu-MT 論文翻訳(概要): DriftMoE: A Mixture of Experts Approach to Handle Concept Drifts

論文の概要: DriftMoE: A Mixture of Experts Approach to Handle Concept Drifts

arxiv url: http://arxiv.org/abs/2507.18464v1
Date: Thu, 24 Jul 2025 14:39:20 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-25 15:10:43.817652
Title: DriftMoE: A Mixture of Experts Approach to Handle Concept Drifts
Title（参考訳）: DriftMoE: コンセプトドリフトを扱うエキスパートのアプローチ
Authors: Miguel Aspis, Sebastián A. Cajas Ordónez, Andrés L. Suárez-Cetrulo, Ricardo Simón Carbajo,
Abstract要約: 本稿では、新しいコトレーニングフレームワークを通じて制限に対処するオンラインMixture-of-Experts (MoE)アーキテクチャであるDriftMoEを紹介する。 DriftMoEはコンパクトなニューラルルータで、インクリメンタルなHoeffdingツリーの専門家のプールと一緒に訓練されている。我々はDriftMoEの性能を,急激な,段階的,現実的なドリフトにまたがる9つの最先端データストリーム学習ベンチマークで評価した。
参考スコア（独自算出の注目度）: 1.2487037582320804
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Learning from non-stationary data streams subject to concept drift requires models that can adapt on-the-fly while remaining resource-efficient. Existing adaptive ensemble methods often rely on coarse-grained adaptation mechanisms or simple voting schemes that fail to optimally leverage specialized knowledge. This paper introduces DriftMoE, an online Mixture-of-Experts (MoE) architecture that addresses these limitations through a novel co-training framework. DriftMoE features a compact neural router that is co-trained alongside a pool of incremental Hoeffding tree experts. The key innovation lies in a symbiotic learning loop that enables expert specialization: the router selects the most suitable expert for prediction, the relevant experts update incrementally with the true label, and the router refines its parameters using a multi-hot correctness mask that reinforces every accurate expert. This feedback loop provides the router with a clear training signal while accelerating expert specialization. We evaluate DriftMoE's performance across nine state-of-the-art data stream learning benchmarks spanning abrupt, gradual, and real-world drifts testing two distinct configurations: one where experts specialize on data regimes (multi-class variant), and another where they focus on single-class specialization (task-based variant). Our results demonstrate that DriftMoE achieves competitive results with state-of-the-art stream learning adaptive ensembles, offering a principled and efficient approach to concept drift adaptation. All code, data pipelines, and reproducibility scripts are available in our public GitHub repository: https://github.com/miguel-ceadar/drift-moe.
Abstract（参考訳）: 非定常データストリームからの学習は、リソース効率を保ちながらオンザフライで適応できるモデルを必要とする。既存の適応アンサンブル法は、しばしば専門知識を最適に活用できない粗粒度適応機構や単純な投票方式に依存している。本稿では,これらの制約に対処するオンラインMixture-of-Experts(MoE)アーキテクチャであるDriftMoEを紹介する。 DriftMoEはコンパクトなニューラルルータで、インクリメンタルなHoeffdingツリーの専門家のプールと一緒に訓練されている。重要なイノベーションは、専門家の専門化を可能にする共生学習ループにある。ルータは予測に最も適した専門家を選択し、関連する専門家は真のラベルを漸進的に更新し、ルータは、すべての正確な専門家を補強するマルチホットの正当性マスクを使用してパラメータを洗練する。このフィードバックループは、専門家の専門化を加速しながら、ルータに明確な訓練信号を与える。 DriftMoEは、突発的、漸進的、実世界のドリフトにまたがる9つの最先端データストリーム学習ベンチマークのパフォーマンスを評価し、データレシスタンス(マルチクラスの亜種)の専門家と、単一クラスの特殊化(タスクベースの変種)に焦点を当てた2つの異なる構成をテストする。以上の結果から,DriftMoEは最先端のストリーム学習適応アンサンブルと競合し,原理的かつ効率的なドリフト適応手法を提供することを示した。すべてのコード、データパイプライン、再現性スクリプトは、GitHubのパブリックリポジトリで利用可能です。

関連論文リスト

Benchmarking Few-shot Transferability of Pre-trained Models with Improved Evaluation Protocols [123.73663884421272]
より強力な事前訓練モデルと改良された適応アルゴリズムによって、わずかなショット転送が革新されている。 FEWTRANSは10種類のデータセットを含む総合的なベンチマークである。 FEWTRANS をリリースすることにより,数発の転写学習研究において再現性の向上を合理化するための厳密な "ルーラー" の提供を目指す。
論文参考訳（メタデータ） (2026-02-28T05:41:57Z)
DriveFine: Refining-Augmented Masked Diffusion VLA for Precise and Robust Driving [14.800134964871875]
拡散に基づくプランナーは、モダリティアライメントの困難、訓練効率の低下、限定的な一般化に悩まされる。トークンベースのプランナーは累積因果ミスと不可逆復号に悩まされている。フレキシブルデコーディングと自己補正機能を組み合わせたマスク付き拡散VLAモデルであるDriveFineを提案する。
論文参考訳（メタデータ） (2026-02-16T09:13:52Z)
SAME: Stabilized Mixture-of-Experts for Multimodal Continual Instruction Tuning [83.66308307152808]
マルチモーダル・インストラクション・チューニング(MCIT)のためのStAbilized Mixture-of-Experts(SAME)を提案する。プロプライエタリは、サブスペースへのルーティングダイナミクスを分解し、タスク関連方向のみを更新することで、専門家の選択を安定化する。また、トレーニング中に選択した専門家を凍結するためにアダプティブな専門家アクティベーションを導入し、冗長でクロスタスクな干渉を減らす。
論文参考訳（メタデータ） (2026-02-02T11:47:06Z)
Mixture-of-Transformers Learn Faster: A Theoretical Study on Classification Problems [59.94955550958074]
本研究では,各変圧器ブロックが連続的に訓練されたゲーティングネットワークによって制御される専門家として機能する,トラクタブルな理論的枠組みについて検討する。専門家の専門化は、勾配の衝突を減らし、各サブタスクを強く凸させることを示す。トレーニングによって予測損失が$O(log(epsilon-1)$のステップでゼロに近づき、単一変圧器の$O(epsilon-1)$のレートよりも大幅に向上することが証明された。
論文参考訳（メタデータ） (2025-10-30T21:07:36Z)
Guided by the Experts: Provable Feature Learning Dynamic of Soft-Routed Mixture-of-Experts [11.437368205968573]
本稿では,非線形ルータと専門家によるソフトローイング型MoEモデルの連成訓練のための収束保証を提供することにより,MoE理論を推し進める。訓練後プルーニングは、効果的に冗長ニューロンを除去し、続いて、大域的最適性に到達した、確実に収束した微調整プロセスを示す。
論文参考訳（メタデータ） (2025-10-08T16:40:31Z)
MEPT: Mixture of Expert Prompt Tuning as a Manifold Mapper [75.6582687942241]
本稿では,Mixture of Expert Prompt Tuning (MEPT) を効果的かつ効率的な多様体マッピングフレームワークとして提案する。 MEPTは複数のプロンプト専門家を統合し、多様な非定常データ分布を適応的に学習する。経験的評価により、MEPTはSuperGLUE上でいくつかの最先端パラメータの効率的なベースラインより優れていることが示された。
論文参考訳（メタデータ） (2025-08-31T21:19:25Z)
FedDAA: Dynamic Client Clustering for Concept Drift Adaptation in Federated Learning [6.327777127276663]
我々は、貴重な歴史的知識を保持しつつ、マルチソース概念のドリフトに適応するように設計された動的クラスタリングFLフレームワークであるFedDAAを提案する。特に、FedDAAは3つのモジュールを統合している。クラスタ数決定モジュールは最適なクラスタ数を見つけることができ、実際のドリフトと仮想/ラベルドリフトを区別するリアルドリフト検出モジュールは、有用な履歴情報を保持しながら新しいデータに適応するコンセプトドリフト適応モジュールである。実験の結果、FedDAAはFashion-MNIST、CIFAR-10、CIFAR-100の最先端手法よりも精度が7.84%から8.52%向上した。
論文参考訳（メタデータ） (2025-06-26T07:09:08Z)
XTrack: Multimodal Training Boosts RGB-X Video Object Trackers [88.72203975896558]
マルチモーダルセンシングから得られる知識を効果的に共有することが重要である。異なるモダリティにまたがる類似のサンプルは、他のものよりも多くの知識を共有できる。提案手法は,現在のSOTAよりも平均+3%精度が向上したRGB-Xトラッカーである。
論文参考訳（メタデータ） (2024-05-28T03:00:58Z)
Methods for Generating Drift in Text Streams [49.3179290313959]
コンセプトドリフトは、実世界のデータセットで頻繁に発生する現象であり、時間とともにデータ分布の変化に対応する。本稿では,ラベル付きドリフトを用いたデータセット作成を容易にするための4つのテキストドリフト生成手法を提案する。その結果、ドリフトの直後にすべてのメソッドのパフォーマンスが低下し、インクリメンタルなSVMは、以前のパフォーマンスレベルを実行し、回復するのに最も速いことを示している。
論文参考訳（メタデータ） (2024-03-18T23:48:33Z)
A comprehensive analysis of concept drift locality in data streams [3.5897534810405403]
概念ドリフトは、進化するデータ特性への効果的なモデル適応のために検出されなければならない。本稿では,その局所性とスケールに基づいて,概念ドリフトの新たな分類法を提案する。我々は, 様々な難易度において, 9つの最先端ドリフト検出器の比較評価を行った。
論文参考訳（メタデータ） (2023-11-10T20:57:43Z)
FEAMOE: Fair, Explainable and Adaptive Mixture of Experts [9.665417053344614]
FEAMOEは、より公平で説明可能な、解釈可能なモデルを学ぶことを目的とした、"mixture-of-experts"にインスパイアされたフレームワークである。線形エキスパートの混合物に適用した我々のフレームワークは、より公平なモデルを作成しながら、精度の観点からニューラルネットワークに相容れない性能を発揮できることを示す。また,提案フレームワークがShapley値の高速な説明を可能にすることも証明した。
論文参考訳（メタデータ） (2022-10-10T20:02:02Z)
Physics-Inspired Temporal Learning of Quadrotor Dynamics for Accurate Model Predictive Trajectory Tracking [76.27433308688592]
クオーロタのシステムダイナミクスを正確にモデル化することは、アジャイル、安全、安定したナビゲーションを保証する上で非常に重要です。本稿では,ロボットの経験から,四重項系の力学を純粋に学習するための新しい物理インスパイアされた時間畳み込みネットワーク(PI-TCN)を提案する。提案手法は,スパース時間的畳み込みと高密度フィードフォワード接続の表現力を組み合わせて,正確なシステム予測を行う。
論文参考訳（メタデータ） (2022-06-07T13:51:35Z)
Asynchronous Federated Learning for Sensor Data with Concept Drift [17.390098048134195]
フェデレートラーニング(FL)では、複数の分散デバイスが共有モデルを共同でトレーニングする。以前のFLアプローチのほとんどは、トレーニングプロセス中にデバイス上のデータが固定され、静止していると仮定している。コンセプトドリフトは、既存のデータと今後のデータの間に矛盾があるため、学習プロセスを複雑にします。本稿では,ローカルデバイス上でのドリフトを検知し,対処するための新しいアプローチであるFedConDを提案する。
論文参考訳（メタデータ） (2021-09-01T02:06:42Z)
A Generalizable Model-and-Data Driven Approach for Open-Set RFF Authentication [74.63333951647581]
高周波指紋(RFF)は、低コストな物理層認証を実現するための有望な解決策である。 RFF抽出と識別のために機械学習に基づく手法が提案されている。生受信信号からRFFを抽出するエンド・ツー・エンドのディープラーニングフレームワークを提案する。
論文参考訳（メタデータ） (2021-08-10T03:59:37Z)
Concept drift detection and adaptation for federated and continual learning [55.41644538483948]
スマートデバイスは環境から大量のデータを収集することができる。このデータは機械学習モデルのトレーニングに適しており、その振る舞いを大幅に改善することができる。そこで本研究では,Concept-Drift-Aware Federated Averagingと呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2021-05-27T17:01:58Z)
Learning Parameter Distributions to Detect Concept Drift in Data Streams [13.20231558027132]
実コンセプトドリフト検出のための新しいフレームワークであるERICSを提案する。予測モデルのパラメータをランダム変数として扱うことにより、最適パラメータの分布の変化に対応する概念ドリフトが示される。 ERICSはまた、既存のアプローチよりも大きな利点である入力レベルで概念ドリフトを検出することができる。
論文参考訳（メタデータ） (2020-10-19T11:19:16Z)
Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification [106.08067870620218]
我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
論文参考訳（メタデータ） (2020-01-06T12:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。