Fugu-MT 論文翻訳(概要): Drift-aware Collaborative Assistance Mixture of Experts for Heterogeneous Multistream Learning

論文の概要: Drift-aware Collaborative Assistance Mixture of Experts for Heterogeneous Multistream Learning

arxiv url: http://arxiv.org/abs/2508.01598v1
Date: Sun, 03 Aug 2025 05:35:34 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-05 18:25:21.96224
Title: Drift-aware Collaborative Assistance Mixture of Experts for Heterogeneous Multistream Learning
Title（参考訳）: 不均一なマルチストリーム学習のためのエキスパートのドリフト対応協調支援ミックス
Authors: En Yu, Jie Lu, Kun Wang, Xiaoyu Yang, Guangquan Zhang,
Abstract要約: 現実のシナリオにおける複数のデータストリームからの学習は、本質的に不均一性と予測不可能な概念の漂流のため、基本的に困難である。既存の手法は通常、均質なストリームを仮定し、無差別な知識融合を持つ静的アーキテクチャを用いる。 CAMELは,各ストリームに専用の特徴抽出器とタスク固有ヘッドを付加した独立系を割り当てるフレームワークである。さらに,ドリフトに対する専門家のライフサイクルを動的に管理する自律エキスパートタナー(AET)戦略を提案する。
参考スコア（独自算出の注目度）: 31.877595633244734
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Learning from multiple data streams in real-world scenarios is fundamentally challenging due to intrinsic heterogeneity and unpredictable concept drifts. Existing methods typically assume homogeneous streams and employ static architectures with indiscriminate knowledge fusion, limiting generalizability in complex dynamic environments. To tackle this gap, we propose CAMEL, a dynamic \textbf{C}ollaborative \textbf{A}ssistance \textbf{M}ixture of \textbf{E}xperts \textbf{L}earning framework. It addresses heterogeneity by assigning each stream an independent system with a dedicated feature extractor and task-specific head. Meanwhile, a dynamic pool of specialized private experts captures stream-specific idiosyncratic patterns. Crucially, collaboration across these heterogeneous streams is enabled by a dedicated assistance expert. This expert employs a multi-head attention mechanism to distill and integrate relevant context autonomously from all other concurrent streams. It facilitates targeted knowledge transfer while inherently mitigating negative transfer from irrelevant sources. Furthermore, we propose an Autonomous Expert Tuner (AET) strategy, which dynamically manages expert lifecycles in response to drift. It instantiates new experts for emerging concepts (freezing prior ones to prevent catastrophic forgetting) and prunes obsolete ones. This expert-level plasticity provides a robust and efficient mechanism for online model capacity adaptation. Extensive experiments demonstrate CAMEL's superior generalizability across diverse multistreams and exceptional resilience against complex concept drifts.
Abstract（参考訳）: 現実のシナリオにおける複数のデータストリームからの学習は、本質的に不均一性と予測不可能な概念の漂流のため、基本的に困難である。既存の手法は、通常、均質なストリームを仮定し、複雑な動的環境における一般化性を制限する無差別な知識融合を持つ静的アーキテクチャを用いる。このギャップに対処するために、我々は、動的な \textbf{C}ollaborative \textbf{A}ssistance \textbf{M}ixture of \textbf{E}xperts \textbf{L}earning frameworkであるCAMELを提案する。各ストリームを専用の特徴抽出器とタスク固有のヘッドで独立系に割り当てることで、不均一性に対処する。一方、特殊なプライベートエキスパートの動的なプールは、ストリーム固有の慣用的パターンをキャプチャする。重要なことに、これらの異種ストリーム間のコラボレーションは、専用の支援専門家によって実現されている。このエキスパートはマルチヘッドアテンションメカニズムを使用して、関連するコンテキストを他のコンカレントストリームから自律的に蒸留し、統合する。これは本質的に無関係な情報源からの負の伝達を緩和しながら、標的となる知識伝達を促進する。さらに,ドリフトに対する専門家のライフサイクルを動的に管理する自律エキスパートタナー(AET)戦略を提案する。新たな概念(破滅的な忘れ物を防ぐために、以前の概念を凍結する)の専門家をインスタンス化し、時代遅れなものをプルーンにします。このエキスパートレベルの可塑性は、オンラインモデルキャパシティ適応のための堅牢で効率的なメカニズムを提供する。広範な実験により、CAMELは多様なマルチストリームにまたがる優れた一般化可能性を示し、複雑な概念のドリフトに対して例外的なレジリエンスを示す。

関連論文リスト

DriftMoE: A Mixture of Experts Approach to Handle Concept Drifts [1.2487037582320804]
本稿では、新しいコトレーニングフレームワークを通じて制限に対処するオンラインMixture-of-Experts (MoE)アーキテクチャであるDriftMoEを紹介する。 DriftMoEはコンパクトなニューラルルータで、インクリメンタルなHoeffdingツリーの専門家のプールと一緒に訓練されている。我々はDriftMoEの性能を,急激な,段階的,現実的なドリフトにまたがる9つの最先端データストリーム学習ベンチマークで評価した。
論文参考訳（メタデータ） (2025-07-24T14:39:20Z)
FindRec: Stein-Guided Entropic Flow for Multi-Modal Sequential Recommendation [50.438552588818]
textbfFindRec (textbfFlexible unified textbfinformation textbfdisentanglement for multi-modal sequence textbfRecommendation)を提案する。 Stein kernel-based Integrated Information Coordination Module (IICM) は理論上、マルチモーダル特徴とIDストリーム間の分散一貫性を保証する。マルチモーダル特徴を文脈的関連性に基づいて適応的にフィルタリング・結合するクロスモーダル・エキスパート・ルーティング機構。
論文参考訳（メタデータ） (2025-07-07T04:09:45Z)
Hecto: Modular Sparse Experts for Adaptive and Interpretable Reasoning [0.0]
Hectoは軽量なMoEアーキテクチャで、時間的推論のためのGRUエキスパートと、スパースなTop-1ゲーティングメカニズムの下で静的抽象化のためのFFNNエキスパートを組み合わせる。ヘクトは、独立した入力表現を受け取っているにもかかわらず、パフォーマンスにおいて均質なベースラインにマッチまたは密接に追従する。 Hectoは条件計算の新しいベンチマークとして自らを確立している。
論文参考訳（メタデータ） (2025-06-28T15:03:43Z)
Cooperation of Experts: Fusing Heterogeneous Information with Large Margin [11.522412489437702]
CoE(Cooperation of Experts)フレームワークは、マルチタイプ情報を統一された異種多重ネットワークにエンコードする。このフレームワークでは、専用のエンコーダがドメイン固有の専門家として機能し、それぞれが特定の意味空間における異なる関係パターンの学習に特化している。
論文参考訳（メタデータ） (2025-05-27T08:04:32Z)
CoCoAFusE: Beyond Mixtures of Experts via Model Fusion [3.501882879116058]
CoCoAFusEはMixtures of Experts(MoEs)の背景にある哲学に基づいている我々の定式化は、専門家の分布の融合を考えることによって、古典的な専門家の混合を延長する。この新しいアプローチは、数値的な例を動機付ける一連のスイートと、実際のデータのコレクションで広く紹介されている。
論文参考訳（メタデータ） (2025-05-02T08:35:04Z)
An Efficient and Mixed Heterogeneous Model for Image Restoration [71.85124734060665]
現在の主流のアプローチは、CNN、Transformers、Mambasの3つのアーキテクチャパラダイムに基づいている。混合構造融合に基づく効率的で汎用的なIRモデルであるRestorMixerを提案する。
論文参考訳（メタデータ） (2025-04-15T08:19:12Z)
Deep Reinforcement Learning with Hybrid Intrinsic Reward Model [50.53705050673944]
内在的な報酬形成は、ハード探索とスパース・リワードの環境を解決するための一般的なアプローチとして現れている。故意融合戦略を通じてハイブリッドな内因性報酬を作成するためのフレームワークであるHIRE(Hybrid Intrinsic Reward)を紹介する。
論文参考訳（メタデータ） (2025-01-22T04:22:13Z)
Complexity Experts are Task-Discriminative Learners for Any Image Restoration [80.46313715427928]
複雑性の専門家" - 様々な計算複雑性と受容的なフィールドを持つフレキシブルな専門家ブロックを紹介します。この選好は、タスク固有の割り当てを効果的に推進し、適切な複雑さを持つ専門家にタスクを割り当てる。提案したMoCE-IRモデルは最先端の手法より優れており、その効率性と実用性が確認されている。
論文参考訳（メタデータ） (2024-11-27T15:58:07Z)
DeepInteraction++: Multi-Modality Interaction for Autonomous Driving [80.8837864849534]
我々は,モダリティごとの個別表現を学習し,維持することのできる,新しいモダリティインタラクション戦略を導入する。 DeepInteraction++はマルチモーダルなインタラクション・フレームワークであり、マルチモーダルな表現型インタラクション・エンコーダとマルチモーダルな予測型インタラクション・デコーダを特徴とする。実験では,3次元物体検出とエンドツーエンドの自律走行の両方において,提案手法の優れた性能を示す。
論文参考訳（メタデータ） (2024-08-09T14:04:21Z)
Flexible and Adaptable Summarization via Expertise Separation [59.26639426529827]
熟練した要約モデルは、柔軟性と適応性の両方を示すべきである。我々は,Mixture-of-Expert SummarizationアーキテクチャであるMoeSummを提案する。我々のモデルでは、一般とドメイン固有の要約能力の分離は、顕著な柔軟性と適応性を与えている。
論文参考訳（メタデータ） (2024-06-08T05:31:19Z)
Generalization Error Analysis for Sparse Mixture-of-Experts: A Preliminary Study [65.11303133775857]
Mixture-of-Experts (MoE)計算アマルガメート予測 Sparse MoEは、限られた数、あるいは1つの専門家だけを選択的に扱うことで、経験的に保存され、時にはパフォーマンスが向上する一方で、オーバーヘッドを大幅に削減する。
論文参考訳（メタデータ） (2024-03-26T05:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。