Fugu-MT 論文翻訳(概要): Statistic-Augmented, Decoupled MoE Routing and Aggregating in Autonomous Driving

論文の概要: Statistic-Augmented, Decoupled MoE Routing and Aggregating in Autonomous Driving

arxiv url: http://arxiv.org/abs/2512.06664v1
Date: Sun, 07 Dec 2025 05:28:40 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-23 08:17:40.180665
Title: Statistic-Augmented, Decoupled MoE Routing and Aggregating in Autonomous Driving
Title（参考訳）: 自律運転における統計強化・非結合型MoEルーティングと集約
Authors: Wei-Bin Kou, Guangxu Zhu, Jingreng Lei, Chen Zhang, Yik-Chung Wu, Jianping Wang,
Abstract要約: Large Model (LM)-Driven Mixture of Experts (MoE)パラダイムは、有望なソリューションを提供する。 LM駆動のMoE出力とアグリゲーション機構(MoE-RAM)を提案する。 MoE-RAMは、LM抽出された潜在特徴と最も関係のある専門家のキャッシュされた特徴とを一致させる統計的検索機構を組み込むことで、専門家のルーティングを強化する。
参考スコア（独自算出の注目度）: 32.600054594223096
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Autonomous driving (AD) scenarios are inherently complex and diverse, posing significant challenges for a single deep learning model to effectively cover all possible conditions, such as varying weather, traffic densities, and road types. Large Model (LM)-Driven Mixture of Experts (MoE) paradigm offers a promising solution, where LM serves as the backbone to extract latent features while MoE serves as the downstream head to dynamically select and aggregate specialized experts to adapt to different scenarios. However, routing and aggregating in MoE face intrinsic challenges, including imprecise expert selection due to flawed routing strategy and inefficient expert aggregation leading to suboptimal prediction. To address these issues, we propose a statistic-augmented, decoupled MoE }outing and Aggregating Mechanism (MoE-RAM) driven by LM. Specifically, on the one hand, MoE-RAM enhances expert routing by incorporating statistical retrieval mechanism to match LM-extracted latent features with cached prototypical features of the most relevant experts; on the other hand, MoE-RAM adaptively reweights experts' outputs in fusion by measuring statistical distances of experts' instant features against LM-extracted latent features. Benefiting from the synergy of the statistic-augmented MoE's routing and aggregating, MoE-RAM ultimately improves the prediction performance. We take the AD semantic segmentation task as an example to assess the proposed MoE-RAM. Extensive experiments on AD datasets demonstrate the superiority of MoE-RAM compared to other MoE baselines and conventional single-model approaches.
Abstract（参考訳）: 自律運転(AD)のシナリオは本質的に複雑で多様であり、気象、交通密度、道路タイプなど、考えられるすべての条件を効果的にカバーする1つのディープラーニングモデルにとって重要な課題となっている。大きなモデル(LM)-Driven Mixture of Experts(MoE)パラダイムは、LMが潜在機能を抽出するバックボーンとして機能し、MoEが下流のヘッドとして機能し、異なるシナリオに適応するために専門専門家を動的に選択し集約する、有望なソリューションを提供する。しかし、MoEのルーティングとアグリゲーションは、欠陥のあるルーティング戦略による不正確な専門家選択や、非効率的な専門家アグリゲーションなど、固有の課題に直面している。これらの問題に対処するため,LM を駆動する MoE }outing and Aggregating Mechanism (MoE-RAM) を提案する。特に、MoE-RAMは、LM抽出された潜在特徴と、最も関係のある専門家のキャッシュされた原型特徴とを一致させる統計的検索機構を組み込むことで、専門家の融合における出力を適応的に重み付けし、LM抽出された潜在特徴に対して専門家のインスタント特徴の統計的距離を測定することで、専門家のルーティングを強化する。統計拡張されたMoEのルーティングと集約の相乗効果により、MoE-RAMは最終的に予測性能を改善する。我々は、提案したMoE-RAMを評価する例として、ADセマンティックセマンティックセマンティクスタスクを例に挙げる。 ADデータセットの大規模な実験は、他のMoEベースラインや従来の単一モデルアプローチと比較してMoE-RAMの優位性を示している。

関連論文リスト

HFedMoE: Resource-aware Heterogeneous Federated Learning with Mixture-of-Experts [26.55877320740609]
我々は,HFedMoEを提案する。HFedMoEは不均一なMoEベースのFLファインチューニングフレームワークで,各クライアントに専門家のサブセットをカスタマイズする。 HFedMoEは、微調整パフォーマンスへの貢献に基づいて、専門家の重要性を特定している。そして、情報ボトルネックの観点から専門家のサブセットを適応的に選択し、各クライアントのコンピューティング予算に適合させる。
論文参考訳（メタデータ） (2026-01-02T05:56:11Z)
Training Matryoshka Mixture-of-Experts for Elastic Inference-Time Expert Utilization [60.309915093470416]
Matryoshka MoE(M-MoE)は、エキスパートアンサンブルに直接粗い構造を注入するトレーニングフレームワークである。私たちの作業は、大規模MOEモデルのより実用的で適応可能なデプロイメントの道を開くものです。
論文参考訳（メタデータ） (2025-09-30T16:56:44Z)
Beyond Benchmarks: Understanding Mixture-of-Experts Models through Internal Mechanisms [55.1784306456972]
Mixture-of-Experts (MoE)アーキテクチャは、推論中にパラメータのサブセットだけをアクティベートすることで、効率とスケーラビリティを提供する、有望な方向性として登場した。内部メトリックを用いて、ルーティング機構を明示的に取り入れ、専門家レベルの振る舞いを分析することで、MoEアーキテクチャのメカニズムを解明する。その結果,(1)モデルの発展に伴ってニューロンの利用が減少し,より高度な一般化が期待できる,(2)ベンチマークのパフォーマンスが限られた信号のみを提供するダイナミックな軌道を示す,(3)複数の専門家の協力的貢献からタスク完了が生じる,(4)ニューロンレベルでの活性化パターンがデータ多様性のきめ細かいプロキシを提供する,といった結果が得られた。
論文参考訳（メタデータ） (2025-09-28T15:13:38Z)
EvoMoE: Expert Evolution in Mixture of Experts for Multimodal Large Language Models [25.12002287083368]
MLLM(Multi-modal large language model)は、MoE技術を採用した。 MoEの専門家は、単にLPMからFFNパラメータを複製することで、しばしば発生する。専門家の統一性は、MOEの専門家が単に LLM から FFN パラメータを複製することによって生じることが多いためである。ルータの剛性は専門家の選択に静的リニアルータが広く使われていることに由来する
論文参考訳（メタデータ） (2025-05-28T08:38:39Z)
CoMoE: Contrastive Representation for Mixture-of-Experts in Parameter-Efficient Fine-tuning [10.215751315734018]
我々は,MoEのモジュール化と特殊化を促進するために,MoE(CoMoE)のコントラスト表現を提案する。いくつかのベンチマークやマルチタスク環境での実験では、CoMoEはMoEのキャパシティを継続的に向上し、専門家間のモジュール化を促進することができる。
論文参考訳（メタデータ） (2025-05-23T06:58:44Z)
DynMoLE: Boosting Mixture of LoRA Experts Fine-Tuning with a Hybrid Routing Mechanism [5.988126768890861]
DynMoLEは、ルータの確率分布のTsallisエントロピーに基づいて、専門家の選択を動的に調整するハイブリッドルーティング戦略である。我々はDynMoLEが大幅な性能向上を実現していることを示す。
論文参考訳（メタデータ） (2025-04-01T11:14:19Z)
Efficient and Effective Weight-Ensembling Mixture of Experts for Multi-Task Model Merging [111.8456671452411]
マルチタスク学習(MTL)は、共有モデルを利用して複数のタスクを遂行し、知識伝達を促進する。マルチタスクモデル統合のためのウェイトエンセブリング・ミックス・オブ・エキスパート(WEMoE)手法を提案する。 WEMoEとE-WEMoEは, MTL性能, 一般化, 堅牢性の観点から, 最先端(SOTA)モデルマージ法より優れていることを示す。
論文参考訳（メタデータ） (2024-10-29T07:16:31Z)
Self-MoE: Towards Compositional Large Language Models with Self-Specialized Experts [49.950419707905944]
本稿では,モノリシックLLMを,自己専門化の専門家による構成的,モジュール的なシステムに変換するアプローチであるSelf-MoEを紹介する。提案手法は, 自己生成合成データを用いて, 専門家モジュールを構成する自己特殊化を利用する。本研究は, モジュール性の重要性, マルチベースLCMへの適用性, 効率的でスケーラブルで適応可能なシステムの実現における自己改善の可能性を明らかにするものである。
論文参考訳（メタデータ） (2024-06-17T19:06:54Z)
On Least Square Estimation in Softmax Gating Mixture of Experts [78.3687645289918]
決定論的MoEモデルに基づく最小二乗推定器(LSE)の性能について検討する。我々は,多種多様な専門家関数の収束挙動を特徴付けるために,強い識別可能性という条件を確立する。本研究は,専門家の選択に重要な意味を持つ。
論文参考訳（メタデータ） (2024-02-05T12:31:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。