論文の概要: SmolVLA-MoE: Sparse Mixture-of-Experts for Efficient Multi-Task Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2610.30732v1
• Date: Thu, 22 Oct 2026 04:58:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.216192
• Title: SmolVLA-MoE: Sparse Mixture-of-Experts for Efficient Multi-Task Robotic Manipulation
• Title（参考訳）: SmolVLA-MoE: 効率的なマルチタスクロボットマニピュレーションのためのスパースミキサー
• Abstract要約: VLAモデルにおけるアクションエキスパートのFFN層にスパース・ミックス・オブ・エクササイズ(MoE)を導入する新しいフレームワークであるSmolVLA-MoEを提案する。 SmolVLA-MoEは、高密度FFN層を複数の並列専門家FFNとトークンレベルのルータに置き換え、各トークンがアクション生成に最適な専門家を適応的に選択できるようにする。
• 参考スコア（独自算出の注目度）: 6.458257256516988
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language-Action (VLA) models have shown promising results in multi-task robotic manipulation by leveraging visual and language understanding for action generation. However, existing lightweight VLA models employ a single dense action expert to handle all tasks, which limits their multi-task capability under constrained computational budgets. To address this issue, we propose SmolVLA-MoE, a novel framework that introduces sparse Mixture-of-Experts (MoE) into the FFN layers of the action expert in VLA models. SmolVLA-MoE replaces dense FFN layers with multiple parallel expert FFNs and a token-level router, enabling each token to adaptively select the most suitable expert for action generation. We further introduce a shared expert with a tunable weight parameter to balance the inheritance of pre-trained capabilities and task-specific expert specialization. Through sparse activation, SmolVLA-MoE activates only a single expert FFN during inference, with a total activated parameter count of approximately 500M including the frozen VLM backbone, while benefiting from approximately 800M total stored parameters. We evaluate our method on four task suites of the LIBERO benchmark. SmolVLA-MoE achieves an average success rate of 84.25%, outperforming SmolVLA (82.75%) and OpenVLA-7B (76.5%), while maintaining comparable inference efficiency. Our code is publicly available at https://github.com/dudu435/smolvla-moe.
• Abstract（参考訳）: Vision-Language-Action(VLA)モデルは、視覚的および言語的理解をアクション生成に活用することにより、マルチタスクロボット操作において有望な結果を示している。 しかしながら、既存の軽量VLAモデルは、全てのタスクを処理するために単一の高密度アクションエキスパートを使用し、制約された計算予算下でのマルチタスク能力を制限する。 この問題に対処するため、我々は、VLAモデルにおけるアクションエキスパートのFFN層にスパース・ミックス・オブ・エクササイズ(MoE)を導入する新しいフレームワークであるSmolVLA-MoEを提案する。 SmolVLA-MoEは、高密度FFN層を複数の並列専門家FFNとトークンレベルのルータに置き換え、各トークンがアクション生成に最適な専門家を適応的に選択できるようにする。 さらに、トレーニング済み能力の継承とタスク固有の専門家専門化のバランスをとるために、調整可能な重みパラメータを持つ共有専門家を紹介します。 スパース活性化により、SmolVLA-MoEは推論中に1つの専門家FFNのみを活性化し、凍結したVLMバックボーンを含む約500Mの合計活性化パラメータ数は、約800Mの合計記憶パラメータから恩恵を受ける。 LIBEROベンチマークの4つのタスクスイートに対して,本手法の評価を行った。 SmolVLA-MoEの平均成功率は84.25%であり、SmolVLA(82.75%)とOpenVLA-7B(76.5%)を上回っている。 私たちのコードはhttps://github.com/dudu435/smolvla-moe.comで公開されています。

関連論文リスト

• LiLo-VLA: Compositional Long-Horizon Manipulation via Linked Object-Centric Policies [54.150202739999806]
  LiLo-VLAは、新しいロングホライゾンタスクに対してゼロショットのモジュラリティをトレーニングすることなく実現できるモジュラーフレームワークである。 LIBERO-Long++とUltra-Longという2つの課題からなる21タスクのシミュレーションベンチマークを導入する。 これらのシミュレーションでは、LiLo-VLAは平均成功率69%を達成し、Pi0.5を41%、OpenVLA-OFTを67%上回った。
  論文  参考訳（メタデータ） (2026-02-25T03:33:39Z)
• Awaker2.5-VL: Stably Scaling MLLMs with Parameter-Efficient Mixture of Experts [21.066098443321966]
  MLLM(Multimodal Large Language Models)に適したMixture of Experts(MoE)アーキテクチャであるAwaker2.5-VLを提案する。 Awaker2.5-VLのトレーニングと推論を高速化するために、我々のモデルの各専門家はローランク適応(LoRA)構造として考案される。 複数の最新のベンチマークの実験では、Awaker2.5-VLの有効性が示されている。
  論文  参考訳（メタデータ） (2024-11-16T02:10:14Z)
• Mini-InternVL: A Flexible-Transfer Pocket Multimodal Model with 5% Parameters and 90% Performance [78.48606021719206]
  Mini-InternVL は 1B から 4B までのパラメータを持つ一連の MLLM であり、パラメータの 5% しか持たない性能の90% を達成している。 我々は,ダウンストリームタスクにおける特化モデルの転送と性能向上を可能にする,Mini-InternVLの統一適応フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-10-21T17:58:20Z)
• OpenVLA: An Open-Source Vision-Language-Action Model [131.74098076670103]
  我々は、970kの現実世界のロボットデモの多様なコレクションに基づいて訓練されたオープンソースのVLAであるOpenVLAを紹介した。 OpenVLAは汎用的な操作の強力な結果を示し、RT-2-X (55B) のようなクローズドモデルよりも16.5%高い絶対的なタスク成功率を示した。 モデルチェックポイント、微調整ノートブック、そしてOpen X-Embodimentデータセット上で大規模にVLAをトレーニングするためのビルトインサポートを備えたPyTorchをリリースしています。
  論文  参考訳（メタデータ） (2024-06-13T15:46:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。