論文の概要: Monarch-MoE: Structured Experts for Multimodal Continual Instruction Tuning

• arxiv url: http://arxiv.org/abs/2610.13215v1
• Date: Fri, 09 Oct 2026 08:33:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.479345
• Title: Monarch-MoE: Structured Experts for Multimodal Continual Instruction Tuning
• Title（参考訳）: Monarch-MoE:マルチモーダルインストラクションチューニングのための構造化エキスパート
• Abstract要約: マルチエキスパートのLoRAは専門家に学習を配布するが、高密度のローランクの専門家への更新は依然として多くの出力機能に影響を与える可能性がある。 固定置換により連結されたブロック対角因子をLoRA専門家の高密度因子に置き換えるMonarch-MoEを導入する。 Monarch-MoEは3つの連続学習手法で評価され、適応パラメータを約75%と50%削減しながら、最初のタスク保持を改善した。
• 参考スコア（独自算出の注目度）: 19.4957454900878
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning new tasks in multimodal continual instruction tuning can cause catastrophic forgetting of previously acquired knowledge. Although multi-expert LoRA distributes learning across experts, updates to a dense low-rank expert can still affect many output features. We introduce Monarch-MoE, which replaces the dense factors in LoRA experts with block-diagonal factors connected by a fixed permutation. This structure provides blockwise gradient isolation: individual block-pair updates affect only one output block, while connections between all input and output blocks are maintained. To make these compact experts practical on memory-limited hardware, we combine batched computation, fused forward operators, and an optimized backward pass. Across three continual-learning methods evaluated on MLLM-DCL and UCIT with LLaVA-1.5-7B, Monarch-MoE improves first-task retention while reducing adapter parameters by approximately 75% and 50%, respectively. In the main comparison, first-task forgetting is as low as 0.52 percentage points on MLLM-DCL and 0.10 on UCIT, with method-dependent trade-offs in final performance. Our implementation supports fine-tuning and inference on a single 24 GB RTX 4090, with lower measured memory use and competitive runtime in the evaluated settings. Together, these algorithmic and systems improvements make structured experts a practical option for continual adaptation on memory-limited hardware.
• Abstract（参考訳）: マルチモーダルな命令チューニングにおける新しいタスクの学習は、以前に獲得した知識を壊滅的に忘れてしまう可能性がある。 マルチエキスパートのLoRAは専門家に学習を分散させるが、高密度のローランクの専門家への更新は依然として多くの出力機能に影響を与える可能性がある。 固定置換により連結されたブロック対角因子をLoRA専門家の高密度因子に置き換えるMonarch-MoEを導入する。 個々のブロックペア更新は1つの出力ブロックにのみ影響し、すべての入力ブロックと出力ブロック間の接続は維持される。 メモリ制限ハードウェアでこれらのコンパクトな専門家を実用化するために、バッチ計算、融合したフォワード演算子、最適化された後方パスを組み合わせる。 MLLM-DCLとUCITをLLaVA-1.5-7Bで評価した3つの連続学習法において,Monarch-MoEは適応パラメータを約75%,UCITを50%削減し,第1タスク保持を改善した。 MLLM-DCLでは0.52ポイント、UCITでは0.10ポイント、最終性能ではメソッド依存のトレードオフがある。 本実装では,24GBのRTX 4090上での微調整と推論をサポートし,メモリ使用量の低減と,評価設定における競合ランタイムを実現する。 これらのアルゴリズムとシステムの改善により、構造化専門家はメモリ制限ハードウェアへの継続的な適応のための実用的な選択肢となる。

関連論文リスト

• CoRe-MoE: Compact Reusable MoE for Continual Multimodal Instruction Tuning [27.134978383829807]
  連続的マルチモーダル命令チューニングでは,タスク能力を逐次獲得するために,多モーダルな大規模言語モデルが必要となる。 LoRA-MoEは、専門家ベースのキャパシティを導入することで、有望なソリューションを提供する。 パラメータ効率の良い連続マルチモーダル命令チューニングのためのコンパクト再使用型MoEフレームワークであるCoRe-MoEを提案する。
  論文  参考訳（メタデータ） (2026-08-28T03:15:58Z)
• Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models [50.34585122347149]
  これは連続的なトランスフォーマー層にまたがるエキスパートパラメータを共有するアーキテクチャ修正である。 我々は、OLMoE、Qwen3、DeepSeekスタイルのMoEなど、一般的な最先端アーキテクチャにおけるこのアプローチを評価した。
  論文  参考訳（メタデータ） (2026-06-15T15:08:09Z)
• dMoE: dLLMs with Learnable Block Experts [71.572316901001]
  単純なブロックレベルのMoEフレームワークであるdMoEを提案する。 また,dMoEは,推論中に一意に活性化される専門家の数を著しく減少させることを示した。 また、メモリ使用量を76.64%から79.84%に減らし、1.14$times$から1.66$times$エンドツーエンドのレイテンシ高速化を実現している。
  論文  参考訳（メタデータ） (2026-05-29T06:03:50Z)
• Prism: Efficient Test-Time Scaling via Hierarchical Search and Self-Verification for Discrete Diffusion Language Models [96.0074341403456]
  LLM推論を改善するための実用的な方法として、推論時計算が再導入されている。 テスト時間スケーリング(TTS)アルゴリズムの多くは、自動回帰デコーディングに依存している。 そこで我々は,dLLM のための効率的な TTS フレームワーク Prism を提案する。
  論文  参考訳（メタデータ） (2026-02-02T09:14:51Z)
• Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
  単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。 本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
  論文  参考訳（メタデータ） (2026-01-30T10:54:51Z)
• MobiZO: Enabling Efficient LLM Fine-Tuning at the Edge via Inference Engines [28.18421624702502]
  本稿では,大規模言語モデル(LLM)のための資源効率の高い微調整フレームワークであるMobiZOを紹介する。 MobiZOは、微調整精度を向上しつつ、実行時の大幅な高速化とメモリ節約を実現する。 MobiZOは、微調整精度を向上しつつ、実行時の大幅なスピードアップとメモリ節約を実現している。
  論文  参考訳（メタデータ） (2024-09-23T20:14:09Z)
• A deeper look at depth pruning of LLMs [49.30061112976263]
  大規模言語モデル(LLM)は、トレーニングにはリソース集約的だが、本番環境でのデプロイにはよりコストがかかる。 最近の研究は、ブロックの重要性を推定するために、安価なプロキシに基づいてLSMのブロックをプルークしようと試みている。 適応メトリクスはタスク間のパフォーマンスのトレードオフを示すことを示す。
  論文  参考訳（メタデータ） (2024-07-23T08:40:27Z)
• T-REX: Mixture-of-Rank-One-Experts with Semantic-aware Intuition for Multi-task Large Language Model Finetuning [31.276142111455847]
  大規模言語モデル(LLM)は多様なマルチタスクの微調整において重要な適応課題に直面している。 我々はmixunderlinetextbfTureunderlinetextbf-of-underlinetextbfRank-onunderlinetextbfE-eunderlinetextbfXper ts (textttT-REX) という新しいフレームワークを設計する。 Rank-1のエキスパートは、ミックス・アンド・マッチのメカニズムにより、線形パラメータのオーバーヘッドを持つエキスパートのベクトル部分空間を2次に拡張し、最適で近似誤差削減を達成することができる。
  論文  参考訳（メタデータ） (2024-04-13T12:14:58Z)
• Efficient Deweather Mixture-of-Experts with Uncertainty-aware Feature-wise Linear Modulation [44.43376913419967]
  本稿では,専門家間での重み共有が可能なMixture-of-Experts(MoE)アーキテクチャを提案する。 MoFMEは、単一の共有専門家ブロック上で学習可能なアクティベーション変調を通じて、暗黙的に複数の専門家をインスタンス化する。 実験の結果,MoFMEは画像修復品質の基準線を0.1-0.2dBで上回ることがわかった。
  論文  参考訳（メタデータ） (2023-12-27T15:23:37Z)
• Reinforcement Learning for Branch-and-Bound Optimisation using Retrospective Trajectories [72.15369769265398]
  機械学習は分岐のための有望なパラダイムとして登場した。 分岐のための単純かつ効果的なRLアプローチであるレトロ分岐を提案する。 我々は現在最先端のRL分岐アルゴリズムを3～5倍に上回り、500の制約と1000の変数を持つMILP上での最高のILメソッドの性能の20%以内である。
  論文  参考訳（メタデータ） (2022-05-28T06:08:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。