Fugu-MT 論文翻訳(概要): Harnessing Domain Specialists in Multimodal Mixture-of-Experts for Efficient Adaptation

論文の概要: Harnessing Domain Specialists in Multimodal Mixture-of-Experts for Efficient Adaptation

arxiv url: http://arxiv.org/abs/2610.02123v1
Date: Thu, 01 Oct 2026 17:37:13 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-03 01:19:24.337281
Title: Harnessing Domain Specialists in Multimodal Mixture-of-Experts for Efficient Adaptation
Title（参考訳）: 効率的な適応のためのマルチモーダル・ミックス・オブ・エクスプロイトにおけるハーネスングドメインスペシャリスト
Abstract要約: Mixture-of-Experts (MoE)アーキテクチャはスパース計算によってモデルのキャパシティを拡大し、専門家の小さなサブセットでトークンをルーティングする。モジュール性について明示的に訓練されていないにもかかわらず、専門家はモダリティやドメインにまたがる強力なセマンティック・スペシャライゼーションを開発する。本稿では,ルータ重みを意味論的に意味のある語彙トークンに復号することで,事前訓練されたモデル重みからドメイン特化専門家を直接識別するデータフリー手法であるExpertLensを紹介する。
参考スコア（独自算出の注目度）: 16.78084515476324
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Mixture-of-Experts (MoE) architectures scale model capacity through sparse computation, routing each token through only a small subset of experts. In this work, we explore whether this sparsity gives rise to emergent intrinsic organization in multimodal MoEs. We find that experts develop strong semantic specialization across modalities and domains despite not being explicitly trained for modularity. Building on this structure, we introduce ExpertLens, a data-free method that identifies domain-specialized experts directly from pretrained model weights by decoding router weights into semantically meaningful vocabulary tokens. We leverage this specialization for efficient multimodal adaptation by selectively fine-tuning experts relevant to a target domain. Across math, medical, and remote sensing tasks, ExpertLens matches or surpasses full fine-tuning while updating only 21.7 - 47.0% of model parameters and achieving a 4.0x average training speedup, and outperforms LoRA in both adaptation performance and training efficiency. These results show that sparsity introduced for efficiency can give rise to semantic modularity that is directly useful for efficient adaptation.
Abstract（参考訳）: Mixture-of-Experts (MoE)アーキテクチャはスパース計算によってモデルのキャパシティを拡大し、専門家の小さなサブセットでトークンをルーティングする。本研究は,マルチモーダルMOEにおいて,この空間が創発的な内在的組織を生じさせるかどうかを考察する。モジュール性について明示的に訓練されていないにもかかわらず、専門家はモダリティやドメインにまたがる強力なセマンティック・スペシャライゼーションを開発する。この構造の上に構築されたExpertLensは、事前訓練されたモデル重みからドメイン固有化の専門家を直接識別し、ルータ重みを意味論的に意味のある語彙トークンにデコードすることで、データフリーな手法である。我々は、この特殊化を利用して、ターゲットドメインに関連する専門家を選択的に微調整することで、効率的なマルチモーダル適応を行う。数学、医学、リモートセンシングのタスク全体で、ExpertLensは21.7～47.0%のモデルパラメータを更新し、平均4.0倍のトレーニングスピードアップを達成し、適応性能とトレーニング効率の両方でLoRAを上回っている。これらの結果から,効率向上のために導入される空間性は,効率的な適応に有効な意味的モジュラリティをもたらすことが示唆された。

関連論文リスト

From Experts to Sub-experts: Fine-grained Parameter-Efficient Fine-Tuning for MoE LLMs [54.56613868885818]
サブエキスパートレベルの適応は、大規模言語モデルのためのより正確で効率的なPEFTパラダイムである。 Neural Sub-expert Fine-Tuningは、専門家からサブエキスパートへのMoE適応を洗練させる微細なPEFTフレームワークである。
論文参考訳（メタデータ） (2026-09-22T04:04:53Z)
Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models [50.34585122347149]
これは連続的なトランスフォーマー層にまたがるエキスパートパラメータを共有するアーキテクチャ修正である。我々は、OLMoE、Qwen3、DeepSeekスタイルのMoEなど、一般的な最先端アーキテクチャにおけるこのアプローチを評価した。
論文参考訳（メタデータ） (2026-06-15T15:08:09Z)
pMoE: Prompting Diverse Experts Together Wins More in Visual Adaptation [68.3777121585281]
pMoEと呼ばれる新しいMixture-of-Expertsプロンプトチューニング手法を提案する。提案したpMoEは、幅広いタスクに対するモデルの汎用性と適用性を著しく向上させる。本研究は,一般領域と医療領域の分類・分節を含む47の適応タスクにまたがる広範囲な実験を行った。
論文参考訳（メタデータ） (2026-02-26T12:27:06Z)
Expert Divergence Learning for MoE-based Language Models [21.857507958048696]
本稿では,専門家間の機能的専門化を明確に促進する,新しい事前学習戦略であるExpert Divergence Learningを紹介する。本手法は,事前学習コーパスに固有のドメインラベルを活用するラベル駆動補助損失を組み込む。我々は,最大150億パラメータのMoEモデルをスクラッチから事前学習することで,我々のアプローチを検証する。
論文参考訳（メタデータ） (2026-02-10T06:58:38Z)
Token-Level LLM Collaboration via FusionRoute [60.72307345997823]
FusionRouteはトークンレベルのマルチLLMコラボレーションフレームワークである。各デコーディングステップで最も適した専門家を選択し、選択した専門家の次のTokenディストリビューションを洗練または修正する補完ロジットをコントリビュートする。シーケンスレベルのコラボレーションとトークンレベルのコラボレーション、モデルマージ、ダイレクト微調整の両方に優れています。
論文参考訳（メタデータ） (2026-01-08T16:53:16Z)
Training Matryoshka Mixture-of-Experts for Elastic Inference-Time Expert Utilization [60.309915093470416]
Matryoshka MoE(M-MoE)は、エキスパートアンサンブルに直接粗い構造を注入するトレーニングフレームワークである。私たちの作業は、大規模MOEモデルのより実用的で適応可能なデプロイメントの道を開くものです。
論文参考訳（メタデータ） (2025-09-30T16:56:44Z)
MoE-MLoRA for Multi-Domain CTR Prediction: Efficient Adaptation with Expert Specialization [0.0]
MoE-MLoRAはエキスパートの混成フレームワークで、各専門家はドメインを専門にするために独立して訓練される。 MoE-MLoRAはMovielensとTaobaoの8つのCTRモデルで評価した。
論文参考訳（メタデータ） (2025-06-09T09:03:05Z)
Scalable Multi-Domain Adaptation of Language Models using Modular Experts [10.393155077703653]
MoDEは、モジュール化されたドメインの専門家による一般的なPLMを強化する、エキスパートの混成アーキテクチャである。 MoDEは完全なパラメータの微調整に匹敵する目標性能を達成し、保持性能は1.65%向上した。
論文参考訳（メタデータ） (2024-10-14T06:02:56Z)
T-REX: Mixture-of-Rank-One-Experts with Semantic-aware Intuition for Multi-task Large Language Model Finetuning [31.276142111455847]
大規模言語モデル(LLM)は多様なマルチタスクの微調整において重要な適応課題に直面している。我々はmixunderlinetextbfTureunderlinetextbf-of-underlinetextbfRank-onunderlinetextbfE-eunderlinetextbfXper ts (textttT-REX) という新しいフレームワークを設計する。 Rank-1のエキスパートは、ミックス・アンド・マッチのメカニズムにより、線形パラメータのオーバーヘッドを持つエキスパートのベクトル部分空間を2次に拡張し、最適で近似誤差削減を達成することができる。
論文参考訳（メタデータ） (2024-04-13T12:14:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。