Fugu-MT 論文翻訳(概要): Explaining the Roles of Experts in Mixture-of-Experts LLMs for Personalization

論文の概要: Explaining the Roles of Experts in Mixture-of-Experts LLMs for Personalization

arxiv url: http://arxiv.org/abs/2610.22127v1
Date: Thu, 15 Oct 2026 16:02:46 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-17 06:09:33.182529
Title: Explaining the Roles of Experts in Mixture-of-Experts LLMs for Personalization
Title（参考訳）: パーソナライゼーションにおける専門家の役割について
Abstract要約: 大規模言語モデル(LLM)のパーソナライゼーションは、ユーザ中心のアプリケーションにとってますます重要になっている。そこで本稿では,Mixture-of-Experts (MoE) LLMのパーソナライズについて提案する。大規模パーソナライズデータセットに3つのオープンウェイトMOE LLMを適用し、パーソナライズされたモデルと非パーソナライズされたモデルのペアアクティベーションに基づいてクロスコーダを訓練し、解釈可能なパーソナライズされた潜在者を学習する。
参考スコア（独自算出の注目度）: 36.99679669584112
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Personalization of Large Language Models (LLMs) is increasingly important for user-centric applications, yet prior methods mainly adapt dense LLMs, whose polysemantic neurons, each encoding multiple unrelated concepts, hinder localizing the components behind personalization, and thus understanding and controlling it. We propose to personalize Mixture-of-Experts (MoE) LLMs, which sparsely route each token to a few specialized experts, reducing polysemanticity and enabling such localization. We adapt three open-weight MoE LLMs on a large-scale personalization dataset and train crosscoders on paired activations of the personalized and non-personalized models to learn interpretable personalized latents, from which we identify the experts encoding distinct personalization features. The personalized MoE LLMs perform competitively with dense LLMs while activating only a fraction of their parameters, exhibit lower polysemanticity than dense LLMs with similar active parameters, and, within the same model family, yield personalized latents that are less shared with the non-personalized model. Causal interventions show that these latents suffice to recover the personalized model's behavior and that boosting their associated experts moves the non-personalized model toward it, revealing distinct routing paths for different personalization features.
Abstract（参考訳）: LLM(Large Language Models)のパーソナライゼーションは、ユーザ中心のアプリケーションではますます重要になっているが、それ以前の手法では、多意味なニューロンが複数の無関係な概念を符号化し、パーソナライズの背後にあるコンポーネントのローカライズを妨げ、その理解と制御を妨げている。我々は,各トークンを少数の専門専門家に疎ルートし,多義性を低減し,そのような局所化を可能にするMixture-of-Experts (MoE) LLMをパーソナライズすることを提案する。我々は、大規模パーソナライゼーションデータセットに3つのオープンウェイトMOE LLMを適用し、パーソナライズされたモデルと非パーソナライズされたモデルのペアアクティベーションをトレーニングし、パーソナライズされた潜在者を解釈可能なパーソナライズされたパーソナライズされたパーソナライゼーション機能を持つ専門家を特定する。パーソナライズされたMOE LLMは、そのパラメータのごく一部を活性化し、類似の活性パラメータを持つ高密度LCMよりも低いポリセマンティック性を示し、同じモデルファミリーにおいて、非パーソナライズされたモデルと共有されていないパーソナライズされた潜伏剤を生産する。因果的介入は、これらの潜伏者がパーソナライズされたモデルの振る舞いを回復するのに十分であることを示し、関連する専門家が非パーソナライズされたモデルをそれに向かって移動させ、異なるパーソナライズされた特徴のための異なるルーティングパスを明らかにする。

論文の概要: Explaining the Roles of Experts in Mixture-of-Experts LLMs for Personalization

関連論文リスト