論文の概要: Mixture of Tunable Experts - Behavior Modification of DeepSeek-R1 at Inference Time

• arxiv url: http://arxiv.org/abs/2502.11096v1
• Date: Sun, 16 Feb 2025 12:24:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:16:10.434528
• Title: Mixture of Tunable Experts - Behavior Modification of DeepSeek-R1 at Inference Time
• Title（参考訳）: チューナブルエキスパートの混在 -DeepSeek-R1の推論時間における行動修正
• Authors: Robert Dahlke, Henrik Klagges, Dan Zecha, Benjamin Merkel, Sven Rohr, Fabian Klemm,
• Abstract要約: 本稿では,Large Language Models(LLMs)のMixture-of-Expertsアーキテクチャを拡張する手法を提案する。 MoTEは、推論時間中のLLMにおける有意義で集中的な振る舞い変化を可能にする。
• 参考スコア（独自算出の注目度）: 1.1655046053160683
• License:
• Abstract: We present the Mixture-of-Tunable-Experts (MoTE), a method that extends the Mixture-of-Experts architecture of Large Language Models (LLMs). Without additional training, MoTE enables meaningful and focused behavior changes in LLMs on-the-fly during inference time. By analyzing the digital LLM brain of DeepSeek-R1 using a technique we dub 'functional Token Resonance Imaging' (fTRI) - inspired by fMRI and using prompts designed to elicit specific behavior (e.g., 'What happened {time}{place}?') - we empirically identify distinctive experts associated with behaviors like refusal responses. Using MoTE we are able to intervene and control such specific behavior. We switched off the top 10 most refusal-relevant experts (0.07% of R1's 14,848 routed experts), achieving a 52% refusal reduction on sensitive reference prompts without performance degradation on MT-Bench. Random expert deactivation resulted in smaller behavioral shifts with increased noise, whereas forced expert activation led to significantly higher refusal rates. Our approach shares similarities with sparse autoencoders (SAEs) in terms of explainability and steerability. Unlike SAEs, MoTE does not require large training efforts, as within MoEs with a vast number of experts, specialization already emerged naturally during pretraining. Our findings suggest that significant functional mechanisms in Mixture-of-Experts architectures can at least partially be localized in a small number of specific experts, rather than being distributed throughout the model's weights. Expert subgroups can be tuned to trigger significant behavior variations, providing insights into the inner workings of LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)のMixture-of-Expertsアーキテクチャを拡張する手法であるMixture-of-Tunable-Experts(MoTE)を提案する。 追加のトレーニングなしで、MoTEは推論時間中に飛行中のLCMに意味のある、集中した振る舞い変化を可能にする。 DeepSeek-R1のデジタルLLM脳を、fMRIにインスパイアされた「機能的Token Resonance Imaging(fTRI)」と、特定の振る舞いを誘発するプロンプト(例: 'What happened {time}{place}? MoTEを使用することで、そのような特定の振る舞いを介入し、制御することができます。 R1の14,848名のルート専門家の0.07%が、MT-Benchの性能劣化を伴わない機密基準プロンプトの52%の拒絶率を達成した。 ランダム専門家の不活性化はノイズの増加を伴う行動シフトを小さくし、一方、強制専門家のアクティベーションは拒絶率を大幅に高めた。 提案手法は,スパースオートエンコーダ (SAE) との類似性を説明可能性と操舵性の観点から比較する。 SAEとは異なり、MoTEは大量の専門家を持つMoEsの中では、事前訓練中に既に自然に特殊化が出現している。 この結果から,Mixture-of-Expertsアーキテクチャにおける重要な機能的メカニズムは,モデルの重みを通して分散されるのではなく,少なくとも少数の特定の専門家に部分的に局所化できることが示唆された。 専門家のサブグループは、LLMの内部動作に関する洞察を与え、重要な振る舞いの変動を引き起こすように調整することができる。

関連論文リスト

• Monet: Mixture of Monosemantic Experts for Transformers [33.8311330578753]
  トランスフォーマー(Monet)アーキテクチャのためのモノセマンティックエキスパート(Mixture of Monosemantic Experts)を紹介する。 Monetはスパース辞書学習を直接エンドツーエンドのMixture-of-Expertsプリトレーニングに組み込む。 本分析は,専門家間の知識の相互排他性を示し,各専門家にカプセル化されたパラメトリック知識を示す。
  論文  参考訳（メタデータ） (2024-12-05T13:06:03Z)
• Complexity Experts are Task-Discriminative Learners for Any Image Restoration [80.46313715427928]
  複雑性の専門家" - 様々な計算複雑性と受容的なフィールドを持つフレキシブルな専門家ブロックを紹介します。 この選好は、タスク固有の割り当てを効果的に推進し、適切な複雑さを持つ専門家にタスクを割り当てる。 提案したMoCE-IRモデルは最先端の手法より優れており、その効率性と実用性が確認されている。
  論文  参考訳（メタデータ） (2024-11-27T15:58:07Z)
• Beyond Parameter Count: Implicit Bias in Soft Mixture of Experts [44.09546603624385]
  ソフトモエの専門専門化について紹介する。 小さな専門家がたくさんいる場合、アーキテクチャは暗黙的に偏りがあり、専門的な専門家のサブセットを効率的に近似できることを示している。
  論文  参考訳（メタデータ） (2024-09-02T00:39:00Z)
• Unchosen Experts Can Contribute Too: Unleashing MoE Models' Power by Self-Contrast [58.98411447739218]
  Mixture-of-Experts (MoE) は、計算効率を保ちながら、モデルサイズをスケールするための顕著なアーキテクチャとして登場した。 本研究では,無声専門家を推論中に自己コントラスト的に活用する学習自由戦略である自己コントラスト混合(SCMoE)を提案する。 我々の手法は概念的には単純で計算量も軽量であり、グリージー復号法に比べて最小限の遅延を発生させる。
  論文  参考訳（メタデータ） (2024-05-23T12:45:29Z)
• Generalization Error Analysis for Sparse Mixture-of-Experts: A Preliminary Study [65.11303133775857]
  Mixture-of-Experts (MoE)計算アマルガメート予測 Sparse MoEは、限られた数、あるいは1つの専門家だけを選択的に扱うことで、経験的に保存され、時にはパフォーマンスが向上する一方で、オーバーヘッドを大幅に削減する。
  論文  参考訳（メタデータ） (2024-03-26T05:48:02Z)
• Omni-SMoLA: Boosting Generalist Multimodal Models with Soft Mixture of Low-rank Experts [74.40198929049959]
  大規模マルチモーダルモデル (LMM) は多くのタスクにまたがって優れた性能を示す。 ジェネラリストのLMMは、タスクの集合をチューニングする際に、しばしばパフォーマンスの劣化に悩まされる。 我々は,Omni-SMoLAを提案する。Omni-SMoLAはSoft MoEアプローチを用いて,多くのマルチモーダルな低ランクの専門家を混在させるアーキテクチャである。
  論文  参考訳（メタデータ） (2023-12-01T23:04:27Z)
• Merge, Then Compress: Demystify Efficient SMoE with Hints from Its Routing Policy [84.11508381847929]
  わずかに活性化されたMixture-of-Experts(SMoE)は、ニューラルネットワークの学習能力のスケールアップを約束している。 ルーティング統計を利用したM-SMoEを提案する。 我々のMC-SMoEは最大80%のメモリと20%のFLOPを削減でき、性能は実質的に損なわれない。
  論文  参考訳（メタデータ） (2023-10-02T16:51:32Z)
• MoEC: Mixture of Expert Clusters [93.63738535295866]
  Sparsely Mixture of Experts (MoE)は、安価な計算オーバーヘッドを持つ有望なスケーリング能力のため、大きな関心を集めている。 MoEは密度の高い層をスパースの専門家に変換し、ゲートルーティングネットワークを使用して専門家を条件付きで活性化させる。 しかし、専門家の数が増加するにつれて、乱雑なパラメータを持つMoEはデータアロケーションの過度な調整とスパースに悩まされる。
  論文  参考訳（メタデータ） (2022-07-19T06:09:55Z)
• Sparsely-gated Mixture-of-Expert Layers for CNN Interpretability [3.021134753248103]
  小さいゲートのMixture of Expert (MoE)層が大きなトランスのスケーリングに成功している。 本研究では,コンピュータビジョンタスクのCNNに対して,スパースMOE層を適用し,モデル解釈性への影響を解析する。
  論文  参考訳（メタデータ） (2022-04-22T09:40:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。