論文の概要: MP-ISMoE: Mixed-Precision Interactive Side Mixture-of-Experts for Efficient Transfer Learning

• arxiv url: http://arxiv.org/abs/2605.04058v1
• Date: Fri, 10 Apr 2026 08:00:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 06:56:26.545623
• Title: MP-ISMoE: Mixed-Precision Interactive Side Mixture-of-Experts for Efficient Transfer Learning
• Title（参考訳）: MP-ISMoE: 効率的な伝達学習のための混合精度対話型サイドミックス-オブ-エクササイズ
• Authors: Yutong Zhang, Zimeng Wu, Shangcai Liao, Shujiang Wu, Jiaxin Chen,
• Abstract要約: 我々は,新しいMixed-Precision Interactive Side Mixture-of-Expertsフレームワーク(MP-ISMoE)を提案する。 MP-ISMoEは、同等のパラメータとメモリ効率を維持しながら、最先端のMETLアプローチと比較して精度を著しく向上させる。
• 参考スコア（独自算出の注目度）: 12.196384894535827
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-efficient transfer learning (PETL) has emerged as a pivotal paradigm for adapting pre-trained foundation models to downstream tasks, significantly reducing trainable parameters yet suffering from substantial memory overhead caused by gradient backpropagation during fine-tuning. While memory-efficient transfer learning (METL) circumvents this challenge by bypassing backbone gradient computation via lightweight small side networks, its stringent memory constraint severely limits learning capacity of side networks, thereby significantly compromising performance. To address these limitations, we propose a novel Mixed-Precision Interactive Side Mixture-of-Experts framework (MP-ISMoE). Specifically, we first propose a Gaussian Noise Perturbed Iterative Quantization (GNP-IQ) scheme to quantize weights into lower-bits while effectively decreasing quantization errors. By leveraging memory conserved from GNP-IQ, we subsequently employ Interactive Side Mixture-of-Experts (ISMoE) to scaling up side networks without sacrificing overall memory efficiency. Different from conventional mixture-of-experts, ISMoE learns to select optimal experts by interacting with salient features from frozen backbones, thus suppressing knowledge forgetting and boosting performance. Extensive experiments across diverse vision-language and language-only tasks demonstrate that MP-ISMoE remarkably promotes accuracy compared to state-of-the-art METL approaches, while maintaining comparable parameter and memory efficiency.
• Abstract（参考訳）: パラメータ効率変換学習 (PETL) は、訓練済み基礎モデルを下流タスクに適用するための重要なパラダイムとして登場し、微調整中の勾配バックプロパゲーションによって引き起こされるメモリオーバーヘッドに悩まされているトレーニング可能なパラメータを著しく削減している。 メモリ効率の伝達学習(METL)は、バックボーン勾配計算を軽量な小側ネットワークにバイパスすることでこの問題を回避するが、その厳密なメモリ制約はサイドネットワークの学習能力を著しく制限し、性能を著しく向上させる。 これらの制約に対処するため,新しいMixed-Precision Interactive Side Mixture-of-Experts framework (MP-ISMoE)を提案する。 具体的には,まずGNP-IQ(Gaussian Noise Perturbed Iterative Quantization)方式を提案する。 GNP-IQから保存されたメモリを利用することで、全体的なメモリ効率を犠牲にすることなく、サイドネットワークのスケールアップにISMoE(Interactive Side Mixture-of-Experts)を採用する。 従来と異なり、ISMoEは凍結したバックボーンから有能な特徴と相互作用することで最適な専門家を選択することを学び、知識の忘れ込みやパフォーマンスの向上を抑える。 多様な視覚言語および言語のみのタスクにわたる広範囲な実験により、MP-ISMoEは、パラメータとメモリ効率を同等に保ちながら、最先端のMETLアプローチと比較して精度を著しく向上することを示した。

関連論文リスト

• ECO: Quantized Training without Full-Precision Master Weights [58.97082407934466]
  Error-Compensating (ECO)は、量子化されたパラメータに直接更新を適用することで、マスターウェイトを除去する。 ECO は最適値の定数半径近傍に収束するが、素早いマスターウェイト除去は学習率に逆比例する誤差を生じさせる。
  論文  参考訳（メタデータ） (2026-01-29T18:35:01Z)
• Mixture-of-Channels: Exploiting Sparse FFNs for Efficient LLMs Pre-Training and Inference [16.71963410333802]
  大規模言語モデル(LLM)は、多様な人工知能タスクで顕著な成功を収めている。 MoCは、事前トレーニング中のアクティベーションメモリを大幅に削減する。 MoCは、競合モデルのパフォーマンスを維持しながら、メモリの大幅な節約とスループットの向上を提供する。
  論文  参考訳（メタデータ） (2025-11-12T13:30:57Z)
• Mixtures of SubExperts for Large Language Continual Learning [6.425296129700846]
  タスクの連続ストリームに大規模言語モデルを適用することは、決定的だが挑戦的な取り組みである。 1組のPEFTパラメータを新しいタスクに再利用すると、しばしば以前の知識を壊滅的に忘れてしまう。 本稿では,最小限の忘れ込みと効率のよい拡張性を実現するための,新しい連続学習フレームワークであるTextitMixtures of SubExperts (MoSEs)を提案する。
  論文  参考訳（メタデータ） (2025-11-09T05:44:45Z)
• MSQ: Memory-Efficient Bit Sparsification Quantization [11.510434574824213]
  混合精度量子化は効率と精度のバランスが優れているため、広く好まれる。 メモリ効率の良いビットスカラー化量子化(MSQ)を提案する。 MSQは、トレーニング可能なパラメータの最大8.00倍の削減、トレーニング時間の最大86%の削減を実現している。
  論文  参考訳（メタデータ） (2025-07-30T03:21:29Z)
• MoQAE: Mixed-Precision Quantization for Long-Context LLM Inference via Mixture of Quantization-Aware Experts [29.11217299899888]
  MoQAEは、量子化の専門家の混合による混合精度量子化法である。 この結果から,MoQAEは最先端のKVキャッシュ量子化手法よりも効率と効率の両面で優れていることがわかった。
  論文  参考訳（メタデータ） (2025-06-09T08:16:24Z)
• OP-LoRA: The Blessing of Dimensionality [93.08208871549557]
  低ランクアダプタは、少数のパラメータしか持たない大型モデルの微調整を可能にする。 しばしば最適化の課題を提起するが、収束性は低い。 推論コストを増大させることなく、トレーニングを加速する過剰パラメータ化アプローチを導入する。 視覚言語タスクの改善、特に画像生成の顕著な向上を実現している。
  論文  参考訳（メタデータ） (2024-12-13T18:55:19Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks [82.33619654835348]
  インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。 散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。 本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-29T08:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。