論文の概要: PASs-MoE: Mitigating Misaligned Co-drift among Router and Experts via Pathway Activation Subspaces for Continual Learning

• arxiv url: http://arxiv.org/abs/2601.13020v1
• Date: Mon, 19 Jan 2026 12:57:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.903991
• Title: PASs-MoE: Mitigating Misaligned Co-drift among Router and Experts via Pathway Activation Subspaces for Continual Learning
• Title（参考訳）: PASs-MoE:連続学習のための経路活性化部分空間によるルータとエキスパート間のミスアライメントコドリフトの緩和
• Authors: Zhiyan Hou, Haiyun Guo, Haokai Ma, Yandu Sun, Yonghui Yang, Jinqiao Wang,
• Abstract要約: 一般的な戦略は、異なるLoRA専門家に入力をルーティングすることで、更新を分離することだ。 既存のLoRAベースのMixture-of-Experts(MoE)メソッドは、ルータと専門家を区別できない方法で共同で更新することが多い。 固定容量PASを用いたMoE-LoRA法を提案する。
• 参考スコア（独自算出の注目度）: 30.015399267582044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual instruction tuning (CIT) requires multimodal large language models (MLLMs) to adapt to a stream of tasks without forgetting prior capabilities. A common strategy is to isolate updates by routing inputs to different LoRA experts. However, existing LoRA-based Mixture-of-Experts (MoE) methods often jointly update the router and experts in an indiscriminate way, causing the router's preferences to co-drift with experts' adaptation pathways and gradually deviate from early-stage input-expert specialization. We term this phenomenon Misaligned Co-drift, which blurs expert responsibilities and exacerbates forgetting.To address this, we introduce the pathway activation subspace (PASs), a LoRA-induced subspace that reflects which low-rank pathway directions an input activates in each expert, providing a capability-aligned coordinate system for routing and preservation. Based on PASs, we propose a fixed-capacity PASs-based MoE-LoRA method with two components: PAS-guided Reweighting, which calibrates routing using each expert's pathway activation signals, and PAS-aware Rank Stabilization, which selectively stabilizes rank directions important to previous tasks. Experiments on a CIT benchmark show that our approach consistently outperforms a range of conventional continual learning baselines and MoE-LoRA variants in both accuracy and anti-forgetting without adding parameters. Our code will be released upon acceptance.
• Abstract（参考訳）: 連続的命令チューニング(CIT)は、タスクのストリームに適応するために、事前の機能を忘れることなく、マルチモーダルな大規模言語モデル(MLLM)を必要とする。 一般的な戦略は、異なるLoRA専門家に入力をルーティングすることで、更新を分離することである。 しかし、既存のLoRAベースのMixture-of-Experts (MoE)手法は、ルータと専門家を区別できない方法で共同で更新することが多く、ルータの好みは専門家の適応経路と一致し、初期入力-専門家の特殊化から徐々に逸脱する。 我々は、この現象を、専門家の責任を曖昧にし、忘れを悪化させる「ミスアライメント・コドリフト(Misaligned Co-drift)」と呼び、この現象に対処するために、各専門家が入力が活性化する低ランク経路を反映する経路アクティベーション・サブスペース(PASs)を導入し、ルーティングと保存のための機能アライメント・コーディネート・システムを提供する。 PAS-guided Reweighting (PAS-Guided Reweighting, PAS-Aware Rank Stabilization, PAS-Aware Rank Stabilization, PAS-Aware Rank Stabilization, PAS-Aware Rank Stabilization, PAS-Aware Rank Stabilization, PAS-Aware Rank Stabilization, PAS-Aware Rank Stabilization) の2つのコンポーネントを用いた固定容量PAS-LoRA法を提案する。 CITベンチマーク実験により,本手法はパラメータを追加することなく,従来の連続学習ベースラインとMoE-LoRAの変種を精度およびアンチフォッゲッティングの両方で一貫した性能を発揮することが示された。 私たちのコードは受け入れ次第解放されます。

関連論文リスト

• RISER: Orchestrating Latent Reasoning Skills for Adaptive Activation Steering [62.63376387138257]
  本稿では,アクティベーション空間における大規模言語モデル(LLM)推論を適応的に制御するプラグイン・アンド・プレイ介入フレームワークを提案する。 RISERは再利用可能な推論ベクトルのライブラリを構築し、軽量ルータを使用して各入力に対して動的に構成する。 ルーターは、タスクレベルの報酬の下で強化学習を通じて最適化され、緊急かつ構成的な方法で潜在する認知的プリミティブを活性化する。
  論文  参考訳（メタデータ） (2026-01-14T08:04:33Z)
• PASS-Enhanced MEC: Joint Optimization of Task Offloading and Uplink PASS Beamforming [67.78883135636657]
  ピンチアンテナシステム (PASS) によるモバイルエッジコンピューティング (MEC) アーキテクチャについて検討した。 PASSは、重要な経路損失と潜在的な信号遮断を効果的に軽減しつつ、短距離ライン・オブ・ライト(LoS)リンクを確立する。 ネットワーク遅延最小化問題を定式化し、アップリンクPASSビームフォーミングとタスクオフロードを共同で最適化する。
  論文  参考訳（メタデータ） (2025-10-27T03:04:46Z)
• FlyLoRA: Boosting Task Decoupling and Parameter Efficiency via Implicit Rank-Wise Mixture-of-Experts [44.21416999726094]
  Low-Rank Adaptation (LoRA) は基礎モデルのパラメータ効率の高い微調整法である。 MoEベースのLoRA変種は、単一タスクの命令チューニングにおいて、タスク内相関を緩和する。 FlyLoRA は暗黙の MoE ベースの LoRA 変種であり、アッププロジェクション行列にランクワイズの専門家アクティベーションを導入する。
  論文  参考訳（メタデータ） (2025-10-09T16:17:13Z)
• ActiveVLN: Towards Active Exploration via Multi-Turn RL in Vision-and-Language Navigation [57.399685080574756]
  既存のMLLMベースのVLNメソッドは模倣学習(IL)に依存しており、ポストトレーニングにDAggerを使用することが多い。 マルチターンRLによるアクティブな探索を可能にするVLNフレームワークであるActiveVLNを提案する。 実験の結果,ActiveVLN は DAgger ベースと RL ベースのポストトレーニング手法と比較して,IL ベースラインよりも最大の性能向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-09-16T03:31:46Z)
• Action-Constrained Imitation Learning [12.316546911223263]
  行動制約下での政策学習は、様々なロボット制御や資源配分アプリケーションにおいて、安全な行動を保証する上で中心的な役割を果たす。 本稿では,行動制約付き模倣者がより広い行動空間を持つ実証的専門家から学習することを目的とした,行動制約付き模倣学習(ACIL)と呼ばれる新たな課題について検討する。 我々は、このミスマッチをテキストトラジェクトリアライメント(textittrajectory alignment)を通じて解決し、従来の専門家によるデモンストレーションを、アクション制約に固執しながら、同様の状態軌跡に従うサロゲートデータセットに置き換えるDTWILを提案する。
  論文  参考訳（メタデータ） (2025-08-20T03:19:07Z)
• Little By Little: Continual Learning via Self-Activated Sparse Mixture-of-Rank Adaptive Learning [26.079123341965687]
  大規模な事前学習モデルによる継続的な学習は、破滅的な忘れ込みとタスクの干渉によって挑戦される。 既存のLoRAベースのMixture-of-Experts (MoE)は、タスク固有のアダプタを割り当て、凍結することで、忘れを緩和する。 CLに対する自己アクティベートとスパースなランクアクティベーションを備えたMixture-of-Rank Adaptive LearningアプローチであるMoRAを提案する。
  論文  参考訳（メタデータ） (2025-06-26T06:19:05Z)
• Glider: Global and Local Instruction-Driven Expert Router [83.785832410832]
  モデルMoErging」手法は、保持タスクのパフォーマンスを犠牲にして、未確認タスクへの一般化を優先する。 マルチスケールルーティング機構を統合したGLIDER(Global and Local Instruction Driven Expert Router)を提案する。 GLIDERは、ホールドアウトタスクの強い一般化を維持しながら、ホールドイン性能を大幅に改善する。
  論文  参考訳（メタデータ） (2024-10-09T17:59:14Z)
• Towards Deviation-Robust Agent Navigation via Perturbation-Aware Contrastive Learning [125.61772424068903]
  視覚言語ナビゲーション(VLN)は、エージェントに与えられた言語命令に従って実際の3D環境をナビゲートするように要求する。 本稿では,既存のVLNエージェントの一般化能力を高めるために,PROPER(Progressive Perturbation-aware Contrastive Learning)と呼ばれるモデルに依存しない学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-03-09T02:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。