論文の概要: R^2MoE: Redundancy-Removal Mixture of Experts for Lifelong Concept Learning

• arxiv url: http://arxiv.org/abs/2507.13107v1
• Date: Thu, 17 Jul 2025 13:22:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-18 20:10:24.512262
• Title: R^2MoE: Redundancy-Removal Mixture of Experts for Lifelong Concept Learning
• Title（参考訳）: R^2MoE:生涯概念学習エキスパートの冗長-除去混合
• Authors: Xiaohan Guo, Yusong Cai, Zejia Liu, Zhengning Wang, Lili Pan, Hongliang Li,
• Abstract要約: R2MoE(Redundancy-Removal Mixture of Experts)は、視覚概念学習のためのパラメータ効率のよいフレームワークである。 提案手法は, 最新技術(SOTA)法と比較して, 概念的忠実度の高い画像を生成する。
• 参考スコア（独自算出の注目度）: 7.08366053718851
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Enabling large-scale generative models to continuously learn new visual concepts is essential for personalizing pre-trained models to meet individual user preferences. Existing approaches for continual visual concept learning are constrained by two fundamental challenges: catastrophic forgetting and parameter expansion. In this paper, we propose Redundancy-Removal Mixture of Experts (R^2MoE), a parameter-efficient framework for lifelong visual concept learning that effectively learns new concepts while incurring minimal parameter overhead. Our framework includes three key innovative contributions: First, we propose a mixture-of-experts framework with a routing distillation mechanism that enables experts to acquire concept-specific knowledge while preserving the gating network's routing capability, thereby effectively mitigating catastrophic forgetting. Second, we propose a strategy for eliminating redundant layer-wise experts that reduces the number of expert parameters by fully utilizing previously learned experts. Third, we employ a hierarchical local attention-guided inference approach to mitigate interference between generated visual concepts. Extensive experiments have demonstrated that our method generates images with superior conceptual fidelity compared to the state-of-the-art (SOTA) method, achieving an impressive 87.8\% reduction in forgetting rates and 63.3\% fewer parameters on the CustomConcept 101 dataset. Our code is available at {https://github.com/learninginvision/R2MoE}
• Abstract（参考訳）: 大規模生成モデルを導入して新しい視覚概念を継続的に学習することは、個別のユーザの好みに合わせて事前学習されたモデルをパーソナライズするために不可欠である。 既存の視覚概念学習のアプローチは、破滅的な忘れ込みとパラメータ展開という2つの基本的な課題によって制約されている。 本稿では,パラメータのオーバーヘッドを最小限に抑えつつ,新たな概念を効果的に学習する,生涯視覚概念学習のためのパラメータ効率の高いフレームワークであるR^2MoEを提案する。 本フレームワークは,3つの革新的コントリビューションを含む: まず, 専門家がゲーティングネットワークのルーティング能力を維持しながら, 概念固有の知識を習得し, 破滅的な忘れを効果的に軽減することのできる, ルーティング蒸留機構を備えた混合専門家フレームワークを提案する。 第2に,従来学習されていた専門家を十分に活用することで,専門家パラメータの数を削減できる冗長な階層的専門家の排除戦略を提案する。 第3に、生成した視覚概念間の干渉を軽減するために、階層的な局所的注意誘導推論手法を用いる。 大規模な実験により,本手法は最先端のSOTA(State-of-the-art (SOTA))法と比較して,概念忠実度の高い画像を生成し,87.8\%の遅延率,63.3\%のパラメータをCustomConcept 101データセットで達成した。 私たちのコードは、https://github.com/learninginvision/R2MoE}で利用可能です。

関連論文リスト

• Interpretable Few-Shot Image Classification via Prototypical Concept-Guided Mixture of LoRA Experts [79.18608192761512]
  自己説明可能なモデル(SEM)は、視覚認識プロセスをより解釈可能なものにするために、プロトタイプ概念学習(PCL)に依存している。 パラメトリック不均衡と表現の不整合という2つの重要な課題を緩和するFew-Shotプロトタイプ概念分類フレームワークを提案する。 我々のアプローチは、既存のSEMを顕著な差で常に上回っており、5-way 5-shot分類では4.2%-8.7%の相対的な利得がある。
  論文  参考訳（メタデータ） (2025-06-05T06:39:43Z)
• Towards Better Generalization and Interpretability in Unsupervised Concept-Based Models [9.340843984411137]
  本稿では、LCBM(Learningable Concept-Based Model)という、画像分類のための教師なし概念ベースモデルを提案する。 我々はLCBMが既存の教師なし概念ベースモデルを上回る一般化能力を示し、ブラックボックスモデルの性能とほぼ一致することを示した。 概念埋め込みの利用にもかかわらず、我々は概念の局所的な線形結合によるモデル解釈可能性を維持している。
  論文  参考訳（メタデータ） (2025-06-02T16:26:41Z)
• Sculpting Memory: Multi-Concept Forgetting in Diffusion Models via Dynamic Mask and Concept-Aware Optimization [20.783312940122297]
  テキスト・ツー・イメージ(T2I)拡散モデルは,テキスト・プロンプトから高品質な画像を生成することに成功している。 しかし、膨大な量の知識を蓄積する能力は、選択的に忘れることが必要なシナリオに懸念を生じさせる。 マルチコンセプトを忘れるように設計された新しいアンラーニングフレームワークであるコンセプト・アウェア・ロスを併用したtextbfDynamic Maskを提案する。
  論文  参考訳（メタデータ） (2025-04-12T01:38:58Z)
• Fine-Grained Erasure in Text-to-Image Diffusion-based Foundation Models [56.35484513848296]
  FADE(Fine grained Attenuation for Diffusion Erasure)は、テキストから画像への生成モデルのための非学習アルゴリズムである。 関連する概念に最小限の影響で目標概念を排除し、最先端の手法よりも保持性能が12%向上した。
  論文  参考訳（メタデータ） (2025-03-25T15:49:48Z)
• Enhancing Recommendation Explanations through User-Centric Refinement [7.640281193938638]
  本稿では、既存の説明可能なレコメンデータモデルによって生成された最初の説明を洗練する新しいパラダイムを提案する。 具体的には,大規模言語モデルに基づくマルチエージェント協調改良フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T12:08:18Z)
• Towards Lifelong Few-Shot Customization of Text-to-Image Diffusion [50.26583654615212]
  テキストと画像の拡散のための一生にわたる数ショットのカスタマイズは、最小限のデータで新しいタスクのための既存のモデルを継続的に一般化することを目的としている。 本研究では,破滅的な忘れる問題を,関連する概念と過去の概念の2つに分類し,分類する。 実データの追加やオリジナルの概念データのオフライン再生に頼っている既存の方法とは異なり,本手法では,新しい概念を学習しながら,事前知識の蒸留を行うことが可能である。
  論文  参考訳（メタデータ） (2024-11-08T12:58:48Z)
• Infusion: Preventing Customized Text-to-Image Diffusion from Overfitting [51.606819347636076]
  本研究では, 概念知識を損なう概念非依存オーバーフィッティングと, 限られたモダリティのカスタマイズに限定した概念特化オーバーフィッティングを分析した。 Infusionは、ターゲット概念の学習を、限られた訓練モダリティによって制限されるのを避けることができるT2Iカスタマイズ手法である。
  論文  参考訳（メタデータ） (2024-04-22T09:16:25Z)
• Separable Multi-Concept Erasure from Diffusion Models [52.51972530398691]
  大規模拡散モデルから安全でない概念を排除するために,分離可能なマルチコンセプト消去器(SepME)を提案する。 後者は最適化可能なモデルウェイトを分離し、各ウェイトインクリメントは特定の概念の消去に対応する。 広範囲にわたる実験は, 概念の排除, モデル性能の保存, 各種概念の消去・回復における柔軟性の確保に, アプローチの有効性を示すものである。
  論文  参考訳（メタデータ） (2024-02-03T11:10:57Z)
• Merge, Then Compress: Demystify Efficient SMoE with Hints from Its Routing Policy [84.11508381847929]
  わずかに活性化されたMixture-of-Experts(SMoE)は、ニューラルネットワークの学習能力のスケールアップを約束している。 ルーティング統計を利用したM-SMoEを提案する。 我々のMC-SMoEは最大80%のメモリと20%のFLOPを削減でき、性能は実質的に損なわれない。
  論文  参考訳（メタデータ） (2023-10-02T16:51:32Z)
• Be Your Own Best Competitor! Multi-Branched Adversarial Knowledge Transfer [15.499267533387039]
  提案手法は,高速な画像分類とエンコーダデコーダアーキテクチャの両方に特化しており,推論過程において余分な計算オーバーヘッドを発生させることなく,小型・コンパクトなモデルの性能を向上させる。 提案手法は, 従来の自己蒸留法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2020-10-09T11:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。