論文の概要: Dynamic Mixture-of-Experts for Incremental Graph Learning

• arxiv url: http://arxiv.org/abs/2508.09974v1
• Date: Wed, 13 Aug 2025 17:41:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-14 20:42:00.98334
• Title: Dynamic Mixture-of-Experts for Incremental Graph Learning
• Title（参考訳）: インクリメンタルグラフ学習のためのダイナミック・ミックス・オブ・エクササイズ
• Authors: Lecheng Kong, Theodore Vasiloudis, Seongjun Yun, Han Xie, Xiang Song,
• Abstract要約: インクリメンタル学習のための動的ミックス・オブ・エキスパート(DyMoE)アプローチを提案する。 DyMoEは、入ってくるデータブロックをモデリングする専門家ネットワークを追加する。 本モデルは,クラスインクリメンタル学習における最良ベースラインと比較して,相対的精度が4.92%向上した。
• 参考スコア（独自算出の注目度）: 13.517949310087111
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph incremental learning is a learning paradigm that aims to adapt trained models to continuously incremented graphs and data over time without the need for retraining on the full dataset. However, regular graph machine learning methods suffer from catastrophic forgetting when applied to incremental learning settings, where previously learned knowledge is overridden by new knowledge. Previous approaches have tried to address this by treating the previously trained model as an inseparable unit and using techniques to maintain old behaviors while learning new knowledge. These approaches, however, do not account for the fact that previously acquired knowledge at different timestamps contributes differently to learning new tasks. Some prior patterns can be transferred to help learn new data, while others may deviate from the new data distribution and be detrimental. To address this, we propose a dynamic mixture-of-experts (DyMoE) approach for incremental learning. Specifically, a DyMoE GNN layer adds new expert networks specialized in modeling the incoming data blocks. We design a customized regularization loss that utilizes data sequence information so existing experts can maintain their ability to solve old tasks while helping the new expert learn the new data effectively. As the number of data blocks grows over time, the computational cost of the full mixture-of-experts (MoE) model increases. To address this, we introduce a sparse MoE approach, where only the top-$k$ most relevant experts make predictions, significantly reducing the computation time. Our model achieved 4.92\% relative accuracy increase compared to the best baselines on class incremental learning, showing the model's exceptional power.
• Abstract（参考訳）: グラフインクリメンタル学習(Graph incremental learning)は、トレーニング済みのモデルを、完全なデータセットで再トレーニングすることなく、継続的に増分されたグラフとデータに適応することを目的とした、学習パラダイムである。 しかし、通常のグラフ機械学習手法は、それまでの知識が新しい知識によってオーバーライドされていたインクリメンタルな学習環境に適用された場合、破滅的な忘れ込みに悩まされる。 以前のアプローチでは、以前にトレーニングされたモデルを分離不可能な単位として扱い、新しい知識を学習しながら古い振る舞いを維持するテクニックを使用して、この問題に対処しようと試みていた。 しかし、これらのアプローチは、以前異なるタイムスタンプで獲得した知識が、新しいタスクの学習に異なる貢献をするという事実を考慮に入れていない。 いくつかの以前のパターンは、新しいデータを学ぶのに役立ち、他のパターンは、新しいデータ分布から逸脱し、有害である。 そこで本研究では,インクリメンタル学習のための動的ミックス・オブ・エキスパート(DyMoE)アプローチを提案する。 具体的には、DyMoE GNNレイヤは、入ってくるデータブロックをモデリングする専門的なネットワークを追加する。 我々は、データシーケンス情報を利用したカスタマイズされた正規化損失を設計し、既存の専門家が、新しい専門家が新しいデータを効果的に学習しながら、古いタスクを解く能力を維持することができるようにした。 データブロックの数が時間とともに増加するにつれて、完全混合型(MoE)モデルの計算コストが増大する。 この問題に対処するために,最上位の100ドル以上の専門家だけが予測を行い,計算時間を著しく短縮する,疎度なMoE手法を提案する。 本モデルでは,クラスインクリメンタル学習における最良ベースラインと比較して,相対精度が4.92 %向上した。

関連論文リスト

• Comparing Knowledge Injection Methods for LLMs in a Low-Resource Regime [13.230760040927496]
  大規模言語モデルに小さな非構造化情報を注入する作業について検討する。 制限されたデータに対する事前トレーニングを継続するだけで、控えめな改善が得られます。 私たちは、小さなデータ体制における忘れる現象に光を当て、新しいコンテンツ学習と既存の能力維持の微妙なバランスを図った。
  論文  参考訳（メタデータ） (2025-08-08T09:48:32Z)
• Knowledge Graph Enhanced Generative Multi-modal Models for Class-Incremental Learning [51.0864247376786]
  学習過程を通じて進化する知識グラフを構築する知識グラフ強化多モードモデル(KG-GMM)を導入する。 テスト中,生成されたテキスト内の関係を解析し,特定のカテゴリを特定する知識グラフ拡張推論手法を提案する。
  論文  参考訳（メタデータ） (2025-03-24T07:20:43Z)
• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Preventing Catastrophic Forgetting in Continual Learning of New Natural Language Tasks [17.879087904904935]
  マルチタスク学習(MTL)は、自然言語処理において、1つのモデルで複数の関連するタスクを学習するための標準技術として広く受け入れられている。 通常、システムは時間とともに進化するので、既存のMTLモデルに新しいタスクを追加するには、通常、すべてのタスクをスクラッチから再トレーニングする必要があります。 本稿では、n+1タスクを解くための新しいタスクに、既に訓練済みのnタスクに関するモデルの知識を蒸留することにより、MTLモデルの能力を漸進的に拡張し、新しいタスクを時間とともに解決する問題にアプローチする。
  論文  参考訳（メタデータ） (2023-02-22T00:18:25Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• BERT WEAVER: Using WEight AVERaging to enable lifelong learning for transformer-based models in biomedical semantic search engines [49.75878234192369]
  We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。 WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
  論文  参考訳（メタデータ） (2022-02-21T10:34:41Z)
• Continual Class Incremental Learning for CT Thoracic Segmentation [36.45569352490318]
  深層学習機関のセグメンテーションアプローチは大量の注釈付きトレーニングデータを必要とするが、これは機密性の理由と専門家の手による注釈に必要な時間のために供給が限られている。 以前使用されていたデータにアクセスせずに、段階的にモデルをトレーニングできることが望ましい。 この設定では、モデルは新しいタスクを効果的に学習するが、以前に学習したタスクのパフォーマンスが低下する。 LwF(Learning without Forgetting)アプローチは、モデルトレーニング中に過去のタスクに対する独自の予測を再生することでこの問題に対処する。 従来のセグメンテーションに関する知識をLwFが保持できることを示すが、新しいクラスを学習する能力は減少する。
  論文  参考訳（メタデータ） (2020-08-12T20:08:39Z)
• Continual Learning Using Multi-view Task Conditional Neural Networks [6.27221711890162]
  従来のディープラーニングモデルは、複数のタスクを逐次学習する能力に制限がある。 再帰的なタスクを事前に知る必要のないマルチビュータスク条件ニューラルネットワーク(Mv-TCNN)を提案する。
  論文  参考訳（メタデータ） (2020-05-08T01:03:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。