論文の概要: Incrementally Learning Multiple Diverse Data Domains via Multi-Source Dynamic Expansion Model

• arxiv url: http://arxiv.org/abs/2501.08878v1
• Date: Wed, 15 Jan 2025 15:49:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-16 15:53:10.672414
• Title: Incrementally Learning Multiple Diverse Data Domains via Multi-Source Dynamic Expansion Model
• Title（参考訳）: マルチソース動的拡張モデルによる多元多元データ領域のインクリメンタル学習
• Authors: Runqing Wu, Fei Ye, Qihe Liu, Guoxi Huang, Jinyu Guo, Rongyao Hu,
• Abstract要約: 継続学習は、事前知識を維持しつつ、新たな情報を漸進的に同化できるモデルの開発を目指している。 本稿では,複数の異なるドメインから抽出されたデータサンプルを特徴とする,より複雑で現実的な学習環境に焦点を移す。
• 参考スコア（独自算出の注目度）: 16.035374682124846
• License:
• Abstract: Continual Learning seeks to develop a model capable of incrementally assimilating new information while retaining prior knowledge. However, current research predominantly addresses a straightforward learning context, wherein all data samples originate from a singular data domain. This paper shifts focus to a more complex and realistic learning environment, characterized by data samples sourced from multiple distinct domains. We tackle this intricate learning challenge by introducing a novel methodology, termed the Multi-Source Dynamic Expansion Model (MSDEM), which leverages various pre-trained models as backbones and progressively establishes new experts based on them to adapt to emerging tasks. Additionally, we propose an innovative dynamic expandable attention mechanism designed to selectively harness knowledge from multiple backbones, thereby accelerating the new task learning. Moreover, we introduce a dynamic graph weight router that strategically reuses all previously acquired parameters and representations for new task learning, maximizing the positive knowledge transfer effect, which further improves generalization performance. We conduct a comprehensive series of experiments, and the empirical findings indicate that our proposed approach achieves state-of-the-art performance.
• Abstract（参考訳）: 継続学習は、事前知識を維持しつつ、新たな情報を漸進的に同化できるモデルの開発を目指している。 しかしながら、現在の研究では、すべてのデータサンプルが単一のデータドメインに由来する、直接的な学習コンテキストに主に対処している。 本稿では,複数の異なるドメインから抽出されたデータサンプルを特徴とする,より複雑で現実的な学習環境に焦点を移す。 我々は、様々な事前学習されたモデルをバックボーンとして活用し、新たなタスクに適応するための新しい専門家を段階的に確立する、Multi-Source Dynamic Expansion Model (MSDEM)と呼ばれる新しい方法論を導入することで、この複雑な学習課題に取り組む。 さらに,複数のバックボーンからの知識を選択的に活用し,新たなタスク学習を高速化する,革新的な動的拡張型アテンション機構を提案する。 さらに,新たに獲得した全てのパラメータと表現を戦略的に再利用し,正の知識伝達効果を最大化し,一般化性能をさらに向上する動的グラフ重み付きルータを提案する。 本研究では, 総合的な実験を行い, 実験結果から, 提案手法が最先端の性能を達成できることが示唆された。

関連論文リスト

• Exploring the Precise Dynamics of Single-Layer GAN Models: Leveraging Multi-Feature Discriminators for High-Dimensional Subspace Learning [0.0]
  サブスペース学習の観点から,単層GANモデルのトレーニングダイナミクスについて検討する。 解析をサブスペース学習の領域にブリッジすることで,従来の手法と比較してGAN法の有効性を体系的に比較する。
  論文  参考訳（メタデータ） (2024-11-01T10:21:12Z)
• Reinforcement Learning Based Multi-modal Feature Fusion Network for Novel Class Discovery [47.28191501836041]
  本稿では,人間の認知過程をシミュレートするために強化学習フレームワークを用いる。 また,マルチモーダル情報から特徴を抽出・融合するマルチエージェントフレームワークをデプロイした。 我々は、OS-MN40、OS-MN40-Miss、Cifar10データセットを用いて、3Dドメインと2Dドメインの両方でのアプローチの性能を示す。
  論文  参考訳（メタデータ） (2023-08-26T07:55:32Z)
• Learning Latent Dynamics via Invariant Decomposition and (Spatio-)Temporal Transformers [0.6767885381740952]
  本研究では,高次元経験データから力学系を学習する手法を提案する。 我々は、システムの複数の異なるインスタンスからデータが利用できる設定に焦点を当てる。 我々は、単純な理論的分析と、合成および実世界のデータセットに関する広範な実験を通して行動を研究する。
  論文  参考訳（メタデータ） (2023-06-21T07:52:07Z)
• Multi-View Class Incremental Learning [57.14644913531313]
  マルチビュー学習(MVL)は、下流タスクのパフォーマンスを改善するためにデータセットの複数の視点から情報を統合することで大きな成功を収めている。 本稿では,複数視点クラスインクリメンタルラーニング(MVCIL)と呼ばれる新しいパラダイムについて考察する。
  論文  参考訳（メタデータ） (2023-06-16T08:13:41Z)
• Predictive Experience Replay for Continual Visual Control and Forecasting [62.06183102362871]
  視覚力学モデリングのための新しい連続学習手法を提案し,その視覚制御と予測における有効性について検討する。 まず,タスク固有のダイナミクスをガウスの混合で学習する混合世界モデルを提案し,その上で,破滅的な忘れを克服するための新たなトレーニング戦略を提案する。 我々のモデルは,DeepMind Control と Meta-World のベンチマークにおいて,既存の連続的学習アルゴリズムと視覚的RLアルゴリズムの単純な組み合わせよりも優れている。
  論文  参考訳（メタデータ） (2023-03-12T05:08:03Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Ex-Model: Continual Learning from a Stream of Trained Models [12.27992745065497]
  連続的な学習システムは、訓練されたモデルの形式で圧縮された情報の可用性を活用するべきであると論じる。 エージェントが生データの代わりに以前に訓練されたモデルのシーケンスから学習する「Ex-Model Continual Learning」(Ex-Model Continual Learning)という新しいパラダイムを導入し、形式化する。
  論文  参考訳（メタデータ） (2021-12-13T09:46:16Z)
• Trajectory-wise Multiple Choice Learning for Dynamics Generalization in Reinforcement Learning [137.39196753245105]
  本稿では,動的一般化のためのマルチヘッドダイナミックスモデルを学習するモデルベース強化学習アルゴリズムを提案する。 文脈学習は,過去の経験から得られる動的情報からコンテキスト潜在ベクトルにエンコードする。 提案手法は,最先端のRL法と比較して,様々な制御タスクにおいて優れたゼロショット一般化性能を示す。
  論文  参考訳（メタデータ） (2020-10-26T03:20:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。