論文の概要: Task-Aware Multi-Expert Architecture For Lifelong Deep Learning

• arxiv url: http://arxiv.org/abs/2512.11243v1
• Date: Fri, 12 Dec 2025 03:05:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-15 15:48:11.637223
• Title: Task-Aware Multi-Expert Architecture For Lifelong Deep Learning
• Title（参考訳）: 生涯深層学習のためのタスク対応マルチエキスパートアーキテクチャ
• Authors: Jianyu Wang, Jacob Nean-Hua Sheikh, Cat P. Le, Hoda Bidkhori,
• Abstract要約: 専門家の選択と知識伝達をガイドするタスク・アウェア・マルチエキスパート(TAME)を提案する。 共有高密度層は、選択した専門家の機能を統合して、予測を生成する。 CIFAR-100から派生したバイナリ分類タスクの実験は、TAMEが以前のタスクの性能を維持しながら、新しいタスクの精度を向上させることを示している。
• 参考スコア（独自算出の注目度）: 5.806256557012355
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lifelong deep learning (LDL) trains neural networks to learn sequentially across tasks while preserving prior knowledge. We propose Task-Aware Multi-Expert (TAME), a continual learning algorithm that leverages task similarity to guide expert selection and knowledge transfer. TAME maintains a pool of pretrained neural networks and activates the most relevant expert for each new task. A shared dense layer integrates features from the chosen expert to generate predictions. To reduce catastrophic forgetting, TAME uses a replay buffer that stores representative samples and embeddings from previous tasks and reuses them during training. An attention mechanism further prioritizes the most relevant stored information for each prediction. Together, these components allow TAME to adapt flexibly while retaining important knowledge across evolving task sequences. Experiments on binary classification tasks derived from CIFAR-100 show that TAME improves accuracy on new tasks while sustaining performance on earlier ones, highlighting its effectiveness in balancing adaptation and retention in lifelong learning settings.
• Abstract（参考訳）: Lifelong Deep Learning (LDL)は、ニューラルネットワークをトレーニングし、タスク間で順次学習すると同時に、事前の知識を保存する。 本稿では,タスク類似性を利用して専門家の選択と知識伝達を誘導する連続学習アルゴリズムであるタスク認識マルチエキスパート(TAME)を提案する。 TAMEは事前訓練されたニューラルネットワークのプールを維持し、新しいタスクごとに最も関連性の高い専門家を起動する。 共有高密度層は、選択した専門家の機能を統合して、予測を生成する。 壊滅的な忘れを抑えるため、TAMEはリプレイバッファを使用して、代表サンプルと以前のタスクからの埋め込みを格納し、トレーニング中に再利用する。 注意機構は、予測毎に最も関連性の高い記憶情報を優先する。 これらのコンポーネントによって、TAMEは、進化するタスクシーケンスにまたがる重要な知識を保持しながら、柔軟に適応することができる。 CIFAR-100から派生した二分分類タスクの実験では、TAMEは以前のタスクの性能を維持しつつ、新しいタスクの精度を向上し、生涯学習環境における適応と保持のバランスをとる効果を強調した。

関連論文リスト

• Hierarchical Subspaces of Policies for Continual Offline Reinforcement Learning [19.463863037999054]
  我々は,学習エージェントが獲得したスキルセットを維持しながら,新たなタスクに継続的に適応しなければならない継続的強化学習の仕組みを考察する。 オフラインデータからナビゲーション設定を継続学習するために設計された,新しい階層型フレームワークであるHiSPOを紹介する。 本研究では,MuJoCo迷路環境と複雑なゲームライクなナビゲーションシミュレーションの両方において,本手法の有効性を実験的に検証した。
  論文  参考訳（メタデータ） (2024-12-19T14:00:03Z)
• Negotiated Representations to Prevent Forgetting in Machine Learning Applications [0.0]
  破滅的な忘れは、機械学習の分野で重要な課題である。 本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
  論文  参考訳（メタデータ） (2023-11-30T22:43:50Z)
• Pre-training Multi-task Contrastive Learning Models for Scientific Literature Understanding [52.723297744257536]
  事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。 文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
  論文  参考訳（メタデータ） (2023-05-23T16:47:22Z)
• Task-Attentive Transformer Architecture for Continual Learning of Vision-and-Language Tasks Using Knowledge Distillation [18.345183818638475]
  連続学習(CL)は、逐次到着するタスク間で知識伝達を可能にすることで、治療の役割を果たす。 バイモーダル・ビジョン・アンド・ランゲージ・タスクを学習するためのトランスフォーマーベースのCLアーキテクチャを開発した。 私たちのアプローチは、メモリと時間のオーバーヘッドが少ないため、多数のタスクにスケーラブルに学習するものです。
  論文  参考訳（メタデータ） (2023-03-25T10:16:53Z)
• Learning Options via Compression [62.55893046218824]
  そこで本研究では,スキル記述長に対するペナルティと,最大限の目標を組み合わさった新たな目的を提案する。 我々の目的は、最大化可能性のみから学んだスキルと比較して、下流のタスクを少ないサンプルで解くスキルを学ぶことである。
  論文  参考訳（メタデータ） (2022-12-08T22:34:59Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Self-Attention Meta-Learner for Continual Learning [5.979373021392084]
  SAM(Self-Attention Meta-Learner)は,タスクのシーケンスを学習する継続的学習の事前知識を学習する。 SAMには、将来のタスクごとに特定の関連する表現を選択することを学ぶアテンションメカニズムが組み込まれている。 タスク推論において,提案手法を Split CIFAR-10/100 と Split MNIST のベンチマークで評価した。
  論文  参考訳（メタデータ） (2021-01-28T17:35:04Z)
• Continual Learning in Low-rank Orthogonal Subspaces [86.36417214618575]
  連続学習(CL)では、学習者は一連のタスクに直面して次々に到着し、学習経験が終わるとすべてのタスクを覚えることが目的である。 CLの以前の技術は、タスク間の干渉を減らすためにエピソードメモリ、パラメータ正規化、ネットワーク構造を使用していたが、最終的には、全てのアプローチが共同ベクトル空間で異なるタスクを学習する。 干渉を最小限に抑えるために互いに直交する異なる(低ランクな)ベクトル部分空間でタスクを学習することを提案する。
  論文  参考訳（メタデータ） (2020-10-22T12:07:43Z)
• Adversarial Continual Learning [99.56738010842301]
  本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。 本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
  論文  参考訳（メタデータ） (2020-03-21T02:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。