論文の概要: Task-conditioned Ensemble of Expert Models for Continuous Learning
- arxiv url: http://arxiv.org/abs/2504.08626v2
- Date: Mon, 14 Apr 2025 20:37:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-16 22:12:33.720250
- Title: Task-conditioned Ensemble of Expert Models for Continuous Learning
- Title（参考訳）: 継続的学習のためのエキスパートモデルのタスク条件アンサンブル
- Authors: Renu Sharma, Debasmita Pal, Arun Ross,
- Abstract要約: 既存のモデルの性能を維持するために,タスク条件付きモデルアンサンブルを提案する。
この方法は、タスクメンバーシップ情報に基づくエキスパートモデルのアンサンブルを含む。
実験は提案手法の利点を浮き彫りにする。
- 参考スコア（独自算出の注目度）: 9.973727349235261
- License:
- Abstract: One of the major challenges in machine learning is maintaining the accuracy of the deployed model (e.g., a classifier) in a non-stationary environment. The non-stationary environment results in distribution shifts and, consequently, a degradation in accuracy. Continuous learning of the deployed model with new data could be one remedy. However, the question arises as to how we should update the model with new training data so that it retains its accuracy on the old data while adapting to the new data. In this work, we propose a task-conditioned ensemble of models to maintain the performance of the existing model. The method involves an ensemble of expert models based on task membership information. The in-domain models-based on the local outlier concept (different from the expert models) provide task membership information dynamically at run-time to each probe sample. To evaluate the proposed method, we experiment with three setups: the first represents distribution shift between tasks (LivDet-Iris-2017), the second represents distribution shift both between and within tasks (LivDet-Iris-2020), and the third represents disjoint distribution between tasks (Split MNIST). The experiments highlight the benefits of the proposed method. The source code is available at https://github.com/iPRoBe-lab/Continuous_Learning_FE_DM.
- Abstract（参考訳）: 機械学習における大きな課題の1つは、非定常環境でデプロイされたモデル(例えば、分類器)の精度を維持することである。
非定常環境は分布シフトをもたらし、その結果精度が低下する。
デプロイされたモデルを新しいデータで継続的に学習することは、ひとつの方法かもしれません。
しかし、新しいデータに適応しながら古いデータに対する精度を維持するために、どうやって新しいトレーニングデータでモデルを更新すべきかという問題が発生する。
本研究では,既存のモデルの性能を維持するためのタスク条件付きモデルアンサンブルを提案する。
この方法は、タスクメンバーシップ情報に基づくエキスパートモデルのアンサンブルを含む。
ドメイン内モデルは、各プローブサンプルに対して実行時にタスクメンバーシップ情報を動的に提供します(専門家モデルとは異なる)。
提案手法の評価には,タスク間の分散シフトを表す第1号(LivDet-Iris-2017),タスク間の分散シフトを表す第2号(LivDet-Iris-2020),タスク間の不整合分布を表す第3号(Split MNIST)の3つの設定を試行する。
実験では,提案手法の利点を浮き彫りにした。
ソースコードはhttps://github.com/iPRoBe-lab/Continuous_Learning_FE_DMで公開されている。
関連論文リスト
- Navigating Semantic Drift in Task-Agnostic Class-Incremental Learning [51.177789437682954]
クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、モデルが学習したクラスの知識を維持しつつ、新しいクラスを逐次学習できるようにすることを目的とする。
柔軟性と安定性のバランスをとることは、特にタスクIDが不明な場合には、依然として大きな課題である。
本研究では,平均シフト補償と共分散校正を組み合わせたセマンティックドリフト校正法を提案する。
論文 参考訳（メタデータ） (2025-02-11T13:57:30Z) - Test-Time Alignment via Hypothesis Reweighting [56.71167047381817]
大規模な事前訓練されたモデルは、しばしば未指定のタスクで苦労する。
テストタイムのユーザ意図にモデルを整合させるという課題に対処する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-11T23:02:26Z) - Continual learning with task specialist [2.8830182365988923]
破滅的な忘れと限定されたラベル付きデータの問題に対処するために,タスクスペシャリストによる連続学習(CLTS)を提案する。
モデルはタスクスペシャリスト(T S)とタスク予測器(T P)と、事前訓練された安定拡散(SD)モジュールで構成される。
3つの実世界のデータセットで行った4つのSOTAモデルとの比較研究により、提案モデルが選択されたベースラインすべてより優れていることが示された。
論文 参考訳（メタデータ） (2024-09-26T12:59:09Z) - Fairness Hub Technical Briefs: Definition and Detection of Distribution Shift [0.5825410941577593]
分散シフトは機械学習タスクにおいて一般的な状況であり、モデルのトレーニングに使用されるデータは、モデルが現実世界に適用されるデータとは異なる。
本稿では,教育環境における分布変化の定義と検出に焦点をあてる。
論文 参考訳（メタデータ） (2024-05-23T05:29:36Z) - Task-customized Masked AutoEncoder via Mixture of Cluster-conditional
Experts [104.9871176044644]
Masked Autoencoder (MAE) は,モデル事前学習において有望な結果が得られる自己教師型学習手法である。
我々は、新しいMAEベースの事前学習パラダイム、Mixture of Cluster-conditional Experts (MoCE)を提案する。
MoCEは、クラスタ条件ゲートを使用して、各専門家にセマンティックなイメージのみをトレーニングする。
論文 参考訳（メタデータ） (2024-02-08T03:46:32Z) - Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。
TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文 参考訳（メタデータ） (2023-11-23T15:46:54Z) - Building a Winning Team: Selecting Source Model Ensembles using a
Submodular Transferability Estimation Approach [20.86345962679122]
公開されている事前訓練されたモデルの目標タスクへの転送可能性の推定は、伝達学習タスクにとって重要な場所となっている。
本稿では, モデルアンサンブルの下流タスクへの転送可能性を評価するために, 最適なtranSportベースのsuBmOdular tRaNsferability Metrics(OSBORN)を提案する。
論文 参考訳（メタデータ） (2023-09-05T17:57:31Z) - Mixture of basis for interpretable continual learning with distribution
shifts [1.6114012813668934]
データ分散のシフトを伴う環境での継続的な学習は、いくつかの現実世界のアプリケーションでは難しい問題である。
本稿では,この問題設定に対処するために,ベイシモデル(MoB)の混合方式を提案する。
論文 参考訳（メタデータ） (2022-01-05T22:53:15Z) - X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。
両世界の力を生かすために,我々は新しいX-モデルを提案する。
X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
論文 参考訳（メタデータ） (2021-10-09T13:56:48Z) - Learning Neural Models for Natural Language Processing in the Face of
Distributional Shift [10.990447273771592]
特定のデータセットでひとつのタスクを実行するための強力な神経予測器をトレーニングするNLPのパラダイムが、さまざまなアプリケーションで最先端のパフォーマンスを実現している。
データ分布が定常である、すなわち、トレーニングとテストの時間の両方で、データは固定された分布からサンプリングされる、という仮定に基づいて構築される。
この方法でのトレーニングは、人間が絶えず変化する情報の流れの中で学習し、操作できる方法と矛盾する。
データ分散がモデル寿命の経過とともにシフトすることが期待される実世界のユースケースに不適応である。
論文 参考訳（メタデータ） (2021-09-03T14:29:20Z) - Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。
我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。
その結果,我々のモデルは最先端の性能を達成できることがわかった。
論文 参考訳（メタデータ） (2020-10-12T03:27:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。