Fugu-MT 論文翻訳(概要): Mixture of basis for interpretable continual learning with distribution shifts

論文の概要: Mixture of basis for interpretable continual learning with distribution shifts

arxiv url: http://arxiv.org/abs/2201.01853v1
Date: Wed, 5 Jan 2022 22:53:15 GMT
ステータス: 処理完了
システム内更新日: 2022-01-07 14:07:20.264607
Title: Mixture of basis for interpretable continual learning with distribution shifts
Title（参考訳）: 分布シフトを伴う解釈可能な連続学習のための基礎の混合
Authors: Mengda Xu, Sumitra Ganesh, Pranay Pasula
Abstract要約: データ分散のシフトを伴う環境での継続的な学習は、いくつかの現実世界のアプリケーションでは難しい問題である。本稿では,この問題設定に対処するために,ベイシモデル(MoB)の混合方式を提案する。
参考スコア（独自算出の注目度）: 1.6114012813668934
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Continual learning in environments with shifting data distributions is a challenging problem with several real-world applications. In this paper we consider settings in which the data distribution(task) shifts abruptly and the timing of these shifts are not known. Furthermore, we consider a semi-supervised task-agnostic setting in which the learning algorithm has access to both task-segmented and unsegmented data for offline training. We propose a novel approach called mixture of Basismodels (MoB) for addressing this problem setting. The core idea is to learn a small set of basis models and to construct a dynamic, task-dependent mixture of the models to predict for the current task. We also propose a new methodology to detect observations that are out-of-distribution with respect to the existing basis models and to instantiate new models as needed. We test our approach in multiple domains and show that it attains better prediction error than existing methods in most cases while using fewer models than other multiple model approaches. Moreover, we analyze the latent task representations learned by MoB and show that similar tasks tend to cluster in the latent space and that the latent representation shifts at the task boundaries when tasks are dissimilar.
Abstract（参考訳）: データ分散が変化する環境での継続的学習は、いくつかの実世界のアプリケーションでは難しい問題である。本稿では、データ分散(タスク)が突然シフトし、これらのシフトのタイミングが不明な設定について考察する。さらに,学習アルゴリズムがタスクセグメントデータと無セグメントデータの両方にアクセスしてオフライントレーニングを行う半教師なしのタスク非依存設定を考える。本稿では,この問題に対処するための新しい手法としてmixed of basismodels (mob)を提案する。中心となる考え方は、ベースモデルの小さなセットを学び、現在のタスクを予測するためにモデルの動的なタスク依存の混合を構築することである。また,既存のベースモデルに対する分布外な観測を検知し,必要に応じて新しいモデルをインスタンス化する手法を提案する。複数のドメインでこのアプローチをテストした結果、ほとんどのケースで既存のメソッドよりも優れた予測エラーが得られ、他の複数のモデルアプローチよりも少ないモデルを用いています。さらに,モブが学習した潜在タスク表現を分析し,類似したタスクが潜在空間でクラスタ化され,タスクが異なっても潜在タスク表現がタスク境界でシフトすることを示す。

関連論文リスト

The Non-Local Model Merging Problem: Permutation Symmetries and Variance Collapse [25.002218722102505]
モデルマージは、特定のタスクでトレーニングされた複数のエキスパートモデルの重みを、単一のマルチタスクモデルに効率的に結合することを目的としている。この研究は、"非ローカル"マージのより困難なシナリオを探求する。標準的なマージ技術は、この非局所的な環境で効果的に一般化できないことが多い。本稿では,タスク毎のマージモデルの出力アクティベーションを再スケール・シフトするマルチタスク手法を提案する。
論文参考訳（メタデータ） (2024-10-16T17:41:59Z)
Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models [83.02797560769285]
Data-Free Meta-Learning (DFML)は、トレーニング済みモデルのコレクションから、元のデータにアクセスせずに知識を抽出することを目的としている。現在の手法は、事前訓練されたモデル間の不均一性を見落とし、タスクの衝突による性能低下につながることが多い。課題群規則化(Task Groupings Regularization)は、矛盾するタスクをグループ化し整合させることにより、モデルの不均一性から恩恵を受ける新しいアプローチである。
論文参考訳（メタデータ） (2024-05-26T13:11:55Z)
Continuous Unsupervised Domain Adaptation Using Stabilized Representations and Experience Replay [23.871860648919593]
本稿では,教師なしドメイン適応(UDA)問題に継続学習(CL)シナリオで対処するアルゴリズムを提案する。我々の解は、学習した内部分布を安定化し、新しい領域におけるモデル一般化を強化することに基づいている。経験リプレイを活用して,新たなタスクを学習する際に獲得した知識をモデルが失う,破滅的な忘れ事の問題を克服する。
論文参考訳（メタデータ） (2024-01-31T05:09:14Z)
AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文参考訳（メタデータ） (2023-10-04T04:26:33Z)
Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文参考訳（メタデータ） (2022-10-06T00:33:01Z)
On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
論文参考訳（メタデータ） (2022-03-08T09:57:48Z)
Combat Data Shift in Few-shot Learning with Knowledge Graph [42.59886121530736]
現実世界のアプリケーションでは、少数ショットの学習パラダイムはデータシフトに悩まされることが多い。既存の少数ショット学習アプローチのほとんどは、データシフトを考慮して設計されていない。本稿では,タスク固有表現とタスク共有表現を抽出するメタラーニングフレームワークを提案する。
論文参考訳（メタデータ） (2021-01-27T12:35:18Z)
Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
論文参考訳（メタデータ） (2020-07-14T16:42:59Z)
Task-Agnostic Online Reinforcement Learning with an Infinite Mixture of Gaussian Processes [25.513074215377696]
本稿では,連続的なオンラインモデルに基づく強化学習手法を提案する。未知のタスク境界を持つタスク非依存の問題を解決するためには、事前トレーニングを必要としない。実験では,本手法は非定常タスクにおける代替手法よりも優れている。
論文参考訳（メタデータ） (2020-06-19T23:52:45Z)
Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。