論文の概要: Liquid Ensemble Selection for Continual Learning

• arxiv url: http://arxiv.org/abs/2405.07327v1
• Date: Sun, 12 May 2024 16:33:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-14 15:34:20.382793
• Title: Liquid Ensemble Selection for Continual Learning
• Title（参考訳）: 連続学習のための液体アンサンブル選択
• Authors: Carter Blair, Ben Armstrong, Kate Larson,
• Abstract要約: 継続的学習は、機械学習モデルが、すでに学んだことを忘れずに、シフトするデータ分布から継続的に学習できるようにすることを目的としている。 アンサンブル内のどのモデルを任意のデータで学習し、どのモデルを予測すべきかという問題に対処する。
• 参考スコア（独自算出の注目度）: 5.880273374889066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning aims to enable machine learning models to continually learn from a shifting data distribution without forgetting what has already been learned. Such shifting distributions can be broken into disjoint subsets of related examples; by training each member of an ensemble on a different subset it is possible for the ensemble as a whole to achieve much higher accuracy with less forgetting than a naive model. We address the problem of selecting which models within an ensemble should learn on any given data, and which should predict. By drawing on work from delegative voting we develop an algorithm for using delegation to dynamically select which models in an ensemble are active. We explore a variety of delegation methods and performance metrics, ultimately finding that delegation is able to provide a significant performance boost over naive learning in the face of distribution shifts.
• Abstract（参考訳）: 継続的学習は、機械学習モデルが、すでに学んだことを忘れずに、シフトするデータ分布から継続的に学習できるようにすることを目的としている。 異なる部分集合上でアンサンブルの各メンバーを訓練することにより、アンサンブル全体の精度をナイーブモデルよりもはるかに高い精度で達成することができる。 アンサンブル内のどのモデルを任意のデータで学習し、どのモデルを予測すべきかという問題に対処する。 代表投票から作業を引き出すことにより,どのモデルがアクティブであるかを動的に選択するアルゴリズムを開発した。 さまざまなデリゲート手法とパフォーマンス指標について検討し、最終的に分散シフトに直面した上で、デリゲートがナイーブな学習よりも大きなパフォーマンス向上を提供できることを発見した。

関連論文リスト

• Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models [83.02797560769285]
  Data-Free Meta-Learning (DFML)は、トレーニング済みモデルのコレクションから、元のデータにアクセスせずに知識を抽出することを目的としている。 現在の手法は、事前訓練されたモデル間の不均一性を見落とし、タスクの衝突による性能低下につながることが多い。 課題群規則化(Task Groupings Regularization)は、矛盾するタスクをグループ化し整合させることにより、モデルの不均一性から恩恵を受ける新しいアプローチである。
  論文  参考訳（メタデータ） (2024-05-26T13:11:55Z)
• Class Distribution Shifts in Zero-Shot Learning: Learning Robust Representations [3.8980564330208662]
  シフトの原因となる属性が事前に不明であると仮定するモデルを提案する。 提案手法は,シミュレーションと実世界のデータセットの両方において,多様なクラス分布の一般化を改善する。
  論文  参考訳（メタデータ） (2023-11-30T14:14:31Z)
• Building a Winning Team: Selecting Source Model Ensembles using a Submodular Transferability Estimation Approach [20.86345962679122]
  公開されている事前訓練されたモデルの目標タスクへの転送可能性の推定は、伝達学習タスクにとって重要な場所となっている。 本稿では, モデルアンサンブルの下流タスクへの転送可能性を評価するために, 最適なtranSportベースのsuBmOdular tRaNsferability Metrics(OSBORN)を提案する。
  論文  参考訳（メタデータ） (2023-09-05T17:57:31Z)
• Learning Unseen Modality Interaction [54.23533023883659]
  マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。 我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。 異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
  論文  参考訳（メタデータ） (2023-06-22T10:53:10Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• Mixture of basis for interpretable continual learning with distribution shifts [1.6114012813668934]
  データ分散のシフトを伴う環境での継続的な学習は、いくつかの現実世界のアプリケーションでは難しい問題である。 本稿では,この問題設定に対処するために,ベイシモデル(MoB)の混合方式を提案する。
  論文  参考訳（メタデータ） (2022-01-05T22:53:15Z)
• Conditional Meta-Learning of Linear Representations [57.90025697492041]
  表現学習のための標準メタラーニングは、複数のタスク間で共有される共通の表現を見つけることを目的とする。 本研究では,タスクの側情報を手作業に適した表現にマッピングし,条件付け関数を推定することで,この問題を克服する。 この利点を実用的に活用できるメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-30T12:02:14Z)
• Discriminative, Generative and Self-Supervised Approaches for Target-Agnostic Learning [8.666667951130892]
  生成的および自己教師型学習モデルは、そのタスクでうまく機能することが示されている。 擬似相似理論の導出した定理は、結合分布モデルの推定に関係があることも示している。
  論文  参考訳（メタデータ） (2020-11-12T15:03:40Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。