Fugu-MT 論文翻訳(概要): Adaptive Variational Continual Learning via Task-Heuristic Modelling

論文の概要: Adaptive Variational Continual Learning via Task-Heuristic Modelling

arxiv url: http://arxiv.org/abs/2408.16517v1
Date: Thu, 29 Aug 2024 13:28:11 GMT
ステータス: 処理完了
システム内更新日: 2024-08-30 13:42:55.073131
Title: Adaptive Variational Continual Learning via Task-Heuristic Modelling
Title（参考訳）: タスクヒューリスティックモデリングによる適応的変分連続学習
Authors: Fan Yang,
Abstract要約: 変分連続学習(英: variational continual learning, 英: Variational continual learning)は、最高の連続学習モデルの中で最先端のパフォーマンスを持つターンキー学習アルゴリズムである。そこで本研究では,情報学習とモデル最適化のタスクを組み合わせた,一般化された変分連続学習(G)モデルの拡張について検討する。
参考スコア（独自算出の注目度）: 3.6119958671506707
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Variational continual learning (VCL) is a turn-key learning algorithm that has state-of-the-art performance among the best continual learning models. In our work, we explore an extension of the generalized variational continual learning (GVCL) model, named AutoVCL, which combines task heuristics for informed learning and model optimization. We demonstrate that our model outperforms the standard GVCL with fixed hyperparameters, benefiting from the automatic adjustment of the hyperparameter based on the difficulty and similarity of the incoming task compared to the previous tasks.
Abstract（参考訳）: 変分連続学習(VCL)は、最高の連続学習モデルの中で最先端のパフォーマンスを持つターンキー学習アルゴリズムである。本稿では,情報学習とモデル最適化のためのタスクヒューリスティックスを組み合わせた,一般化変分連続学習(GVCL)モデルの拡張について検討する。提案手法は,従来のタスクと比較して,入力タスクの難易度と類似度に基づいて,ハイパーパラメータの自動調整の恩恵を受けながら,固定されたハイパーパラメータによる標準GVCLよりも優れていることを示す。

関連論文リスト

Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
論文参考訳（メタデータ） (2024-10-29T14:41:44Z)
EVCL: Elastic Variational Continual Learning with Weight Consolidation [14.485182089870928]
継続的な学習は、モデルが以前に学んだことを忘れずに新しいタスクを学習できるようにすることを目的としている。本研究は、変分連続学習(EWC)の変分後近似機構と弾性重み強化(EWC)の正規化に基づくパラメータ保護戦略を統合する新しいハイブリッドモデルであるElastic Variational Continual Learning with Weight Consolidation(E)を紹介する。 Eは破滅的な忘れを効果的に軽減し、モデルパラメータとタスク固有のデータ間の依存関係をよりよくキャプチャする。
論文参考訳（メタデータ） (2024-06-23T00:32:06Z)
Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
論文参考訳（メタデータ） (2024-03-18T08:00:23Z)
On Task Performance and Model Calibration with Supervised and Self-Ensembled In-Context Learning [71.44986275228747]
In-context Learning (ICL) は、近年の大規模言語モデル(LLM)の進歩により、効率的なアプローチとなっている。しかし、両方のパラダイムは、過信の批判的な問題(すなわち、誤校正)に苦しむ傾向にある。
論文参考訳（メタデータ） (2023-12-21T11:55:10Z)
Learning Objective-Specific Active Learning Strategies with Attentive Neural Processes [72.75421975804132]
学びアクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。能動学習問題の対称性と独立性を利用した新しい分類法を提案する。私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
論文参考訳（メタデータ） (2023-09-11T14:16:37Z)
Continual Learners are Incremental Model Generalizers [70.34479702177988]
本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
論文参考訳（メタデータ） (2023-06-21T05:26:28Z)
Reinforcement Learning for Topic Models [3.42658286826597]
本稿では,ProdLDAにおける変分オートエンコーダを連続行動空間強化学習ポリシーに置き換えることにより,トピックモデリングに強化学習手法を適用した。ニューラルネットワークアーキテクチャの近代化、ELBO損失の重み付け、コンテキスト埋め込みの使用、トピックの多様性と一貫性の計算による学習プロセスの監視など、いくつかの変更を導入している。
論文参考訳（メタデータ） (2023-05-08T16:41:08Z)
Active Learning of Discrete-Time Dynamics for Uncertainty-Aware Model Predictive Control [46.81433026280051]
本稿では,非線形ロボットシステムの力学を積極的にモデル化する自己教師型学習手法を提案する。我々のアプローチは、目に見えない飛行条件に一貫して適応することで、高いレジリエンスと一般化能力を示す。
論文参考訳（メタデータ） (2022-10-23T00:45:05Z)
Trajectory-wise Multiple Choice Learning for Dynamics Generalization in Reinforcement Learning [137.39196753245105]
本稿では,動的一般化のためのマルチヘッドダイナミックスモデルを学習するモデルベース強化学習アルゴリズムを提案する。文脈学習は,過去の経験から得られる動的情報からコンテキスト潜在ベクトルにエンコードする。提案手法は,最先端のRL法と比較して,様々な制御タスクにおいて優れたゼロショット一般化性能を示す。
論文参考訳（メタデータ） (2020-10-26T03:20:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。