Fugu-MT 論文翻訳(概要): Target Layer Regularization for Continual Learning Using Cramer-Wold Generator

論文の概要: Target Layer Regularization for Continual Learning Using Cramer-Wold Generator

arxiv url: http://arxiv.org/abs/2111.07928v1
Date: Mon, 15 Nov 2021 17:32:54 GMT
ステータス: 処理完了
システム内更新日: 2021-11-16 13:48:48.416911
Title: Target Layer Regularization for Continual Learning Using Cramer-Wold Generator
Title（参考訳）: cramer-wold generatorを用いた連続学習のための目標層正規化
Authors: Marcin Mazur, {\L}ukasz Pustelnik, Szymon Knop, Patryk Pagacz, Przemys{\l}aw Spurek
Abstract要約: 本稿では,継続的な学習問題を解決するための効果的な正規化戦略(CW-TaLaR)を提案する。 CW-TaLaRは新しいタスクを学習しながらターゲット層分布を保存するが、以前のタスクのデータセットを覚える必要はない。
参考スコア（独自算出の注目度）: 6.2822673562306655
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose an effective regularization strategy (CW-TaLaR) for solving continual learning problems. It uses a penalizing term expressed by the Cramer-Wold distance between two probability distributions defined on a target layer of an underlying neural network that is shared by all tasks, and the simple architecture of the Cramer-Wold generator for modeling output data representation. Our strategy preserves target layer distribution while learning a new task but does not require remembering previous tasks' datasets. We perform experiments involving several common supervised frameworks, which prove the competitiveness of the CW-TaLaR method in comparison to a few existing state-of-the-art continual learning models.
Abstract（参考訳）: 本稿では,連続学習問題を解決するための効果的な正規化戦略(cw-talar)を提案する。全タスクで共有されるニューラルネットワークのターゲット層上で定義される2つの確率分布と、出力データ表現をモデル化するcracker-woldジェネレータの単純なアーキテクチャとの間に、cracker-wold距離で表現されるペナライズ項を用いる。我々の戦略は、新しいタスクを学習しながらターゲット層分布を保存するが、以前のタスクのデータセットを覚える必要はない。我々は,CW-TaLaR法の競争性を実証する,いくつかの共通教師付きフレームワークを用いた実験を行った。

関連論文リスト

Continual Task Learning through Adaptive Policy Self-Composition [54.95680427960524]
CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
論文参考訳（メタデータ） (2024-11-18T08:20:21Z)
Unsupervised Meta-Learning via In-Context Learning [3.4165401459803335]
本稿では,教師なしメタ学習における教師なしメタ学習の一般化能力を活用した新しい手法を提案する。提案手法は,メタラーニングをシーケンスモデリング問題として再設計し,トランスフォーマーエンコーダがサポート画像からタスクコンテキストを学習できるようにする。
論文参考訳（メタデータ） (2024-05-25T08:29:46Z)
Time-series Generation by Contrastive Imitation [87.51882102248395]
モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
論文参考訳（メタデータ） (2023-11-02T16:45:25Z)
Leveraging triplet loss for unsupervised action segmentation [0.0]
本稿では,アクションセグメンテーションタスクに適したアクション表現を,単一入力ビデオ自体から学習する,完全に教師なしのフレームワークを提案する。本手法は,三重項損失が類似度分布に作用する浅層ネットワークに根ざした深部距離学習手法である。このような状況下では、既存の教師なしアプローチと比較して、学習された行動表現の時間的境界を高い品質で回復することに成功した。
論文参考訳（メタデータ） (2023-04-13T11:10:16Z)
CoopInit: Initializing Generative Adversarial Networks via Cooperative Learning [50.90384817689249]
CoopInitは、協力的な学習ベースの戦略で、GANにとって良い出発点を素早く学べる。本稿では,画像生成における提案手法の有効性を示す。
論文参考訳（メタデータ） (2023-03-21T07:49:32Z)
Making Look-Ahead Active Learning Strategies Feasible with Neural Tangent Kernels [6.372625755672473]
本稿では,仮説的ラベル付き候補データを用いた再学習に基づく,能動的学習獲得戦略の近似手法を提案する。通常、これはディープ・ネットワークでは実現できないが、我々はニューラル・タンジェント・カーネルを用いて再トレーニングの結果を近似する。
論文参考訳（メタデータ） (2022-06-25T06:13:27Z)
Mixture of basis for interpretable continual learning with distribution shifts [1.6114012813668934]
データ分散のシフトを伴う環境での継続的な学習は、いくつかの現実世界のアプリケーションでは難しい問題である。本稿では,この問題設定に対処するために,ベイシモデル(MoB)の混合方式を提案する。
論文参考訳（メタデータ） (2022-01-05T22:53:15Z)
Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
論文参考訳（メタデータ） (2021-06-24T05:19:26Z)
Energy-Efficient and Federated Meta-Learning via Projected Stochastic Gradient Ascent [79.58680275615752]
エネルギー効率のよいメタラーニングフレームワークを提案する。各タスクは別々のエージェントによって所有されていると仮定するため、メタモデルをトレーニングするために限られたタスクが使用される。
論文参考訳（メタデータ） (2021-05-31T08:15:44Z)
Continual Learning From Unlabeled Data Via Deep Clustering [7.704949298975352]
継続的学習は、新しいタスクが到着するたびにモデルをスクラッチから再トレーニングするのではなく、少ない計算とメモリリソースを使って、新しいタスクをインクリメンタルに学習することを目的としている。クラスタ割り当てから得られた擬似ラベルをモデル更新に用いて,教師なしモードで継続的学習を実現する新たなフレームワークを提案する。
論文参考訳（メタデータ） (2021-04-14T23:46:17Z)
Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
本稿では,不対向画像分割のための新しい学習手法を提案する。提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
論文参考訳（メタデータ） (2020-01-06T20:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。