Fugu-MT 論文翻訳(概要): Graph-Based Continual Learning

論文の概要: Graph-Based Continual Learning

arxiv url: http://arxiv.org/abs/2007.04813v2
Date: Mon, 1 Mar 2021 01:54:00 GMT
ステータス: 処理完了
システム内更新日: 2022-11-12 03:31:17.031341
Title: Graph-Based Continual Learning
Title（参考訳）: グラフベース連続学習
Authors: Binh Tang, David S. Matteson
Abstract要約: リハーサルアプローチは、前のサンプルの小さなエピソードメモリの維持と再生によって問題を緩和する。そこで本研究では,学習可能なランダムグラフを用いて,サンプル間のペアの類似性を捕捉し,新しいタスクの学習だけでなく,忘れることの防止にも利用することを提案する。
参考スコア（独自算出の注目度）: 9.57751063426439
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Despite significant advances, continual learning models still suffer from catastrophic forgetting when exposed to incrementally available data from non-stationary distributions. Rehearsal approaches alleviate the problem by maintaining and replaying a small episodic memory of previous samples, often implemented as an array of independent memory slots. In this work, we propose to augment such an array with a learnable random graph that captures pairwise similarities between its samples, and use it not only to learn new tasks but also to guard against forgetting. Empirical results on several benchmark datasets show that our model consistently outperforms recently proposed baselines for task-free continual learning.
Abstract（参考訳）: 大幅な進歩にもかかわらず、継続学習モデルは、非定常分布から段階的に利用可能なデータに露出した場合、破滅的な忘れを被る。リハーサルアプローチは、しばしば独立したメモリスロットの配列として実装される以前のサンプルの小さなエピソディックメモリを維持して再生することで問題を緩和する。そこで本研究では,学習可能なランダムグラフを用いて,サンプル間のペアの類似性を捕捉し,新しいタスクの学習だけでなく,忘れることの防止にも利用することを提案する。いくつかのベンチマークデータセットの実証結果から,最近提案されたタスクフリー連続学習のベースラインを一貫して上回る結果が得られた。

関連論文リスト

Contrastive Learning Is Not Optimal for Quasiperiodic Time Series [4.2807943283312095]
本稿では,ほぼ周期時間系列(DEAPS)の蒸留埋め込みについて紹介する。 DEAPSは、心電図(ECG)データなどの準周期時系列に適した非コントラスト法である。機械学習(ML)モデルに適合するアノテートレコードがわずかに提示された場合,既存のSOTAメソッドよりも10%向上したことを示す。
論文参考訳（メタデータ） (2024-07-24T08:02:41Z)
Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文参考訳（メタデータ） (2024-01-12T12:51:12Z)
Continual Contrastive Spoken Language Understanding [33.09005399967931]
COCONUTは、経験リプレイとコントラスト学習の組み合わせに依存するクラスインクリメンタルラーニング(CIL)手法である。我々は,COCONUTをデコーダ側で動作するメソッドと組み合わせることで,さらなるメトリクス改善を実現することを示す。
論文参考訳（メタデータ） (2023-10-04T10:09:12Z)
Late Stopping: Avoiding Confidently Learning from Mislabeled Examples [61.00103151680946]
そこで本研究では,DNNの長期学習プロセスを通じて,本質的な頑健な学習能力を生かした新しいフレームワークであるLatlas Stoppingを提案する。誤ラベルとクリーンな例は、それらが一貫して正しく分類されるために必要なエポックの数に相違があることを実証的に観察する。ベンチマークシミュレーションと実世界のノイズデータセットによる実験結果から,提案手法は最先端の手法よりも優れていることが示された。
論文参考訳（メタデータ） (2023-08-26T12:43:25Z)
STUNT: Few-shot Tabular Learning with Self-generated Tasks from Unlabeled Tables [64.0903766169603]
我々は,Unlabeled Tables (STUNT) からの自己生成タスクを作成した,数発のセミ教師付き学習のためのフレームワークを提案する。私たちのキーとなるアイデアは、ランダムに選択された列をターゲットラベルとして扱うことで、多様なショットタスクを自己生成することです。次に、メタラーニング手法を用いて、構築されたタスクで一般化可能な知識を学習する。
論文参考訳（メタデータ） (2023-03-02T02:37:54Z)
Consistent Representation Learning for Continual Relation Extraction [18.694012937149495]
関係埋め込みの安定性を維持する一貫した表現学習法を提案する。我々の手法は最先端のベースラインを著しく上回り、不均衡なデータセットに強い堅牢性をもたらす。
論文参考訳（メタデータ） (2022-03-05T12:16:34Z)
Continual Few-shot Relation Learning via Embedding Space Regularization and Data Augmentation [4.111899441919165]
従来のタスク知識の破滅的な忘れを回避しつつ,ラベル付きデータが少ない新しい関係パターンを学習する必要がある。埋め込み空間の正規化とデータ拡張に基づく新しい手法を提案する。提案手法は,新たな数発タスクに一般化し,リレーショナル埋め込みに対する追加制約を課し,自己管理的なデータ追加を行うことにより,過去のタスクの破滅的な忘れを回避している。
論文参考訳（メタデータ） (2022-03-04T05:19:09Z)
Generative Kernel Continual learning [117.79080100313722]
本稿では、生成モデルとカーネル間の相乗効果を利用して連続学習を行う、生成カーネル連続学習を紹介する。生成モデルは、カーネル学習のための代表サンプルを生成することができ、カーネル連続学習におけるメモリ依存を取り除くことができる。コントリビューションの能力とメリットを示すために,広く利用されている3つの連続学習ベンチマークについて広範な実験を行った。
論文参考訳（メタデータ） (2021-12-26T16:02:10Z)
Provable Guarantees for Self-Supervised Deep Learning with Spectral Contrastive Loss [72.62029620566925]
自己教師型学習の最近の研究は、対照的な学習パラダイムを頼りに、最先端の技術の進歩を遂げている。我々の研究は、正の対の条件的独立性を仮定することなく、対照的な学習を分析する。本稿では,人口増分グラフ上でスペクトル分解を行う損失を提案し,コントラスト学習目的として簡潔に記述することができる。
論文参考訳（メタデータ） (2021-06-08T07:41:02Z)
Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
論文参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。