論文の概要: Negotiated Representations to Prevent Forgetting in Machine Learning
Applications
- arxiv url: http://arxiv.org/abs/2312.00237v1
- Date: Thu, 30 Nov 2023 22:43:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-04 16:17:05.729819
- Title: Negotiated Representations to Prevent Forgetting in Machine Learning
Applications
- Title（参考訳）: 機械学習アプリケーションにおける偽造防止のための交渉表現
- Authors: Nuri Korhan, Ceren \"Oner
- Abstract要約: 破滅的な忘れは、機械学習の分野で重要な課題である。
本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Catastrophic forgetting is a significant challenge in the field of machine
learning, particularly in neural networks. When a neural network learns to
perform well on a new task, it often forgets its previously acquired knowledge
or experiences. This phenomenon occurs because the network adjusts its weights
and connections to minimize the loss on the new task, which can inadvertently
overwrite or disrupt the representations that were crucial for the previous
tasks. As a result, the the performance of the network on earlier tasks
deteriorates, limiting its ability to learn and adapt to a sequence of tasks.
In this paper, we propose a novel method for preventing catastrophic forgetting
in machine learning applications, specifically focusing on neural networks. Our
approach aims to preserve the knowledge of the network across multiple tasks
while still allowing it to learn new information effectively. We demonstrate
the effectiveness of our method by conducting experiments on various benchmark
datasets, including Split MNIST, Split CIFAR10, Split Fashion MNIST, and Split
CIFAR100. These datasets are created by dividing the original datasets into
separate, non overlapping tasks, simulating a continual learning scenario where
the model needs to learn multiple tasks sequentially without forgetting the
previous ones. Our proposed method tackles the catastrophic forgetting problem
by incorporating negotiated representations into the learning process, which
allows the model to maintain a balance between retaining past experiences and
adapting to new tasks. By evaluating our method on these challenging datasets,
we aim to showcase its potential for addressing catastrophic forgetting and
improving the performance of neural networks in continual learning settings.
- Abstract（参考訳）: 破滅的な忘れは、機械学習、特にニューラルネットワークの分野で重要な課題である。
ニューラルネットワークが新しいタスクでうまく機能することを学ぶと、以前獲得した知識や経験を忘れてしまうことが多い。
この現象は、ネットワークが新しいタスクの損失を最小限に抑えるために重みと接続を調整するために発生し、これは故意に以前のタスクにとって重要な表現を上書きしたり、破壊したりする可能性がある。
その結果、初期のタスクにおけるネットワークのパフォーマンスは低下し、一連のタスクに学習し適応する能力が制限される。
本稿では,ニューラルネットワークに着目した機械学習アプリケーションにおいて,破滅的忘れを防止する新しい手法を提案する。
提案手法は,複数タスクにわたるネットワークの知識を維持しつつ,新たな情報を効果的に学習することを目的としている。
提案手法の有効性を,Split MNIST, Split CIFAR10, Split Fashion MNIST, Split CIFAR100 など,様々なベンチマークデータセットを用いて検証することで実証する。
これらのデータセットは、元のデータセットを分離した非重複タスクに分割することで作成され、モデルが前のデータセットを忘れずに、連続的な学習シナリオをシミュレートする。
提案手法は,過去の経験の保持と新しいタスクへの適応のバランスの維持を可能にするため,学習プロセスに交渉された表現を組み込むことにより,破滅的な放棄問題に取り組む。
これらの難易度データセットに対する本手法の評価により,本手法は,連続学習環境におけるニューラルネットワークの破滅的な忘れ方や性能向上への可能性を示すことを目的としている。
関連論文リスト
- Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。
ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文 参考訳（メタデータ） (2024-06-14T13:12:07Z) - Look-Ahead Selective Plasticity for Continual Learning of Visual Tasks [9.82510084910641]
タスク境界において,タスクが終了し,他のタスク開始時に発生する新しいメカニズムを提案する。
CIFAR10やTinyImagenetなどのコンピュータビジョンデータセットのベンチマークで提案手法を評価する。
論文 参考訳（メタデータ） (2023-11-02T22:00:23Z) - Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。
私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
論文 参考訳（メタデータ） (2023-07-13T16:39:08Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。
ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。
IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
論文 参考訳（メタデータ） (2023-06-18T05:26:49Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳（メタデータ） (2022-02-21T13:25:03Z) - Center Loss Regularization for Continual Learning [0.0]
一般的に、ニューラルネットワークには、さまざまなタスクを逐次学習する能力がない。
提案手法では,従来のタスクに近い新しいタスクの表現を投影することで,古いタスクを記憶する。
提案手法は,最先端の継続的学習手法と比較して,スケーラブルで効果的で,競争力のある性能を示す。
論文 参考訳（メタデータ） (2021-10-21T17:46:44Z) - Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。
ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。
さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文 参考訳（メタデータ） (2020-12-31T08:21:37Z) - Semantic Drift Compensation for Class-Incremental Learning [48.749630494026086]
ディープネットワークのクラス増分学習は、分類対象のクラス数を順次増加させる。
本研究では,特徴のセマンティックドリフト(セマンティックドリフト)と呼ばれるドリフトを推定し,その補正を行う新しい手法を提案する。
論文 参考訳（メタデータ） (2020-04-01T13:31:19Z) - Adversarial Incremental Learning [0.0]
ディープラーニングは、以前のデータが利用できない新しいタスクを学ぶ際に、これまで学んだ情報を忘れることができる。
本稿では,新しいタスクのトレーニング中に,古いデータを全く利用しない逆判別器に基づく手法を提案する。
我々は、CIFAR-100、SVHN、MNISTデータセット上で、他の最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2020-01-30T02:25:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。