論文の概要: Preventing Catastrophic Forgetting through Memory Networks in Continuous Detection
- arxiv url: http://arxiv.org/abs/2403.14797v1
- Date: Thu, 21 Mar 2024 19:20:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 19:16:32.959957
- Title: Preventing Catastrophic Forgetting through Memory Networks in Continuous Detection
- Title(参考訳): 連続検出における記憶ネットワークによる破滅的偽造防止
- Authors: Gaurav Bhatt, James Ross, Leonid Sigal,
- Abstract要約: メモリベースの検出変換器アーキテクチャを導入し、トレーニング済みのDETR型検出器を新しいタスクに適用する。
本稿では,メモリ単位からの効率的な情報検索のための新しい局所化クエリ関数を提案する。
- 参考スコア(独自算出の注目度): 26.23037461598144
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern pre-trained architectures struggle to retain previous information while undergoing continuous fine-tuning on new tasks. Despite notable progress in continual classification, systems designed for complex vision tasks such as detection or segmentation still struggle to attain satisfactory performance. In this work, we introduce a memory-based detection transformer architecture to adapt a pre-trained DETR-style detector to new tasks while preserving knowledge from previous tasks. We propose a novel localized query function for efficient information retrieval from memory units, aiming to minimize forgetting. Furthermore, we identify a fundamental challenge in continual detection referred to as background relegation. This arises when object categories from earlier tasks reappear in future tasks, potentially without labels, leading them to be implicitly treated as background. This is an inevitable issue in continual detection or segmentation. The introduced continual optimization technique effectively tackles this challenge. Finally, we assess the performance of our proposed system on continual detection benchmarks and demonstrate that our approach surpasses the performance of existing state-of-the-art resulting in 5-7% improvements on MS-COCO and PASCAL-VOC on the task of continual detection.
- Abstract(参考訳): 現代の事前訓練されたアーキテクチャは、新しいタスクを継続的に微調整しながら、以前の情報を維持するのに苦労している。
連続的な分類の顕著な進歩にもかかわらず、検出やセグメンテーションのような複雑な視覚タスク用に設計されたシステムは、良好な性能を達成するのに苦戦している。
本研究では,メモリベースの検出トランスフォーマアーキテクチャを導入し,事前学習したDETR型検出器を新しいタスクに適用し,従来のタスクからの知識を保存した。
本稿では,メモリ単位からの効率的な情報検索のための新しい局所化クエリ関数を提案する。
さらに、バックグラウンドレグレゲーションと呼ばれる連続検出における根本的な課題を同定する。
これは、過去のタスクからのオブジェクトカテゴリが、ラベルなしで、潜在的に将来のタスクで再び現れて、暗黙的にバックグラウンドとして扱われるときに発生する。
これは連続検出やセグメンテーションでは避けられない問題である。
連続最適化技術の導入は、この課題に効果的に取り組む。
最後に,提案システムの性能を連続検出ベンチマークで評価し,提案手法が既存の最先端技術よりも優れていることを示し,MS-COCOとPASCAL-VOCを連続検出タスクで5-7%改善した。
関連論文リスト
- Task-Agnostic Detector for Insertion-Based Backdoor Attacks [53.77294614671166]
本稿では,バックドア検出の先駆的手法であるTABDet(Task-Agnostic Backdoor Detector)を紹介する。
TABDetは、最終層ロジットと効率的なプーリング技術を組み合わせて、3つの著名なNLPタスクをまたいだ統一ロジット表現を可能にする。
TABDetは多様なタスク特化モデルから共同で学習し、従来のタスク特化手法よりも優れた検出効率を示す。
論文 参考訳(メタデータ) (2024-03-25T20:12:02Z) - Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class
Incremental Learning [64.14254712331116]
非典型的なクラスインクリメンタル学習は、過去のトレーニングデータにアクセスすることなく、新しいタスクと古いタスクの両方を学ぶことを目的としている。
本稿では, きめ細かい知識選択と復元のための新しい枠組みを提案する。
論文 参考訳(メタデータ) (2023-12-20T02:34:11Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は破滅的な忘れ込みという課題を克服しようと試み、そこでは新しいタスクを解くための学習が、モデルが以前に学習した情報を忘れる原因となる。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れ込みを抑える新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2023-09-15T17:10:51Z) - Self-paced Weight Consolidation for Continual Learning [39.27729549041708]
連続学習アルゴリズムは、逐次的なタスク学習設定における破滅的な忘れ込みを防ぐのに人気がある。
継続学習を実現するために,自己ペーストウェイト統合(spWC)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-07-20T13:07:41Z) - Online Continual Learning via the Knowledge Invariant and Spread-out
Properties [4.109784267309124]
継続的な学習の鍵となる課題は破滅的な忘れ方だ。
知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。
提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
論文 参考訳(メタデータ) (2023-02-02T04:03:38Z) - Label-Efficient Object Detection via Region Proposal Network
Pre-Training [58.50615557874024]
地域提案ネットワーク(RPN)に効果的な事前学習を提供するための簡単な事前学習タスクを提案する。
RPN事前学習のないマルチステージ検出器と比較して,本手法はダウンストリームタスク性能を継続的に改善することができる。
論文 参考訳(メタデータ) (2022-11-16T16:28:18Z) - ReAct: Temporal Action Detection with Relational Queries [84.76646044604055]
本研究は,アクションクエリを備えたエンコーダ・デコーダフレームワークを用いて,時間的行動検出(TAD)の進展を図ることを目的とする。
まず,デコーダ内の関係注意機構を提案し,その関係に基づいてクエリ間の関心を誘導する。
最後に、高品質なクエリを区別するために、推論時に各アクションクエリのローカライズ品質を予測することを提案する。
論文 参考訳(メタデータ) (2022-07-14T17:46:37Z) - Continual Object Detection: A review of definitions, strategies, and
challenges [0.0]
連続学習の分野は、以前に学習したタスクのパフォーマンスを損なうことなく連続的なタスクを学習する能力を調べる。
我々は、ロボット工学や自動運転車における幅広い応用のために、連続物体検出の研究がさらに注目に値すると考えている。
論文 参考訳(メタデータ) (2022-05-30T21:57:48Z) - Continual Prompt Tuning for Dialog State Tracking [58.66412648276873]
望ましいダイアログシステムは、古いスキルを忘れずに継続的に新しいスキルを学ぶことができるべきである。
本稿では,タスク間の知識伝達を可能にするパラメータ効率フレームワークであるContinuous Prompt Tuningを提案する。
論文 参考訳(メタデータ) (2022-03-13T13:22:41Z) - Center Loss Regularization for Continual Learning [0.0]
一般的に、ニューラルネットワークには、さまざまなタスクを逐次学習する能力がない。
提案手法では,従来のタスクに近い新しいタスクの表現を投影することで,古いタスクを記憶する。
提案手法は,最先端の継続的学習手法と比較して,スケーラブルで効果的で,競争力のある性能を示す。
論文 参考訳(メタデータ) (2021-10-21T17:46:44Z) - Gradient Projection Memory for Continual Learning [5.43185002439223]
過去のタスクを忘れずに継続的に学習する能力は、人工学習システムにとって望ましい属性です。
ニューラルネットワークは,従来のタスクにとって重要と考えられる勾配部分空間に直交方向の勾配を向けることで,新しいタスクを学習する手法を提案する。
論文 参考訳(メタデータ) (2021-03-17T16:31:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。