論文の概要: DUEL: Duplicate Elimination on Active Memory for Self-Supervised Class-Imbalanced Learning

• arxiv url: http://arxiv.org/abs/2402.08963v1
• Date: Wed, 14 Feb 2024 06:09:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-15 16:44:40.871876
• Title: DUEL: Duplicate Elimination on Active Memory for Self-Supervised Class-Imbalanced Learning
• Title（参考訳）: DUEL:自己教師型クラス不均衡学習におけるアクティブメモリの重複排除
• Authors: Won-Seok Choi, Hyundo Lee, Dong-Sig Han, Junseok Park, Heeyeon Koo and Byoung-Tak Zhang
• Abstract要約: 新たなフレームワークであるDuplicate Elimination(DUEL)の自己教師付き事前学習におけるアクティブなデータフィルタリングプロセスを提案する。 このフレームワークは、人間のワーキングメモリにインスパイアされたアクティブメモリを統合し、メモリ内のデータの多様性を測定する特異性情報を導入する。 最も重複したデータを新しいサンプルに置き換えるDUELポリシは、メモリ内の特異性情報を強化し、クラス不均衡を軽減することを目的としている。
• 参考スコア（独自算出の注目度）: 19.717868805172323
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recent machine learning algorithms have been developed using well-curated datasets, which often require substantial cost and resources. On the other hand, the direct use of raw data often leads to overfitting towards frequently occurring class information. To address class imbalances cost-efficiently, we propose an active data filtering process during self-supervised pre-training in our novel framework, Duplicate Elimination (DUEL). This framework integrates an active memory inspired by human working memory and introduces distinctiveness information, which measures the diversity of the data in the memory, to optimize both the feature extractor and the memory. The DUEL policy, which replaces the most duplicated data with new samples, aims to enhance the distinctiveness information in the memory and thereby mitigate class imbalances. We validate the effectiveness of the DUEL framework in class-imbalanced environments, demonstrating its robustness and providing reliable results in downstream tasks. We also analyze the role of the DUEL policy in the training process through various metrics and visualizations.
• Abstract（参考訳）: 最近の機械学習アルゴリズムは、十分なコストとリソースを必要とする十分なデータセットを使用して開発されている。 一方で、生データの直接使用は、しばしば頻繁に発生するクラス情報への過剰フィットにつながる。 コスト効率のよいクラス不均衡に対処するために,我々は,自己教師付き事前学習中のアクティブデータフィルタリングプロセスを提案する。 このフレームワークは、人間のワーキングメモリにインスパイアされたアクティブメモリを統合し、メモリ内のデータの多様性を測定する特徴情報を導入し、特徴抽出器とメモリの両方を最適化する。 最も重複したデータを新しいサンプルに置き換えるDUELポリシは、メモリ内の特異性情報を強化し、クラス不均衡を軽減することを目的としている。 我々は,クラス不均衡環境におけるデュエルフレームワークの有効性を検証し,その頑健性を示し,下流タスクにおいて信頼性の高い結果を提供する。 また,トレーニングプロセスにおけるDUELポリシーの役割を,様々なメトリクスや可視化を通じて分析する。

関連論文リスト

• Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
  既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。 動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。 当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
  論文  参考訳（メタデータ） (2025-02-10T17:57:15Z)
• CSTA: Spatial-Temporal Causal Adaptive Learning for Exemplar-Free Video Class-Incremental Learning [62.69917996026769]
  クラスインクリメンタルな学習課題は、空間的外観と時間的行動の関与の両方を学習し、保存することを必要とする。 本稿では,各クラス固有のインクリメンタル情報要件を調整し,新しいクラスパターンを学習するためのアダプタを分離するフレームワークを提案する。 異なる種類の情報間のインクリメントと記憶の衝突を減らすために,因果補償機構を提案する。
  論文  参考訳（メタデータ） (2025-01-13T11:34:55Z)
• DESIRE: Dynamic Knowledge Consolidation for Rehearsal-Free Continual Learning [23.878495627964146]
  連続学習は、人間のような以前に学習された知識を保持する能力をモデルに装備することを目的としている。 既存の手法は通常、実験データが事前訓練されたモデルで使用されているという事実によって引き起こされる情報漏洩の問題を見落としている。 本稿では,ロラをベースとした新たなリハーサルフリー手法DESIREを提案する。
  論文  参考訳（メタデータ） (2024-11-28T13:54:01Z)
• Learning to Unlearn for Robust Machine Unlearning [6.488418950340473]
  学習過程を最適化する新しいLTU(Learning-to-Unlearn)フレームワークを提案する。 LTUは、モデルが一般化可能な知識を効果的に保存することを容易にするメタ最適化スキームを含んでいる。 また、記憶と忘れのための最適化トラジェクトリを整列するグラディエント調和戦略も導入する。
  論文  参考訳（メタデータ） (2024-07-15T07:36:00Z)
• Adaptive Retention & Correction: Test-Time Training for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Partially Blinded Unlearning: Class Unlearning for Deep Networks a Bayesian Perspective [4.31734012105466]
  マシン・アンラーニング(英: Machine Unlearning)とは、特定のデータセットやクラスに指定された情報を事前訓練されたモデルから選択的に破棄するプロセスである。 本研究では,事前学習した分類ネットワークから,特定の種類のデータに関連付けられた情報の目的的除去に適した手法を提案する。 本手法は,従来の最先端の未学習手法を超越し,優れた有効性を示す。
  論文  参考訳（メタデータ） (2024-03-24T17:33:22Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。