論文の概要: Constructing Enhanced Mutual Information for Online Class-Incremental Learning
- arxiv url: http://arxiv.org/abs/2407.18526v1
- Date: Fri, 26 Jul 2024 06:16:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-29 14:20:08.059041
- Title: Constructing Enhanced Mutual Information for Online Class-Incremental Learning
- Title（参考訳）: オンライン授業増分学習のための強化された相互情報の構築
- Authors: Huan Zhang, Fan Lyu, Shenghua Fan, Yujin Zheng, Dingwen Wang,
- Abstract要約: Online Class-Incremental Continuousal Learning (OCIL)は、単一チャネルのデータストリームから継続的に学習するという課題に対処する。
既存の相互情報(MI)ベースの手法は、タスク間の知識の混乱を無視して、様々な知識コンポーネントを分離して扱う。
我々はknwoledgeデカップリングに基づくEMI(Enhanced Mutual Information)手法を提案する。
- 参考スコア（独自算出の注目度）: 11.555090963348595
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Online Class-Incremental continual Learning (OCIL) addresses the challenge of continuously learning from a single-channel data stream, adapting to new tasks while mitigating catastrophic forgetting. Recently, Mutual Information (MI)-based methods have shown promising performance in OCIL. However, existing MI-based methods treat various knowledge components in isolation, ignoring the knowledge confusion across tasks. This narrow focus on simple MI knowledge alignment may lead to old tasks being easily forgotten with the introduction of new tasks, risking the loss of common parts between past and present knowledge.To address this, we analyze the MI relationships from the perspectives of diversity, representativeness, and separability, and propose an Enhanced Mutual Information (EMI) method based on knwoledge decoupling. EMI consists of Diversity Mutual Information (DMI), Representativeness Mutual Information (RMI) and Separability Mutual Information (SMI). DMI diversifies intra-class sample features by considering the similarity relationships among inter-class sample features to enable the network to learn more general knowledge. RMI summarizes representative features for each category and aligns sample features with these representative features, making the intra-class sample distribution more compact. SMI establishes MI relationships for inter-class representative features, enhancing the stability of representative features while increasing the distinction between inter-class representative features, thus creating clear boundaries between class. Extensive experimental results on widely used benchmark datasets demonstrate the superior performance of EMI over state-of-the-art baseline methods.
- Abstract（参考訳）: Online Class-Incremental Continuousal Learning (OCIL)は、単一チャネルのデータストリームから継続的に学習し、破滅的な忘れを軽減しつつ、新しいタスクに適応するという課題に対処する。
近年,相互情報(MI)に基づく手法はOCILにおいて有望な性能を示した。
しかし、既存のMIベースの手法は、タスク間の知識の混乱を無視して、様々な知識コンポーネントを分離して扱う。
この制限されたMI知識アライメントは,従来のタスクを忘れやすく,過去の知識と現在の知識の共通部分の喪失を危険にさらし,多様性,代表性,分離性の観点からMI関係を分析し,knwoledgeデカップリングに基づく相互情報強化手法を提案する。
EMIは、多様性相互情報(DMI)、代表性相互情報(RMI)、分離性相互情報(SMI)から構成される。
DMIは、クラス間サンプル特徴間の類似性関係を考慮してクラス内サンプル特徴を多様化し、ネットワークがより一般的な知識を学習できるようにする。
RMIは、各カテゴリの代表的特徴を要約し、これらの代表的特徴とサンプルの特徴を一致させ、クラス内のサンプル分布をよりコンパクトにする。
SMIは、クラス間代表的特徴に対するMI関係を確立し、クラス間代表的特徴の区別を高めながら、クラス間代表的特徴の安定性を高め、クラス間の境界を明確にする。
広く使用されているベンチマークデータセットの大規模な実験結果は、最先端のベースライン手法よりもEMIの優れた性能を示している。
関連論文リスト
- Detecting Training Data of Large Language Models via Expectation Maximization [62.28028046993391]
メンバーシップ推論攻撃(MIA)は、特定のインスタンスがターゲットモデルのトレーニングデータの一部であるかどうかを判断することを目的としている。
大規模言語モデル(LLM)にMIAを適用することは、事前学習データの大規模化と、会員シップのあいまいさによって、ユニークな課題をもたらす。
EM-MIAは,予測最大化アルゴリズムを用いて,メンバーシップスコアとプレフィックススコアを反復的に洗練するLLMの新しいMIA手法である。
論文 参考訳（メタデータ） (2024-10-10T03:31:16Z) - Detached and Interactive Multimodal Learning [17.843121072628477]
本稿では,モダリティにまたがる補完情報を学習するための新しいMMLフレームワークであるDI-MMLを紹介する。
各モダリティエンコーダを独立した学習目標で個別に訓練することで、競争に対処する。
音声・視覚・フロー画像・前面画像データを用いた実験は,提案手法の優れた性能を示す。
論文 参考訳（メタデータ） (2024-07-28T15:38:58Z) - POGEMA: A Benchmark Platform for Cooperative Multi-Agent Navigation [76.67608003501479]
主評価指標の基礎に基づいて計算された領域関連メトリクスの範囲を定義する評価プロトコルを導入・指定する。
このような比較の結果は、様々な最先端のMARL、検索ベース、ハイブリッド手法を含むものである。
論文 参考訳（メタデータ） (2024-07-20T16:37:21Z) - Completed Feature Disentanglement Learning for Multimodal MRIs Analysis [36.32164729310868]
特徴不整合(FD)に基づく手法はマルチモーダルラーニング(MML)において大きな成功を収めた
本稿では,特徴デカップリング時に失われた情報を復元する完全特徴分散(CFD)戦略を提案する。
具体的には、CFD戦略は、モダリティ共有とモダリティ固有の特徴を識別するだけでなく、マルチモーダル入力のサブセット間の共有特徴を分離する。
論文 参考訳（メタデータ） (2024-07-06T01:49:38Z) - Interactive Continual Learning: Fast and Slow Thinking [19.253164551254734]
本稿では,対話型連続学習フレームワークを提案する。
System1におけるメモリ検索を改善するために,von Mises-Fisher(vMF)分布に基づくCL-vMF機構を導入する。
提案したICLの包括的評価は,既存の手法と比較して,忘れられ,優れた性能を示す。
論文 参考訳（メタデータ） (2024-03-05T03:37:28Z) - Constrained Multiview Representation for Self-supervised Contrastive
Learning [4.817827522417457]
本稿では、異なる視点の重要度を測定するために、表現距離に基づく相互情報(MI)に基づく新しいアプローチを提案する。
周波数領域から抽出した多視点表現を利用して、相互情報に基づいてそれらの意義を再評価する。
論文 参考訳（メタデータ） (2024-02-05T19:09:33Z) - Knowledge-Enhanced Hierarchical Information Correlation Learning for
Multi-Modal Rumor Detection [82.94413676131545]
マルチモーダルなうわさ検出のための知識強化型階層型情報相関学習手法(KhiCL)を提案する。
KhiCLは異質な一様性特徴を共通特徴空間に伝達するために、クロスモーダルな関節辞書を利用する。
画像やテキストから視覚的およびテキスト的実体を抽出し、知識関連推論戦略を設計する。
論文 参考訳（メタデータ） (2023-06-28T06:08:20Z) - Diffeomorphic Information Neural Estimation [2.566492438263125]
Mutual Information (MI) と Conditional Mutual Information (CMI) は情報理論の多目的ツールである。
DINE (Diffomorphic Information Neural Estorimator) は連続確率変数のCMIを推定するための新しい手法である。
興味のある変数は、より単純な分布に従う適切なサロゲートに置き換えることができることを示す。
論文 参考訳（メタデータ） (2022-11-20T03:03:56Z) - Multi-Modal Mutual Information Maximization: A Novel Approach for
Unsupervised Deep Cross-Modal Hashing [73.29587731448345]
我々はCross-Modal Info-Max Hashing (CMIMH)と呼ばれる新しい手法を提案する。
モーダル内およびモーダル間の類似性を両立できる情報表現を学習する。
提案手法は、他の最先端のクロスモーダル検索手法よりも一貫して優れている。
論文 参考訳（メタデータ） (2021-12-13T08:58:03Z) - Learning Multimodal VAEs through Mutual Supervision [72.77685889312889]
MEMEは、相互監督を通じて暗黙的にモダリティ間の情報を結合する。
我々は、MEMEが、部分的および完全観察スキームの双方で標準メトリクスのベースラインを上回ることを実証する。
論文 参考訳（メタデータ） (2021-06-23T17:54:35Z) - Memory-Augmented Relation Network for Few-Shot Learning [114.47866281436829]
本研究では,新しい距離学習手法であるメモリ拡張リレーショナルネットワーク(MRN)について検討する。
MRNでは、作業状況と視覚的に類似したサンプルを選択し、重み付け情報伝搬を行い、選択したサンプルから有用な情報を注意深く集約し、その表現を強化する。
我々は、MRNが祖先よりも大幅に向上し、他の数発の学習手法と比較して、競争力や性能が向上することを示した。
論文 参考訳（メタデータ） (2020-05-09T10:09:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。