論文の概要: Multimodal Machine Unlearning

• arxiv url: http://arxiv.org/abs/2311.12047v1
• Date: Sat, 18 Nov 2023 08:30:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 03:50:05.528421
• Title: Multimodal Machine Unlearning
• Title（参考訳）: マルチモーダルマシンの学習
• Authors: Jiali Cheng, Hadi Amiri
• Abstract要約: マルチモーダルデータとモデルに特化して設計されたマシンアンラーニングアプローチであるMMULを紹介する。 MMULは3つの重要な特性に着目して、マルチモーダルなアンラーニングタスクを定式化する。 MMULは訓練に効率的であり、強い凸損失を使用する必要に制約されない。
• 参考スコア（独自算出の注目度）: 17.4320604647499
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Machine Unlearning is the process of removing specific training data samples and their corresponding effects from an already trained model. It has significant practical benefits, such as purging private, inaccurate, or outdated information from trained models without the need for complete re-training. Unlearning within a multimodal setting presents unique challenges due to the intrinsic dependencies between different data modalities and the expensive cost of training on large multimodal datasets and architectures. Current approaches to machine unlearning have not fully addressed these challenges. To bridge this gap, we introduce MMUL, a machine unlearning approach specifically designed for multimodal data and models. MMUL formulates the multimodal unlearning task by focusing on three key properties: (a): modality decoupling, which effectively decouples the association between individual unimodal data points within multimodal inputs marked for deletion, rendering them as unrelated data points within the model's context, (b): unimodal knowledge retention, which retains the unimodal representation capability of the model post-unlearning, and (c): multimodal knowledge retention, which retains the multimodal representation capability of the model post-unlearning. MMUL is efficient to train and is not constrained by the requirement of using a strongly convex loss. Experiments on two multimodal models and four multimodal benchmark datasets, including vision-language and graph-language datasets, show that MMUL outperforms existing baselines, gaining an average improvement of +17.6 points against the best-performing unimodal baseline in distinguishing between deleted and remaining data. In addition, MMUL can largely maintain pre-existing knowledge of the original model post unlearning, with a performance gap of only 0.3 points compared to retraining a new model from scratch.
• Abstract（参考訳）: Machine Unlearningは、特定のトレーニングデータサンプルとその対応する効果を、すでにトレーニング済みのモデルから削除するプロセスである。 完全再トレーニングを必要とせずに、トレーニングされたモデルからプライベート、不正確、あるいは時代遅れの情報を浄化するなど、重要な実用的なメリットがある。 マルチモーダル設定でのアンラーニングは、異なるデータモダリティ間の固有の依存関係と、大規模なマルチモーダルデータセットとアーキテクチャのトレーニングコストによって、ユニークな課題を提示します。 機械学習に対する現在のアプローチは、これらの課題を完全には解決していない。 このギャップを埋めるために,マルチモーダルデータとモデル専用に設計されたマシンアンラーニングアプローチであるmmulを紹介する。 MMULは3つの重要な特性に着目してマルチモーダル・アンラーニングタスクを定式化する。 (a) モダリティデカップリング(modality decoupling)は、削除をマークしたマルチモーダルインプット内の個々のユニモーダルデータポイント間の関係を効果的に分離し、モデルのコンテキスト内で無関係なデータポイントとして表現する。 (b)学習後のモデルのユニモーダル表現能力を保持するユニモーダル知識保持 (c):学習後のモデルのマルチモーダル表現能力を保持するマルチモーダル知識保持。 MMULは訓練に効率的であり、強い凸損失を使用する必要に制約されない。 2つのマルチモーダルモデルと4つのマルチモーダルベンチマークデータセット(ビジョン言語とグラフ言語データセットを含む)の実験は、MMULが既存のベースラインより優れており、削除されたデータと残りのデータとの区別において、最高のパフォーマンスのユニモーダルベースラインに対して+17.6ポイントの平均的な改善が得られたことを示している。 さらに、mulは、学習後のオリジナルのモデルの既存の知識をほとんど維持でき、新しいモデルをスクラッチから再トレーニングするのに比べ、パフォーマンスのギャップはわずか0.3ポイントである。

関連論文リスト

• CLIPErase: Efficient Unlearning of Visual-Textual Associations in CLIP [56.199779065855004]
  CLIPEraseは視覚的・テキスト的関連を選択的に忘れる新しいアプローチである。 CIFAR-100とFlickr30Kデータセットの実験は、CLIPEraseがマルチモーダルサンプルのゼロショットタスクにおける指定された関連性を効果的に忘れていることを示している。
  論文  参考訳（メタデータ） (2024-10-30T17:51:31Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• Learning Unseen Modality Interaction [54.23533023883659]
  マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。 我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。 異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
  論文  参考訳（メタデータ） (2023-06-22T10:53:10Z)
• Unimodal Training-Multimodal Prediction: Cross-modal Federated Learning with Hierarchical Aggregation [16.308470947384134]
  HA-Fedformerは新しいトランスフォーマーベースのモデルで、クライアントでのアンモダルデータセットのみを使用して、単一モダルトレーニングを可能にする。 我々は,マルコフ連鎖モンテカルロサンプリングを用いた局所エンコーダの不確実性を考慮したアグリゲーション法を開発した。 一般的な感情分析ベンチマークであるCMU-MOSIとCMU-MOSEIの実験は、HA-Fedformerが最先端のマルチモーダルモデルを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2023-03-27T07:07:33Z)
• Learning Multimodal Data Augmentation in Feature Space [65.54623807628536]
  LeMDAは、機能空間におけるマルチモーダルデータを共同で拡張することを自動的に学習する、使い易い方法である。 我々はLeMDAがマルチモーダルディープラーニングアーキテクチャの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:39:36Z)
• Multi-modal Contrastive Representation Learning for Entity Alignment [57.92705405276161]
  マルチモーダルなエンティティアライメントは、2つの異なるマルチモーダルな知識グラフ間で等価なエンティティを識別することを目的としている。 マルチモーダルコントラスト学習に基づくエンティティアライメントモデルであるMCLEAを提案する。 特に、MCLEAはまず複数のモダリティから複数の個別表現を学習し、その後、モダリティ内およびモダリティ間相互作用を共同でモデル化するコントラスト学習を行う。
  論文  参考訳（メタデータ） (2022-09-02T08:59:57Z)
• Multi-Party Dual Learning [34.360153917562755]
  孤立したパーティにおいて,品質の低い制限データの問題を軽減するために,マルチパーティ・デュアルラーニング(MPDL)フレームワークを提案する。 mpdlフレームワークは最先端のマルチパーティ学習手法に比べて大幅に改善されている。
  論文  参考訳（メタデータ） (2021-04-14T07:39:23Z)
• Multimodal Knowledge Expansion [14.332957885505547]
  ラベルを必要とせずにマルチモーダルデータを利用する知識蒸留に基づくフレームワークを提案する。 我々は、マルチモーダルな学生モデルが一貫して疑似ラベルを否定し、教師よりも優れた一般化を示す。
  論文  参考訳（メタデータ） (2021-03-26T12:32:07Z)
• Relating by Contrasting: A Data-efficient Framework for Multimodal Generative Models [86.9292779620645]
  生成モデル学習のための対照的なフレームワークを開発し、モダリティ間の共通性だけでなく、「関連」と「関連しない」マルチモーダルデータの区別によってモデルを訓練することができる。 提案手法では, 生成モデルを用いて, 関係のないサンプルから関連サンプルを正確に識別し, ラベルのない多モードデータの利用が可能となる。
  論文  参考訳（メタデータ） (2020-07-02T15:08:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。