論文の概要: Modality-Aware Neuron Pruning for Unlearning in Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2502.15910v1
• Date: Fri, 21 Feb 2025 19:54:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:55:39.891513
• Title: Modality-Aware Neuron Pruning for Unlearning in Multimodal Large Language Models
• Title（参考訳）: マルチモーダル大言語モデルにおける未学習のためのモダリティを考慮したニューロンプルーニング
• Authors: Zheyuan Liu, Guangyao Dou, Xiangchi Yuan, Chunhui Zhang, Zhaoxuan Tan, Meng Jiang,
• Abstract要約: 大規模なデータセットでトレーニングされたLarge Language Models(LLM)やMultimodal Large Language Models(MLLM)のような生成モデルは、機密情報を記憶し、不注意に明らかにし、倫理的およびプライバシー上の懸念を提起する。 本研究では,MLLM のための新しい学習フレームワークである Modality Aware Neuron Unlearning (MANU) を提案する。
• 参考スコア（独自算出の注目度）: 24.30356626130181
• License:
• Abstract: Generative models such as Large Language Models (LLMs) and Multimodal Large Language Models (MLLMs) trained on massive datasets can lead them to memorize and inadvertently reveal sensitive information, raising ethical and privacy concerns. While some prior works have explored this issue in the context of LLMs, it presents a unique challenge for MLLMs due to the entangled nature of knowledge across modalities, making comprehensive unlearning more difficult. To address this challenge, we propose Modality Aware Neuron Unlearning (MANU), a novel unlearning framework for MLLMs designed to selectively clip neurons based on their relative importance to the targeted forget data, curated for different modalities. Specifically, MANU consists of two stages: important neuron selection and selective pruning. The first stage identifies and collects the most influential neurons across modalities relative to the targeted forget knowledge, while the second stage is dedicated to pruning those selected neurons. MANU effectively isolates and removes the neurons that contribute most to the forget data within each modality, while preserving the integrity of retained knowledge. Our experiments conducted across various MLLM architectures illustrate that MANU can achieve a more balanced and comprehensive unlearning in each modality without largely affecting the overall model utility.
• Abstract（参考訳）: 大規模なデータセットでトレーニングされたLarge Language Models(LLM)やMultimodal Large Language Models(MLLM)のような生成モデルは、機密情報を記憶し、不注意に明らかにし、倫理的およびプライバシー上の懸念を提起する。 LLMの文脈において、いくつかの先行研究がこの問題を探求してきたが、モダリティにまたがる知識の絡み合いにより、MLLMにとってユニークな課題が示され、包括的未学習がより困難になる。 この課題に対処するために、我々は、標的となる忘れデータに対する相対的重要性に基づいてニューロンを選択的にクリップするMLLMのための新しい学習フレームワークであるModality Aware Neuron Unlearning (MANU)を提案する。 具体的には、MANUは重要なニューロン選択と選択的プルーニングという2つの段階から構成される。 第1段階は、標的となる忘れの知識に対して最も影響力のあるニューロンを特定し、収集し、第2段階は選択したニューロンを刈り取る。 MANUは、保持された知識の完全性を維持しながら、各モード内の忘れデータに最も寄与するニューロンを効果的に単離し、除去する。 各種MLLMアーキテクチャを用いて行った実験により、MANUはモデルユーティリティ全体に影響を与えることなく、各モードでよりバランスよく総合的なアンラーニングを実現できることを示した。

関連論文リスト

• Resolving Domain Shift For Representations Of Speech In Non-Invasive Brain Recordings [3.5297361401370044]
  脳磁図(MEG)を用いた非侵襲的データ収集に焦点を当てた。 私たちの知る限りでは、この研究はMEGニューロイメージングデータに基づく機能レベルの深層学習の初めての応用である。
  論文  参考訳（メタデータ） (2024-10-25T21:56:23Z)
• Long Term Memory: The Foundation of AI Self-Evolution [48.52678410533424]
  GPTのような大規模な言語モデル(LLM)は、膨大なデータセットに基づいてトレーニングされており、言語理解、推論、計画において印象的な能力を示している。 ほとんどの研究は、より強力な基盤モデルを構築するために、より大規模なデータセットをトレーニングすることで、これらのモデルを強化することに重点を置いている。 大規模なトレーニングとは異なり、推論中にモデルを進化させることは、AIの自己進化(self-evolution)と呼ばれるプロセスと同等に重要である。
  論文  参考訳（メタデータ） (2024-10-21T06:09:30Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• Neuron-based Personality Trait Induction in Large Language Models [115.08894603023712]
  大規模言語モデル (LLM) は、様々な性格特性をシミュレートする能力が増している。 LLMにおけるパーソナリティ特性誘導のためのニューロンに基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-16T07:47:45Z)
• Cross-Modal Few-Shot Learning: a Generative Transfer Learning Framework [58.362064122489166]
  本稿では,複数モーダルからインスタンスを識別するクロスモーダルなFew-Shot Learningタスクを提案する。 本稿では,1つの段階からなる生成的転帰学習フレームワークを提案する。1つは豊富な一助データに対する学習を伴い,もう1つは新しいデータに適応するための転帰学習に焦点を当てる。 以上の結果から,GTLは4つの異なるマルチモーダルデータセット間の最先端手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-14T16:09:38Z)
• NeuroLM: A Universal Multi-task Foundation Model for Bridging the Gap between Language and EEG Signals [21.363722751437066]
  我々は,脳波を外国語として扱うことで,Large Language Models (LLMs) の機能を活用する,最初のマルチタスク基盤モデルであるNeuroLMを提案する。 我々のアプローチは、脳波信号を離散的な神経トークンにエンコードするベクトル量子化された時間周波数予測を通じて、テキスト整列型ニューラルトークンを学習することから始まります。 我々は、LLMを具体化することによって、NeuroLMは命令チューニングによって単一のモデル内で多様な脳波タスクを統合できることを初めて実証した。
  論文  参考訳（メタデータ） (2024-08-27T12:07:09Z)
• MoExtend: Tuning New Experts for Modality and Task Extension [61.29100693866109]
  MoExtendは、Mixture-of-Experts (MoE)モデルのモダリティ適応と拡張を効率化する効果的なフレームワークである。 MoExtendは、新しいエキスパートをトレーニング済みのMoEモデルにシームレスに統合し、トレーニング済みのモデルをチューニングすることなく、新しい知識を提供する。
  論文  参考訳（メタデータ） (2024-08-07T02:28:37Z)
• VANER: Leveraging Large Language Model for Versatile and Adaptive Biomedical Named Entity Recognition [3.4923338594757674]
  大型言語モデル(LLM)は、様々な種類のエンティティを抽出できるモデルを訓練するために使用することができる。 本稿では,オープンソースのLLM LLaMA2をバックボーンモデルとして利用し,異なるタイプのエンティティとデータセットを区別するための具体的な命令を設計する。 我々のモデルVANERは、パラメータの小さな分割で訓練され、従来のLLMモデルよりも大幅に優れており、LLMをベースとしたモデルとして初めて、従来の最先端のBioNERシステムの大部分を上回りました。
  論文  参考訳（メタデータ） (2024-04-27T09:00:39Z)
• UMBRAE: Unified Multimodal Brain Decoding [43.6339793925953]
  脳信号のマルチモーダルデコードであるUMBRAEを提案する。 マルチモーダル脳アライメントのための効率的なユニバーサル脳エンコーダを提案する。 また,対象物固有の特徴を共通の特徴空間にマッピングするクロスオブジェクトトレーニング戦略も導入する。
  論文  参考訳（メタデータ） (2024-04-10T17:59:20Z)
• Dissecting Language Models: Machine Unlearning via Selective Pruning [0.7373617024876725]
  本稿では,大規模言語モデル(LLM)に特化して設計された機械学習手法を提案する。 我々は,LLMの選択的プルーニング法を導入し,ネットワーク全体の性能と比較して,標的能力に対するニューロンの重要性から神経細胞を除去する。 LLMのフィードフォワードニューロンとアテンションニューロンはどちらも専門的であり、特定のタスクにおいては、特定のニューロンは他のニューロンよりも重要である。
  論文  参考訳（メタデータ） (2024-03-02T17:10:44Z)
• Learning Multimodal Data Augmentation in Feature Space [65.54623807628536]
  LeMDAは、機能空間におけるマルチモーダルデータを共同で拡張することを自動的に学習する、使い易い方法である。 我々はLeMDAがマルチモーダルディープラーニングアーキテクチャの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。