論文の概要: MultiMem: Measuring and Mitigating Memorization in Multi-Modal Contrastive Learninga

• arxiv url: http://arxiv.org/abs/2606.22220v1
• Date: Sat, 20 Jun 2026 20:46:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 16:10:15.088963
• Title: MultiMem: Measuring and Mitigating Memorization in Multi-Modal Contrastive Learninga
• Title（参考訳）: MultiMem:マルチモーダルコントラスト学習における記憶の計測と緩和
• Authors: Wenhao Wang, Franziska Boenisch, Michael Backes, Adam Dziedzic,
• Abstract要約: 機械学習モデルのメモリ化は、希少な分散サンプル上で高いパフォーマンスを実現する。 また、騒音や外れ値の有害な保持を招き、一般化を低下させる。 マルチモーダル・コントラッシブ・ラーニングにおける記憶の定量化を目的とした最初の指標であるMultiMemを紹介する。
• 参考スコア（独自算出の注目度）: 42.60499995994591
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Memorization in machine learning models enables high performance on rare in-distribution samples by capturing their atypical patterns. However, it also causes harmful retention of noise and outliers, degrading generalization. While memorization has been extensively studied in both supervised and self-supervised learning in the vision domain, it remains unexplored in multi-modal contrastive learning. We address this gap by introducing MultiMem, the first metric designed to quantify memorization in multi-modal contrastive learning. Through our systematic analysis, we demonstrate that cross-modal semantic misalignment has the strongest influence on memorization, with text being the dominant modality driving memorization, followed by video, image, and audio. We show that targeted augmentations applied across all modalities effectively reduce memorization as measured by our MultiMem metric and improve model performance. Overall, this work establishes the first framework for measuring and mitigating memorization in multi-modal contrastive learning, preventing harmful data retention and contributing to higher-performing models.
• Abstract（参考訳）: 機械学習モデルのメモリ化により、非定型パターンをキャプチャすることで、希少な分散サンプル上でのハイパフォーマンスを実現することができる。 しかし、ノイズや外れ値の有害な保持を招き、一般化を低下させる。 暗記は視覚領域における教師付き学習と自己監督型学習の両方で広く研究されているが、マルチモーダルコントラスト学習では研究されていない。 マルチモーダルコントラスト学習における記憶の定量化を目的とした最初の指標であるMultiMemを導入することで、このギャップに対処する。 系統的な分析により, モーダル間のセマンティック・アライメントが暗記に最も強い影響を与え, テキストが主要なモダリティ駆動暗記であり, 続いてビデオ, 画像, 音声が続くことを示した。 これらの結果から,全てのモダリティを対象とする拡張は,MultiMem測定値によるメモリ化を効果的に低減し,モデル性能を向上させることが示唆された。 全体として、この研究は、マルチモーダルコントラスト学習における暗記の測定と緩和のための最初のフレームワークを確立し、有害なデータ保持を防止し、より高いパフォーマンスモデルに寄与する。

関連論文リスト

• Understanding the Role of Rehearsal Scale in Continual Learning under Varying Model Capacities [11.882528379148141]
  リハーサルに基づく連続学習を多次元実効性駆動型反復最適化問題として定式化する。 我々は、リハーサルスケールの観点から、適応性、記憶可能性、一般化のクローズドフォーム分析を導出する。 複数の実世界のデータセットにまたがるディープニューラルネットワークの数値シミュレーションと拡張解析により,これらの知見を検証した。
  論文  参考訳（メタデータ） (2026-02-24T11:29:12Z)
• Human-Inspired Learning for Large Language Models via Obvious Record and Maximum-Entropy Method Discovery [0.11844977816228043]
  本稿では,2つの相補的なメカニズムを組み込んだヒューマンインスピレーション学習フレームワークを提案する。 第一のObvious Recordは、因果関係(または疑問解決)を象徴記憶として明示的に記憶する。 第二に、最大エントロピー法発見(Maximum-Entropy Method Discovery)は、高いセマンティックな相似性を持つメソッドを優先順位付けし、保存する。
  論文  参考訳（メタデータ） (2025-12-14T09:12:09Z)
• Quantifying Cross-Modality Memorization in Vision-Language Models [86.82366725590508]
  モーダリティ記憶のユニークな特徴について検討し,視覚言語モデルを中心とした体系的な研究を行う。 以上の結果から,一方のモダリティが他方のモダリティに伝達されることが判明したが,情報源の情報と対象のモダリティの間には大きなギャップがあることがわかった。
  論文  参考訳（メタデータ） (2025-06-05T16:10:47Z)
• Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
  我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。 オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。 本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
  論文  参考訳（メタデータ） (2023-10-10T15:41:26Z)
• Learning Unseen Modality Interaction [54.23533023883659]
  マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。 我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。 異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
  論文  参考訳（メタデータ） (2023-06-22T10:53:10Z)
• Learning Transferable Adversarial Robust Representations via Multi-view Consistency [57.73073964318167]
  デュアルエンコーダを用いたメタ逆多視点表現学習フレームワークを提案する。 未確認領域からの少数ショット学習タスクにおけるフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-10-19T11:48:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。