論文の概要: Localizing Memorization in SSL Vision Encoders

• arxiv url: http://arxiv.org/abs/2409.19069v1
• Date: Tue, 29 Oct 2024 20:13:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 04:40:55.494843
• Title: Localizing Memorization in SSL Vision Encoders
• Title（参考訳）: SSLビジョンエンコーダにおけるメモリのローカライズ
• Authors: Wenhao Wang, Adam Dziedzic, Michael Backes, Franziska Boenisch,
• Abstract要約: SSLエンコーダにおけるメモリのローカライズのための2つの指標について,レイヤ単位(Layermem)とユニット単位単位(unitmem)について提案する。 SSLのメモリ化は層深度とともに増加するが、高いメモリ化ユニットはエンコーダ全体に分散している。
• 参考スコア（独自算出の注目度）: 24.681788021239118
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work on studying memorization in self-supervised learning (SSL) suggests that even though SSL encoders are trained on millions of images, they still memorize individual data points. While effort has been put into characterizing the memorized data and linking encoder memorization to downstream utility, little is known about where the memorization happens inside SSL encoders. To close this gap, we propose two metrics for localizing memorization in SSL encoders on a per-layer (layermem) and per-unit basis (unitmem). Our localization methods are independent of the downstream task, do not require any label information, and can be performed in a forward pass. By localizing memorization in various encoder architectures (convolutional and transformer-based) trained on diverse datasets with contrastive and non-contrastive SSL frameworks, we find that (1) while SSL memorization increases with layer depth, highly memorizing units are distributed across the entire encoder, (2) a significant fraction of units in SSL encoders experiences surprisingly high memorization of individual data points, which is in contrast to models trained under supervision, (3) atypical (or outlier) data points cause much higher layer and unit memorization than standard data points, and (4) in vision transformers, most memorization happens in the fully-connected layers. Finally, we show that localizing memorization in SSL has the potential to improve fine-tuning and to inform pruning strategies.
• Abstract（参考訳）: 自己教師付き学習(SSL)における記憶の研究は、SSLエンコーダが数百万の画像で訓練されているにもかかわらず、個々のデータポイントを記憶していることを示唆している。 メモリ化されたデータを特徴付け、エンコーダのメモリ化をダウンストリームユーティリティにリンクする作業は行われているが、SSLエンコーダ内でのメモリ化の実施場所についてはほとんど分かっていない。 このギャップを埋めるために、SSLエンコーダにおけるメモリのローカライズのための2つの指標(層間(層間)と単位単位ベース(ユニット間))を提案する。 我々のローカライゼーション方法は下流タスクとは独立しており、ラベル情報を一切必要とせず、フォワードパスで実行できる。 さまざまなエンコーダアーキテクチャ(畳み込みおよび変圧器をベースとする)における記憶の局所化により,(1) SSLの記憶は層深度とともに増加するが,(2) SSLエンコーダ内の単位のかなりの割合は,監督下で訓練されたモデルと対照的に驚くほど高い個々のデータポイントの記憶を経験し,(3) 非定型データポイントは標準データポイントよりもはるかに高い層と単位記憶を生じ,(4) ビジョントランスフォーマーでは、ほとんどの記憶が完全に接続されたレイヤで発生することがわかった。 最後に,SSLにおけるメモリのローカライズは,微調整の改善とプルーニング戦略の通知の可能性を秘めていることを示す。

関連論文リスト

• Memorization in Self-Supervised Learning Improves Downstream Generalization [49.42010047574022]
  自己教師付き学習(SSL)は、ラベルのないデータで純粋に高性能エンコーダを訓練する能力により、最近大きな注目を集めている。 SSL内での暗記を定義するためのフレームワークであるSSLMemを提案する。
  論文  参考訳（メタデータ） (2024-01-19T11:32:47Z)
• Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
  我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。 オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。 本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
  論文  参考訳（メタデータ） (2023-10-10T15:41:26Z)
• Speech Self-Supervised Representation Benchmarking: Are We Doing it Right? [24.354848095744536]
  自己教師付き学習(SSL)は、最近、ラベルなし音声信号の大規模なデータセットを活用して、音声タスクにおける印象的なパフォーマンスを実現した。 限定的なデコーダを使用したベンチマークは、開発したSSLモデルのサイズに反生産的な増加をもたらす可能性がある。
  論文  参考訳（メタデータ） (2023-06-01T08:51:18Z)
• Transfer-Free Data-Efficient Multilingual Slot Labeling [82.02076369811402]
  スロットラベリングはタスク指向対話(ToD)システムの中核的なコンポーネントである。 固有データ不足の問題を緩和するために、多言語ToDに関する現在の研究は、十分な英語の注釈付きデータが常に利用可能であると仮定している。 標準的な多言語文エンコーダを効果的なスロットラベリングに変換する2段階のスロットラベリング手法(TWOSL)を提案する。
  論文  参考訳（メタデータ） (2023-05-22T22:47:32Z)
• Do SSL Models Have D\'ej\`a Vu? A Case of Unintended Memorization in Self-supervised Learning [47.46863155263094]
  自己教師付き学習(SSL)アルゴリズムは、自然画像の様々な部分を相互に関連付けることを学ぶことによって、有用な画像表現を生成することができる。 SSLモデルは、意味的に意味のある関連を学習するのではなく、個別のトレーニングサンプルの特定の部分を意図せずに記憶することができる。 背景のみを含む訓練画像の訓練モデルと収穫量を考えると,前景オブジェクトを高精度に推測できることを示す。
  論文  参考訳（メタデータ） (2023-04-26T22:29:49Z)
• De-coupling and De-positioning Dense Self-supervised Learning [65.56679416475943]
  Dense Self-Supervised Learning (SSL)メソッドは、複数のオブジェクトでイメージを処理する際に、画像レベルの特徴表現を使用する際の制限に対処する。 本研究は, 層深度やゼロパディングに伴う受容野の増大によって生じる, 結合と位置バイアスに悩まされていることを示す。 我々はCOCOにおける本手法の利点と、オブジェクト分類、セマンティックセグメンテーション、オブジェクト検出のための新しい挑戦的ベンチマークであるOpenImage-MINIについて示す。
  論文  参考訳（メタデータ） (2023-03-29T18:07:25Z)
• A Survey on Self-supervised Learning: Algorithms, Applications, and Future Trends [82.64268080902742]
  自己教師付き学習(SSL)は、ラベル付きラベルを頼らずにラベル付きデータから識別的特徴を学習することを目的としている。 SSLは最近大きな注目を集め、多くの関連するアルゴリズムの開発に繋がった。 本稿では,アルゴリズム的側面,アプリケーション領域,3つの重要なトレンド,オープンな研究課題を含む,多様なSSL手法のレビューを行う。
  論文  参考訳（メタデータ） (2023-01-13T14:41:05Z)
• Joint Encoder-Decoder Self-Supervised Pre-training for ASR [0.0]
  自己教師型学習は、様々な音声関連下流タスクで大きな成功を収めている。 本稿では,自己教師型学習におけるデコーダのパワーを活用した新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-06-09T12:45:29Z)
• Sound and Visual Representation Learning with Multiple Pretraining Tasks [104.11800812671953]
  自己管理タスク(SSL)は、データと異なる特徴を明らかにする。 この作業は、下流のすべてのタスクをうまく一般化する複数のSSLタスク(Multi-SSL)を組み合わせることを目的としている。 音響表現の実験では、SSLタスクのインクリメンタルラーニング(IL)によるマルチSSLが、単一のSSLタスクモデルより優れていることが示されている。
  論文  参考訳（メタデータ） (2022-01-04T09:09:38Z)
• Generalized Continual Zero-Shot Learning [7.097782028036196]
  ゼロショット学習(ZSL)は、クラス記述に基づいて、見知らぬクラスから見つからないクラスに知識を移すことによって、目に見えないクラスを分類することを目的としている。 本稿では,タスクの形式でクラスが順次到着するZSLについて,より汎用的で実用的な設定を提案する。 我々は、知識蒸留と、それ以前のタスクからの少数のサンプルの保存と再生を、小さなエピソードメモリを用いて行っている。
  論文  参考訳（メタデータ） (2020-11-17T08:47:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。