論文の概要: Where Did Your Model Learn That? Label-free Influence for Self-supervised Learning

• arxiv url: http://arxiv.org/abs/2412.17170v1
• Date: Sun, 22 Dec 2024 21:43:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:53:15.314748
• Title: Where Did Your Model Learn That? Label-free Influence for Self-supervised Learning
• Title（参考訳）: あなたのモデルはどこでそれを学習したのか? ラベルフリーの自己教師型学習への影響
• Authors: Nidhin Harilal, Amit Kiran Rege, Reza Akbarian Bafghi, Maziar Raissi, Claire Monteleoni,
• Abstract要約: 自己教師型学習は、大規模なラベルなしデータセットからの学習に革命をもたらした。 事前学習データと学習表現との序文的関係はいまだに理解されていない。 SSLに適した影響関数を定義するための,新規かつラベルフリーなアプローチであるEmpfect-SSLを紹介する。
• 参考スコア（独自算出の注目度）: 0.48933451909251774
• License:
• Abstract: Self-supervised learning (SSL) has revolutionized learning from large-scale unlabeled datasets, yet the intrinsic relationship between pretraining data and the learned representations remains poorly understood. Traditional supervised learning benefits from gradient-based data attribution tools like influence functions that measure the contribution of an individual data point to model predictions. However, existing definitions of influence rely on labels, making them unsuitable for SSL settings. We address this gap by introducing Influence-SSL, a novel and label-free approach for defining influence functions tailored to SSL. Our method harnesses the stability of learned representations against data augmentations to identify training examples that help explain model predictions. We provide both theoretical foundations and empirical evidence to show the utility of Influence-SSL in analyzing pre-trained SSL models. Our analysis reveals notable differences in how SSL models respond to influential data compared to supervised models. Finally, we validate the effectiveness of Influence-SSL through applications in duplicate detection, outlier identification and fairness analysis. Code is available at: \url{https://github.com/cryptonymous9/Influence-SSL}.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、大規模なラベルなしデータセットからの学習に革命をもたらしたが、事前学習データと学習表現との本質的な関係はいまだに理解されていない。 従来の教師付き学習は、モデル予測に対する個々のデータポイントの寄与を測定する影響関数のような勾配に基づくデータ帰属ツールの恩恵を受ける。 しかし、既存の影響の定義はラベルに依存しており、SSL設定には適さない。 SSLに適した影響関数を定義するための,新しい,ラベルのないアプローチであるEmpfect-SSLを導入することで,このギャップに対処する。 本手法は,データ拡張に対する学習表現の安定性を利用して,モデル予測を説明するトレーニング例を同定する。 我々は、事前訓練されたSSLモデルの解析におけるインフルエンス・SSLの有用性を示す理論的基礎と実証的証拠の両方を提供する。 我々の分析では、SSLモデルが教師付きモデルと比較して、影響力のあるデータにどのように反応するかに顕著な違いが示されている。 最後に, 重複検出, 異常識別, 公平性解析などの応用を通して, インフルエンス・SSLの有効性を検証する。 コードは以下の通り。 \url{https://github.com/cryptonymous9/Influence-SSL}。

関連論文リスト

• Understanding the Role of Equivariance in Self-supervised Learning [51.56331245499712]
  同変自己教師学習(E-SSL)は、拡張に注意する機能を学ぶ。 我々は、同変タスクと分類タスクの相乗効果を生成するE-SSLにおける重要な説明アウト効果を同定する。 E-SSLの実用設計の原則をいくつか明らかにする。
  論文  参考訳（メタデータ） (2024-11-10T16:09:47Z)
• A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
  自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。 SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
  論文  参考訳（メタデータ） (2024-07-16T23:17:36Z)
• Reinforcement Learning-Guided Semi-Supervised Learning [20.599506122857328]
  本稿では,SSLを片腕バンディット問題として定式化する新しい強化学習ガイド型SSL手法 RLGSSL を提案する。 RLGSSLは、ラベル付きデータとラベルなしデータのバランスを保ち、一般化性能を向上させるために、慎重に設計された報酬関数を組み込んでいる。 我々は,複数のベンチマークデータセットに対する広範な実験を通じてRCGSSLの有効性を実証し,我々の手法が最先端のSSL手法と比較して一貫した優れた性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-05-02T21:52:24Z)
• Making Self-supervised Learning Robust to Spurious Correlation via Learning-speed Aware Sampling [26.444935219428036]
  自己教師付き学習(SSL)は、ラベルのないデータからリッチな表現を学ぶための強力なテクニックとして登場した。 現実の環境では、いくつかの属性(例えば、人種、性別、年齢)と下流タスクのラベルの間に急激な相関関係がしばしば存在する。 学習速度に逆相関する確率でトレーニングデータをサンプリングする学習速度対応SSL(LA-SSL)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-11-27T22:52:45Z)
• Explaining, Analyzing, and Probing Representations of Self-Supervised Learning Models for Sensor-based Human Activity Recognition [2.2082422928825136]
  自己教師付き学習(SSL)フレームワークは、センサベースヒューマンアクティビティ認識(HAR)に広く応用されている。 本稿では,最近のSSLフレームワークであるSimCLRとVICRegの深層表現を解析することを目的とする。
  論文  参考訳（メタデータ） (2023-04-14T07:53:59Z)
• Semi-Leak: Membership Inference Attacks Against Semi-supervised Learning [42.089020844936805]
  半教師付き学習(SSL)はラベル付きデータとラベルなしデータの両方を活用して機械学習(ML)モデルをトレーニングする。 SSLでトレーニングされたMLモデルに対して,データ拡張に基づく最初のメンバシップ推論攻撃を提案する。 評価の結果,提案攻撃は既存のメンバシップ推論攻撃よりも一貫して優れていることがわかった。
  論文  参考訳（メタデータ） (2022-07-25T21:17:24Z)
• On Higher Adversarial Susceptibility of Contrastive Self-Supervised Learning [104.00264962878956]
  コントラスト型自己教師学習(CSL)は,画像と映像の分類において,教師あり学習のパフォーマンスに適合するか上回っている。 2つの学習パラダイムによって誘導される表現の性質が似ているかどうかは、いまだに不明である。 我々は,CSL表現空間における単位超球面上のデータ表現の均一分布を,この現象の鍵となる要因として同定する。 CSLトレーニングでモデルロバスト性を改善するのにシンプルだが有効である戦略を考案する。
  論文  参考訳（メタデータ） (2022-07-22T03:49:50Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)
• ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
  自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。 本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。 提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-07-20T06:53:07Z)
• Self-Supervised Learning of Graph Neural Networks: A Unified Review [50.71341657322391]
  ラベルなしサンプルを多用する新たなパラダイムとして,自己教師型学習が登場している。 SSLを用いたグラフニューラルネットワーク(GNNs)のトレーニング方法の統一レビューを提供します。 gnnに対するssl手法の処理は,様々な手法の類似性と相違に光を当て,新しい手法やアルゴリズムの開発段階を定めている。
  論文  参考訳（メタデータ） (2021-02-22T03:43:45Z)
• Semi-supervised learning objectives as log-likelihoods in a generative model of data curation [32.45282187405337]
  データキュレーションの生成モデルにおいて、SSLの目的をログライクな形式として定式化する。 おもちゃのデータにベイジアンSSLの証明を与える。
  論文  参考訳（メタデータ） (2020-08-13T13:50:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。