論文の概要: Beyond Pairwise Correlations: Higher-Order Redundancies in Self-Supervised Representation Learning

• arxiv url: http://arxiv.org/abs/2412.01926v1
• Date: Mon, 02 Dec 2024 19:23:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:43:24.920930
• Title: Beyond Pairwise Correlations: Higher-Order Redundancies in Self-Supervised Representation Learning
• Title（参考訳）: ペアワイズ・相関を超えて:自己監督型表現学習における高次冗長性
• Authors: David Zollikofer, Béni Egressy, Frederik Benzing, Matthias Otth, Roger Wattenhofer,
• Abstract要約: 埋め込み空間の冗長性の概念を形式化し、より複雑で高次の依存関係を捉える冗長性尺度を導入する。 本稿では,組込み空間における冗長性を低減する手法として,予測可能性最小化による自己教師付き学習(SSLPM)を提案する。 我々はSSLPMが最先端の手法と競合していることを示し、最も優れたSSLメソッドが低埋め込み空間冗長性を示すことを示した。
• 参考スコア（独自算出の注目度）: 22.957001358985806
• License:
• Abstract: Several self-supervised learning (SSL) approaches have shown that redundancy reduction in the feature embedding space is an effective tool for representation learning. However, these methods consider a narrow notion of redundancy, focusing on pairwise correlations between features. To address this limitation, we formalize the notion of embedding space redundancy and introduce redundancy measures that capture more complex, higher-order dependencies. We mathematically analyze the relationships between these metrics, and empirically measure these redundancies in the embedding spaces of common SSL methods. Based on our findings, we propose Self Supervised Learning with Predictability Minimization (SSLPM) as a method for reducing redundancy in the embedding space. SSLPM combines an encoder network with a predictor engaging in a competitive game of reducing and exploiting dependencies respectively. We demonstrate that SSLPM is competitive with state-of-the-art methods and find that the best performing SSL methods exhibit low embedding space redundancy, suggesting that even methods without explicit redundancy reduction mechanisms perform redundancy reduction implicitly.
• Abstract（参考訳）: いくつかの自己教師付き学習(SSL)アプローチは、特徴埋め込み空間の冗長性低減が表現学習の効果的なツールであることを示した。 しかし、これらの手法は、特徴間のペアワイズ相関に着目した、冗長性の狭い概念を考慮に入れている。 この制限に対処するため、埋め込み空間冗長性の概念を定式化し、より複雑で高階の依存関係を捉える冗長性対策を導入する。 我々はこれらのメトリクス間の関係を数学的に解析し、共通のSSLメソッドの埋め込み空間におけるこれらの冗長性を実証的に測定する。 本研究は,組込み空間における冗長性を低減する手法として,予測可能性最小化による自己教師付き学習(SSLPM)を提案する。 SSLPMは、エンコーダネットワークと、依存関係の削減と活用という競争的なゲームに従事する予測器を組み合わせる。 我々はSSLPMが最先端の手法と競合していることを示し、最も優れたSSL手法が埋め込みスペースの冗長性が低いことを示し、明示的な冗長性低減機構を持たない方法でさえ、冗長性低減を暗黙的に行うことを示唆した。

関連論文リスト

• Mask-Encoded Sparsification: Mitigating Biased Gradients in Communication-Efficient Split Learning [15.78336840511033]
  本稿では,スプリットラーニング(SL)シナリオにおいて,高い圧縮率を達成するために設計された新しいフレームワークを提案する。 本研究は, SL内の特徴写像の圧縮が, 収束率に負の影響を及ぼすバイアス勾配をもたらすことを示す。 我々は、時間的複雑さの順序を増大させることなく、スペーシフィケーションエラーを補うために、狭いビット幅の符号化マスクを用いる。
  論文  参考訳（メタデータ） (2024-08-25T09:30:34Z)
• On the Discriminability of Self-Supervised Representation Learning [38.598160031349686]
  自己教師付き学習(SSL)は、最近、下流の視覚タスクで大きな成功を収めた。 特に複雑な下流タスクにおいて、SSLと教師あり学習(SL)の間には、注目すべきギャップがまだ残っている。
  論文  参考訳（メタデータ） (2024-07-18T14:18:03Z)
• ItTakesTwo: Leveraging Peer Representations for Semi-supervised LiDAR Semantic Segmentation [24.743048965822297]
  本稿では,ItTakesTwo (IT2) と呼ばれる半教師付きLiDARセマンティックセマンティックセマンティクスフレームワークを提案する。 IT2は、ピアLiDAR表現からの一貫性のある予測を保証するために設計されており、一貫性学習における摂動効率を改善する。 その結果,本手法は従来のSOTA法よりも顕著に改善されていることがわかった。
  論文  参考訳（メタデータ） (2024-07-09T18:26:53Z)
• Combating Representation Learning Disparity with Geometric Harmonization [50.29859682439571]
  本稿では,表現学習におけるカテゴリレベルの均一性を促進するために,新しい幾何調和法を提案する。 我々の提案はSSLの設定を変更せず、低コストで既存のメソッドに容易に統合できる。
  論文  参考訳（メタデータ） (2023-10-26T17:41:11Z)
• Understanding Self-Supervised Learning of Speech Representation via Invariance and Redundancy Reduction [0.45060992929802207]
  自己教師付き学習(SSL)は、ラベルのないデータから柔軟な音声表現を学習するための有望なパラダイムとして登場した。 本研究は,人間の知覚における冗長性低下の理論に触発されたSSL技術であるBarlow Twins(BT)を実証分析した。
  論文  参考訳（メタデータ） (2023-09-07T10:23:59Z)
• Decoupled Adversarial Contrastive Learning for Self-supervised Adversarial Robustness [69.39073806630583]
  頑健な表現学習のための対人訓練(AT)と教師なし表現学習のための自己教師型学習(SSL)は2つの活発な研究分野である。 Decoupled Adversarial Contrastive Learning (DeACL) と呼ばれる2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-22T06:30:44Z)
• Weak Augmentation Guided Relational Self-Supervised Learning [80.0680103295137]
  本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。 提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。 実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-03-16T16:14:19Z)
• Boosting Discriminative Visual Representation Learning with Scenario-Agnostic Mixup [54.09898347820941]
  自己教師付き学習(SSL)と教師付き学習(SL)の両方のシナリオに対して,textbfScenario-textbfAgnostic textbfMixup (SAMix)を提案する。 具体的には、2つの混合クラス間の局所的な滑らかさを最適化するために、混合生成の目的関数を仮説化し、検証する。 非自明な混合サンプルを効果的に提供し、転送可能な能力を向上させるラベルフリーな生成サブネットワークを設計する。
  論文  参考訳（メタデータ） (2021-11-30T14:49:59Z)
• ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
  自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。 本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。 提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-07-20T06:53:07Z)
• On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
  最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。 これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
  論文  参考訳（メタデータ） (2021-01-18T10:12:31Z)
• Aggregative Self-Supervised Feature Learning from a Limited Sample [12.555160911451688]
  自己教師付き学習特徴の頑健性を高めるために,様々な形態の相補性の観点から2つのアグリゲーション戦略を提案する。 限られたデータシナリオ下での2次元自然画像および3次元医用画像分類タスクの実験により,提案手法が分類精度を向上できることが確認された。
  論文  参考訳（メタデータ） (2020-12-14T12:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。