論文の概要: Self-Supervised Learning Using Nonlinear Dependence

• arxiv url: http://arxiv.org/abs/2501.18875v1
• Date: Fri, 31 Jan 2025 04:11:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:03:54.842100
• Title: Self-Supervised Learning Using Nonlinear Dependence
• Title（参考訳）: 非線形依存を用いた自己教師付き学習
• Authors: M. Hadi Sepanj, Benyamin Ghojogh, Paul Fieguth,
• Abstract要約: correlation-Dependence Self-Supervised Learning (CDSSL)は、既存のSSLパラダイムを統合し拡張する新しいフレームワークである。 提案手法では,Hilbert-Schmidt Independence Criterion (HSIC) を組み込んで,再生ケルネルヒルベルト空間内の非線形依存関係を確実に捕捉する。
• 参考スコア（独自算出の注目度）: 1.7696680859704141
• License:
• Abstract: Self-supervised learning has gained significant attention in contemporary applications, particularly due to the scarcity of labeled data. While existing SSL methodologies primarily address feature variance and linear correlations, they often neglect the intricate relations between samples and the nonlinear dependencies inherent in complex data. In this paper, we introduce Correlation-Dependence Self-Supervised Learning (CDSSL), a novel framework that unifies and extends existing SSL paradigms by integrating both linear correlations and nonlinear dependencies, encapsulating sample-wise and feature-wise interactions. Our approach incorporates the Hilbert-Schmidt Independence Criterion (HSIC) to robustly capture nonlinear dependencies within a Reproducing Kernel Hilbert Space, enriching representation learning. Experimental evaluations on diverse benchmarks demonstrate the efficacy of CDSSL in improving representation quality.
• Abstract（参考訳）: 自己教師付き学習は、特にラベル付きデータの不足により、現代の応用において大きな注目を集めている。 既存のSSL手法は主に特徴分散と線形相関に対処するが、複雑なデータに固有のサンプルと非線型依存関係の間の複雑な関係を無視することが多い。 本稿では,線形相関と非線形依存関係を統合し,サンプルと特徴の相互作用をカプセル化することによって既存のSSLパラダイムを統一・拡張する新しいフレームワークである相関依存自己監視学習(CDSSL)を紹介する。 提案手法では,Hilbert-Schmidt Independence Criterion (HSIC) を導入し,表現学習の充実を図る。 多様なベンチマークによる実験的評価は、表現品質の向上におけるCDSSLの有効性を示している。

関連論文リスト

• Self-supervised contrastive learning performs non-linear system identification [2.393499494583001]
  自己教師型学習は潜在空間においてシステム識別を行うことができることを示す。 非線形観測モデルの下で線形・切替線形・非線形力学を明らかにするためのフレームワークであるDynCLを提案する。
  論文  参考訳（メタデータ） (2024-10-18T17:59:25Z)
• Label-free Monitoring of Self-Supervised Learning Progress [1.2289361708127877]
  自己教師付き学習(SSL)は、階層化されていないデータを利用してハイレベルな埋め込み空間を学習する効果的な方法である。 本研究では,非競合データの埋め込みに適用可能ないくつかの評価指標を提案する。
  論文  参考訳（メタデータ） (2024-09-10T16:04:10Z)
• On the Discriminability of Self-Supervised Representation Learning [38.598160031349686]
  自己教師付き学習(SSL)は、最近、下流の視覚タスクで大きな成功を収めた。 特に複雑な下流タスクにおいて、SSLと教師あり学習(SL)の間には、注目すべきギャップがまだ残っている。
  論文  参考訳（メタデータ） (2024-07-18T14:18:03Z)
• Robust optimization for adversarial learning with finite sample complexity guarantees [1.8434042562191815]
  本稿では,線形・非線形な分類問題に着目し,ロバストな分類器に対する新しい逆学習法を提案する。 データ駆動型レンズの下ではロバスト性があり、線形および非線形の分類器の2進および複数クラスシナリオにおける有限標本複雑性境界を導出する。 線形および非線形モデルに対する線形計画法 (LP) と2次コーン計画法 (SOCP) を用いて, 最悪のサロゲート損失を最小限に抑えるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-22T13:49:53Z)
• Beyond Instance Discrimination: Relation-aware Contrastive Self-supervised Learning [75.46664770669949]
  本稿では,関係認識型コントラスト型自己教師型学習(ReCo)をインスタンス関係に統合するために提案する。 当社のReCoは、常に顕著なパフォーマンス改善を実現しています。
  論文  参考訳（メタデータ） (2022-11-02T03:25:28Z)
• How robust are pre-trained models to distribution shift? [82.08946007821184]
  自己教師付き学習(SSL)と自己エンコーダベースモデル(AE)の相互関係が相互関係に与える影響を示す。 本研究では, 線形ヘッドの潜在バイアスから事前学習したモデルの性能を分離するために, アウト・オブ・ディストリビューション(OOD)データに基づいて訓練された線形ヘッドを用いた新しい評価手法を開発した。
  論文  参考訳（メタデータ） (2022-06-17T16:18:28Z)
• Collaborative Intelligence Orchestration: Inconsistency-Based Fusion of Semi-Supervised Learning and Active Learning [60.26659373318915]
  アクティブラーニング(AL)と半教師付きラーニング(SSL)は2つの効果があるが、しばしば孤立している。 本稿では、SSL-ALの潜在的な優位性をさらに調査するために、革新的な一貫性に基づく仮想aDvErialアルゴリズムを提案する。 2つの実世界のケーススタディは、提案したデータサンプリングアルゴリズムの適用と展開の実践的な産業価値を可視化する。
  論文  参考訳（メタデータ） (2022-06-07T13:28:43Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)
• ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
  自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。 本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。 提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-07-20T06:53:07Z)
• On Disentangled Representations Learned From Correlated Data [59.41587388303554]
  相関データに対する最も顕著な絡み合うアプローチの挙動を解析することにより、現実のシナリオにギャップを埋める。 本研究では,データセットの体系的相関が学習され,潜在表現に反映されていることを示す。 また、トレーニング中の弱い監督や、少数のラベルで事前訓練されたモデルを修正することで、これらの潜伏相関を解消する方法を実証する。
  論文  参考訳（メタデータ） (2020-06-14T12:47:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。