論文の概要: Rethinking Self-Supervised Learning Within the Framework of Partial Information Decomposition

• arxiv url: http://arxiv.org/abs/2412.02121v1
• Date: Tue, 03 Dec 2024 03:20:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:44:39.132777
• Title: Rethinking Self-Supervised Learning Within the Framework of Partial Information Decomposition
• Title（参考訳）: 部分的情報分解の枠組みにおける自己指導型学習の再考
• Authors: Salman Mohamadi, Gianfranco Doretto, Donald A. Adjeroh,
• Abstract要約: 自己監督学習は、ラベルなしデータからの特徴学習において、その効果を実証している。 部分情報分解(PID)フレームワークにおけるSSLの中核的な考え方を再考することを提案する。 PIDの下でSSLを用いることで、従来の相互情報をより一般的な相互情報の概念に置き換えることを提案する。
• 参考スコア（独自算出の注目度）: 6.963971634605796
• License:
• Abstract: Self Supervised learning (SSL) has demonstrated its effectiveness in feature learning from unlabeled data. Regarding this success, there have been some arguments on the role that mutual information plays within the SSL framework. Some works argued for increasing mutual information between representation of augmented views. Others suggest decreasing mutual information between them, while increasing task-relevant information. We ponder upon this debate and propose to revisit the core idea of SSL within the framework of partial information decomposition (PID). Thus, with SSL under PID we propose to replace traditional mutual information with the more general concept of joint mutual information to resolve the argument. Our investigation on instantiation of SSL within the PID framework leads to upgrading the existing pipelines by considering the components of the PID in the SSL models for improved representation learning. Accordingly we propose a general pipeline that can be applied to improve existing baselines. Our pipeline focuses on extracting the unique information component under the PID to build upon lower level supervision for generic feature learning and on developing higher-level supervisory signals for task-related feature learning. In essence, this could be interpreted as a joint utilization of local and global clustering. Experiments on four baselines and four datasets show the effectiveness and generality of our approach in improving existing SSL frameworks.
• Abstract（参考訳）: Self Supervised Learning (SSL)は、ラベルのないデータから特徴学習を行う上で、その効果を実証している。 この成功に関して、SSLフレームワーク内で相互情報が果たす役割について、いくつかの議論があった。 いくつかの研究は、拡張ビューの表現間での相互情報の増加を主張した。 タスク関連情報を増大させながら、それらの間の相互情報の減少を示唆する者もいる。 我々はこの議論を熟考し、部分情報分解(PID)の枠組みの中でSSLの中核となる考え方を再考することを提案する。 したがって、SSLをPID下に置くことにより、従来の相互情報をより汎用的な相互情報の概念に置き換えて議論を解決することを提案する。 PIDフレームワークにおけるSSLのインスタンス化に関する調査は、表現学習を改善するためにSSLモデルにおけるPIDのコンポーネントを考慮することにより、既存のパイプラインのアップグレードにつながる。 そこで我々は,既存のベースラインを改善するために適用可能な汎用パイプラインを提案する。 我々のパイプラインは、汎用的な特徴学習のための下位レベルの監視を構築するために、PIDの下でユニークな情報コンポーネントを抽出すること、およびタスク関連の特徴学習のための上位レベルの監視信号を開発することに焦点を当てている。 本質的に、これは局所クラスタリングと大域クラスタリングの合同利用と解釈できる。 4つのベースラインと4つのデータセットの実験は、既存のSSLフレームワークの改善における我々のアプローチの有効性と汎用性を示している。

関連論文リスト

• Training Strategies for Isolated Sign Language Recognition [72.27323884094953]
  本稿では,孤立手話認識のための包括的モデル学習パイプラインを提案する。 構築されたパイプラインには、慎重に選択された画像とビデオの拡張が含まれており、低いデータ品質とさまざまなサインスピードの課題に対処している。 WLASLとSlovoのベンチマークでは、以前のベストソリューションと比較して1.63%と14.12%の改善が得られた。
  論文  参考訳（メタデータ） (2024-12-16T08:37:58Z)
• More Synergy, Less Redundancy: Exploiting Joint Mutual Information for Self-Supervised Learning [8.31483061185317]
  自己教師付き学習(SSL)は、データアノテーションを必要としないにもかかわらず、教師付き学習にとって深刻な競争相手となっている。 いくつかのベースラインは、SSLモデルをデータ配布に関する情報を利用して、拡張効果に頼らないよう試みている。 本稿では、SSLにおける相互情報の役割について検討し、相互情報に対する新たな視点の文脈においてSSLの問題を再考する。
  論文  参考訳（メタデータ） (2023-07-02T20:02:58Z)
• Reverse Engineering Self-Supervised Learning [17.720366509919167]
  自己教師型学習(SSL)は機械学習の強力なツールである。 本稿ではSSL学習表現の詳細な実験的検討を行う。
  論文  参考訳（メタデータ） (2023-05-24T23:15:28Z)
• Deciphering the Projection Head: Representation Evaluation Self-supervised Learning [6.375931203397043]
  自己教師付き学習(SSL)は、ラベルなしで固有の特徴を学習することを目的としている。 プロジェクションヘッドは、ダウンストリームタスクのパフォーマンスを改善する上で、常に重要な役割を果たす。 本稿では,表現と投影ベクトルとのショートカット接続を構築するSSLモデルにおける表現評価設計(RED)を提案する。
  論文  参考訳（メタデータ） (2023-01-28T13:13:53Z)
• Understanding and Improving the Role of Projection Head in Self-Supervised Learning [77.59320917894043]
  自己教師付き学習(SSL)は、人間のラベル付きデータアノテーションにアクセスせずに有用な特徴表現を作成することを目的としている。 現在の対照的な学習アプローチは、InfoNCEの目的を最適化するために、あるバックボーンネットワークの端にパラメータ化されたプロジェクションヘッドを付加する。 学習可能なプロジェクションヘッドが、トレーニング後にそれを破棄する場合、なぜ必要となるのか?
  論文  参考訳（メタデータ） (2022-12-22T05:42:54Z)
• Does Decentralized Learning with Non-IID Unlabeled Data Benefit from Self Supervision? [51.00034621304361]
  自己教師型学習(SSL)のレンズによるラベルなしデータによる分散学習の研究 本研究では,分散学習環境下でのコントラスト学習アルゴリズムの有効性について検討する。
  論文  参考訳（メタデータ） (2022-10-20T01:32:41Z)
• Divergence-aware Federated Self-Supervised Learning [16.025681567222477]
  我々は、Siameseネットワークに基づく既存のSSLメソッドを取り入れた一般化されたFedSSLフレームワークを紹介する。 次に、モデル更新のための新しいアプローチであるFederated Divergence-aware Exponential moving Average update (FedEMA)を提案する。
  論文  参考訳（メタデータ） (2022-04-09T04:15:02Z)
• An Entropy-guided Reinforced Partial Convolutional Network for Zero-Shot Learning [77.72330187258498]
  エントロピー誘導強化部分畳み込みネットワーク(ERPCNet)を提案する。 ERPCNetは、人間のアノテーションのない意味的関連性と視覚的相関に基づいて、局所性を抽出し、集約する。 グローバルな協力的局所性を動的に発見するだけでなく、ポリシー勾配最適化のためにより高速に収束する。
  論文  参考訳（メタデータ） (2021-11-03T11:13:13Z)
• ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
  自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。 本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。 提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-07-20T06:53:07Z)
• Global Context-Aware Progressive Aggregation Network for Salient Object Detection [117.943116761278]
  我々は,低レベルな外観特徴,高レベルな意味特徴,グローバルな文脈特徴を統合化するための新しいネットワークGCPANetを提案する。 提案手法は, 定量的かつ定性的に, 最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-02T04:26:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。