論文の概要: MIO : Mutual Information Optimization using Self-Supervised Binary Contrastive Learning

• arxiv url: http://arxiv.org/abs/2111.12664v1
• Date: Wed, 24 Nov 2021 17:51:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-25 14:43:09.520356
• Title: MIO : Mutual Information Optimization using Self-Supervised Binary Contrastive Learning
• Title（参考訳）: MIO : 自己教師付きバイナリコントラスト学習を用いた相互情報最適化
• Authors: Siladittya Manna, Saumik Bhattacharya and Umapada Pal
• Abstract要約: 対が正かどうかを予測するために、比較学習を二項分類問題にモデル化する。 提案手法は,STL-10,CIFAR-10,CIFAR-100などのベンチマークデータセットにおいて,最先端のアルゴリズムよりも優れている。
• 参考スコア（独自算出の注目度）: 19.5917119072985
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Self-supervised contrastive learning is one of the domains which has progressed rapidly over the last few years. Most of the state-of-the-art self-supervised algorithms use a large number of negative samples, momentum updates, specific architectural modifications, or extensive training to learn good representations. Such arrangements make the overall training process complex and challenging to realize analytically. In this paper, we propose a mutual information optimization based loss function for contrastive learning where we model contrastive learning into a binary classification problem to predict if a pair is positive or not. This formulation not only helps us to track the problem mathematically but also helps us to outperform existing algorithms. Unlike the existing methods that only maximize the mutual information in a positive pair, the proposed loss function optimizes the mutual information in both positive and negative pairs. We also present a mathematical expression for the parameter gradients flowing into the projector and the displacement of the feature vectors in the feature space. This helps us to get a mathematical insight into the working principle of contrastive learning. An additive $L_2$ regularizer is also used to prevent diverging of the feature vectors and to improve performance. The proposed method outperforms the state-of-the-art algorithms on benchmark datasets like STL-10, CIFAR-10, CIFAR-100. After only 250 epochs of pre-training, the proposed model achieves the best accuracy of 85.44\%, 60.75\%, 56.81\% on CIFAR-10, STL-10, CIFAR-100 datasets, respectively.
• Abstract（参考訳）: 自己指導型コントラスト学習は、ここ数年で急速に進歩してきた分野の1つである。 最先端の自己教師型アルゴリズムのほとんどは、多くの負のサンプル、モーメントのアップデート、特定のアーキテクチャの変更、あるいは優れた表現を学ぶための広範なトレーニングを使用している。 このようなアレンジメントによって、全体的なトレーニングプロセスが複雑になり、分析的に実現が難しくなる。 本稿では,二分分類問題にコントラスト学習をモデル化し,ペアが正かどうかを推定する,コントラスト学習のための相互情報最適化に基づく損失関数を提案する。 この定式化は問題を数学的に追跡するだけでなく、既存のアルゴリズムよりも優れている。 正対の相互情報のみを最大化する既存の方法とは異なり、提案された損失関数は正対と負対の両方の相互情報を最適化する。 また,プロジェクターに流入するパラメータ勾配の数学的表現と特徴空間における特徴ベクトルの変位について述べる。 これは、対照的な学習の作用原理に関する数学的洞察を得るのに役立つ。 追加の$L_2$ regularizerは特徴ベクトルのばらつきを防止し、性能を改善するためにも使われる。 提案手法は,STL-10,CIFAR-10,CIFAR-100などのベンチマークデータセットにおいて,最先端のアルゴリズムよりも優れている。 CIFAR-10, STL-10, CIFAR-100データセットでは, それぞれ85.44\%, 60.75\%, 56.81\%の精度が得られた。

関連論文リスト

• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• DynamoRep: Trajectory-Based Population Dynamics for Classification of Black-box Optimization Problems [0.755972004983746]
  簡単な統計量を用いて最適化アルゴリズムの軌道を記述する特徴抽出法を提案する。 提案するDynamoRep機能は,最適化アルゴリズムが動作している問題クラスを特定するのに十分な情報を取得する。
  論文  参考訳（メタデータ） (2023-06-08T06:57:07Z)
• Towards Compute-Optimal Transfer Learning [82.88829463290041]
  我々は、事前訓練されたモデルのゼロショット構造化プルーニングにより、性能を最小限に抑えて計算効率を向上させることができると主張している。 その結果,事前訓練されたモデルの畳み込み畳み込みフィルタは,低計算条件下で20%以上の性能向上をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2023-04-25T21:49:09Z)
• Model Predictive Control with Self-supervised Representation Learning [13.225264876433528]
  本稿では,TD-MPCフレームワーク内での再構成機能の利用を提案する。 提案した損失項の追加は、状態ベースタスクと画像ベースタスクの両方のパフォーマンス改善につながる。
  論文  参考訳（メタデータ） (2023-04-14T16:02:04Z)
• Representation Learning with Multi-Step Inverse Kinematics: An Efficient and Optimal Approach to Rich-Observation RL [106.82295532402335]
  既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。 所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。 我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
  論文  参考訳（メタデータ） (2023-04-12T14:51:47Z)
• Deep Active Ensemble Sampling For Image Classification [8.31483061185317]
  アクティブラーニングフレームワークは、最も有益なデータポイントのラベル付けを積極的に要求することで、データアノテーションのコストを削減することを目的としている。 提案手法には、不確実性に基づく手法、幾何学的手法、不確実性に基づく手法と幾何学的手法の暗黙の組み合わせなどがある。 本稿では, サンプル選択戦略における効率的な探索・探索トレードオフを実現するために, 不確実性に基づくフレームワークと幾何学的フレームワークの両方の最近の進歩を革新的に統合する。 本フレームワークは,(1)正確な後続推定,(2)計算オーバーヘッドと高い精度のトレードオフの2つの利点を提供する。
  論文  参考訳（メタデータ） (2022-10-11T20:20:20Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Provable Stochastic Optimization for Global Contrastive Learning: Small Batch Does Not Harm Performance [53.49803579981569]
  各正の対と全ての負の対をアンカーポイントで対比する、コントラスト学習のグローバルな目的を考える。 SimCLRのような既存のメソッドは、十分な結果を得るために大きなバッチサイズを必要とする。 本稿では,SogCLRという表現のグローバルコントラスト学習を解くためのメモリ効率の最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-24T22:16:53Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Neural Non-Rigid Tracking [26.41847163649205]
  我々は、新しい、エンドツーエンドの学習可能、差別化可能な非剛性トラッカーを導入する。 我々は畳み込みニューラルネットワークを用いて、密度の高い通信とその信頼性を予測する。 現状の手法と比較して,提案アルゴリズムは再構築性能の向上を示す。
  論文  参考訳（メタデータ） (2020-06-23T18:00:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。