論文の概要: Joint Contrastive Learning with Infinite Possibilities
- arxiv url: http://arxiv.org/abs/2009.14776v2
- Date: Sat, 10 Oct 2020 13:27:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 23:02:10.853258
- Title: Joint Contrastive Learning with Infinite Possibilities
- Title(参考訳): 無限の可能性を持つコントラスト学習
- Authors: Qi Cai and Yu Wang and Yingwei Pan and Ting Yao and Tao Mei
- Abstract要約: 本稿では,新しい確率論的モデリングによるコントラスト学習における最近の発展の有用性について考察する。
コントラスト学習(Joint Contrastive Learning, JCL)という,コントラスト学習の特定の形態を導出する。
- 参考スコア(独自算出の注目度): 114.45811348666898
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper explores useful modifications of the recent development in
contrastive learning via novel probabilistic modeling. We derive a particular
form of contrastive loss named Joint Contrastive Learning (JCL). JCL implicitly
involves the simultaneous learning of an infinite number of query-key pairs,
which poses tighter constraints when searching for invariant features. We
derive an upper bound on this formulation that allows analytical solutions in
an end-to-end training manner. While JCL is practically effective in numerous
computer vision applications, we also theoretically unveil the certain
mechanisms that govern the behavior of JCL. We demonstrate that the proposed
formulation harbors an innate agency that strongly favors similarity within
each instance-specific class, and therefore remains advantageous when searching
for discriminative features among distinct instances. We evaluate these
proposals on multiple benchmarks, demonstrating considerable improvements over
existing algorithms. Code is publicly available at:
https://github.com/caiqi/Joint-Contrastive-Learning.
- Abstract(参考訳): 本稿では,新しい確率的モデリングによるコントラスト学習における最近の発展の有用な修正について検討する。
我々は、ジョイントコントラスト学習(jcl)と呼ばれる特定の形態のコントラスト損失を導出する。
jclは暗黙的に無限個のクエリーキーペアの同時学習を伴い、不変な特徴を探索する際により厳密な制約を与える。
我々は、エンドツーエンドのトレーニング方法で分析解を許容するこの定式化上の上限を導出する。
JCLは、多数のコンピュータビジョンアプリケーションにおいて実質的に有効であるが、JCLの動作を管理する特定のメカニズムについても理論的に明らかにする。
提案手法は,各インスタンス固有のクラス間の類似性を強く好む固有機関を保ちながら,個別のインスタンス間の識別的特徴を検索しても有利であることを示す。
我々は,これらの提案を複数のベンチマークで評価し,既存のアルゴリズムを大幅に改善した。
コードは、https://github.com/caiqi/Joint-Contrastive-Learning.comで公開されている。
関連論文リスト
- Learning impartial policies for sequential counterfactual explanations
using Deep Reinforcement Learning [0.0]
近年,SCFの発見政策を学習し,拡張性を高めるための強化学習法が提案されている。
本研究では,特定の行動に対する偏見など,望ましくない特性を持つポリシーを生じるような既存手法の欠点を同定する。
この効果を緩和するために,分類器の出力確率を用いてより情報的な報酬を生成することを提案する。
論文 参考訳(メタデータ) (2023-11-01T13:50:47Z) - Synergies between Disentanglement and Sparsity: Generalization and
Identifiability in Multi-Task Learning [79.83792914684985]
我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。
この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
論文 参考訳(メタデータ) (2022-11-26T21:02:09Z) - Consistent Multiclass Algorithms for Complex Metrics and Constraints [38.6998359999636]
この設定には、マルチクラスG平均やマイクロF1測定など、多くの一般的なパフォーマンス指標が含まれている。
このような複雑な設計目標のための一貫したアルゴリズムのための一般的なフレームワークを提供する。
様々なクラス分類タスクと公正制約のある問題の実験により、我々のアルゴリズムは最先端のベースラインと良好に比較できることを示した。
論文 参考訳(メタデータ) (2022-10-18T09:09:29Z) - Counterfactual Explanations Using Optimization With Constraint Learning [0.0]
制約学習を用いた最適化手法(CE-OCL)を提案する。
具体的には,制約学習フレームワークによる最適化を,対実的説明の生成に活用する方法について議論する。
また,データ多様体の近接性と多様性に対処する2つの新しいモデリング手法を提案する。
論文 参考訳(メタデータ) (2022-09-22T13:27:21Z) - An Investigation of Replay-based Approaches for Continual Learning [79.0660895390689]
連続学習(CL)は機械学習(ML)の大きな課題であり、破滅的忘れ(CF)を伴わずに連続的に複数のタスクを学習する能力を記述する。
いくつかの解クラスが提案されており、その単純さと堅牢性から、いわゆるリプレイベースのアプローチは非常に有望であるように思われる。
連続学習におけるリプレイに基づくアプローチを実証的に検討し,応用の可能性を評価する。
論文 参考訳(メタデータ) (2021-08-15T15:05:02Z) - A Low Rank Promoting Prior for Unsupervised Contrastive Learning [108.91406719395417]
提案手法は,従来の低階の促進をコントラスト学習の枠組みに効果的に組み込む新しい確率的グラフィカルモデルを構築する。
我々の仮説は、同じインスタンスクラスに属するすべてのサンプルが、小さな次元の同じ部分空間上にあることを明示的に要求する。
実証的な証拠は、提案アルゴリズムが複数のベンチマークにおける最先端のアプローチを明らかに上回っていることを示している。
論文 参考訳(メタデータ) (2021-08-05T15:58:25Z) - Contrastive Learning with Adversarial Examples [79.39156814887133]
コントラスト学習(Contrastive Learning, CL)は、視覚表現の自己教師型学習(SSL)において一般的な手法である。
本稿では,コンストラクティブ・ラーニングのための新しい逆例群を紹介し,これらの例を用いてCLAEと表記されるSSLの新しい逆トレーニングアルゴリズムを定義する。
論文 参考訳(メタデータ) (2020-10-22T20:45:10Z) - K-Shot Contrastive Learning of Visual Features with Multiple Instance
Augmentations [67.46036826589467]
個々のインスタンス内のサンプルのバリエーションを調べるために、$K$-Shot Contrastive Learningが提案されている。
異なるインスタンスを区別するために差別的特徴を学習することで、インスタンス間差別の利点を組み合わせることを目的としている。
提案した$K$-shotのコントラスト学習は、最先端の教師なし手法よりも優れた性能が得られることを示す実験結果を得た。
論文 参考訳(メタデータ) (2020-07-27T04:56:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。