論文の概要: Joint Contrastive Learning with Infinite Possibilities

• arxiv url: http://arxiv.org/abs/2009.14776v2
• Date: Sat, 10 Oct 2020 13:27:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 23:02:10.853258
• Title: Joint Contrastive Learning with Infinite Possibilities
• Title（参考訳）: 無限の可能性を持つコントラスト学習
• Authors: Qi Cai and Yu Wang and Yingwei Pan and Ting Yao and Tao Mei
• Abstract要約: 本稿では,新しい確率論的モデリングによるコントラスト学習における最近の発展の有用性について考察する。 コントラスト学習(Joint Contrastive Learning, JCL)という,コントラスト学習の特定の形態を導出する。
• 参考スコア（独自算出の注目度）: 114.45811348666898
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper explores useful modifications of the recent development in contrastive learning via novel probabilistic modeling. We derive a particular form of contrastive loss named Joint Contrastive Learning (JCL). JCL implicitly involves the simultaneous learning of an infinite number of query-key pairs, which poses tighter constraints when searching for invariant features. We derive an upper bound on this formulation that allows analytical solutions in an end-to-end training manner. While JCL is practically effective in numerous computer vision applications, we also theoretically unveil the certain mechanisms that govern the behavior of JCL. We demonstrate that the proposed formulation harbors an innate agency that strongly favors similarity within each instance-specific class, and therefore remains advantageous when searching for discriminative features among distinct instances. We evaluate these proposals on multiple benchmarks, demonstrating considerable improvements over existing algorithms. Code is publicly available at: https://github.com/caiqi/Joint-Contrastive-Learning.
• Abstract（参考訳）: 本稿では,新しい確率的モデリングによるコントラスト学習における最近の発展の有用な修正について検討する。 我々は、ジョイントコントラスト学習(jcl)と呼ばれる特定の形態のコントラスト損失を導出する。 jclは暗黙的に無限個のクエリーキーペアの同時学習を伴い、不変な特徴を探索する際により厳密な制約を与える。 我々は、エンドツーエンドのトレーニング方法で分析解を許容するこの定式化上の上限を導出する。 JCLは、多数のコンピュータビジョンアプリケーションにおいて実質的に有効であるが、JCLの動作を管理する特定のメカニズムについても理論的に明らかにする。 提案手法は,各インスタンス固有のクラス間の類似性を強く好む固有機関を保ちながら,個別のインスタンス間の識別的特徴を検索しても有利であることを示す。 我々は,これらの提案を複数のベンチマークで評価し,既存のアルゴリズムを大幅に改善した。 コードは、https://github.com/caiqi/Joint-Contrastive-Learning.comで公開されている。

関連論文リスト

• Words Matter: Leveraging Individual Text Embeddings for Code Generation in CLIP Test-Time Adaptation [21.20806568508201]
  テスト時推論において視覚言語モデル(VLM)が遭遇する分布ドリフトを軽減するために,クラステキスト情報を活用する方法を示す。 本稿では,ラベル割り当て問題の固定セントロイドとしてジェネリッククラステキスト埋め込みを利用して,テスト時間サンプルの擬似ラベルを生成することを提案する。 多様な複雑性を示す複数の人気のあるテスト時間適応ベンチマークの実験は、CLIP-OTの優位性を実証的に示している。
  論文  参考訳（メタデータ） (2024-11-26T00:15:37Z)
• Binary Code Similarity Detection via Graph Contrastive Learning on Intermediate Representations [52.34030226129628]
  バイナリコード類似度検出(BCSD)は、脆弱性検出、マルウェア分析、コードの再利用識別など、多くの分野で重要な役割を果たしている。 本稿では,LLVM-IRと高レベルのセマンティック抽象化を利用して,コンパイル差を緩和するIRBinDiffを提案する。 IRBinDiffは1対1の比較と1対多の検索シナリオにおいて,他の主要なBCSD手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-24T09:09:20Z)
• ParaICL: Towards Robust Parallel In-Context Learning [74.38022919598443]
  大規模言語モデル(LLM)が自然言語処理の標準となっている。 インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。 パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-31T05:56:15Z)
• Learning impartial policies for sequential counterfactual explanations using Deep Reinforcement Learning [0.0]
  近年,SCFの発見政策を学習し,拡張性を高めるための強化学習法が提案されている。 本研究では,特定の行動に対する偏見など,望ましくない特性を持つポリシーを生じるような既存手法の欠点を同定する。 この効果を緩和するために,分類器の出力確率を用いてより情報的な報酬を生成することを提案する。
  論文  参考訳（メタデータ） (2023-11-01T13:50:47Z)
• Synergies between Disentanglement and Sparsity: Generalization and Identifiability in Multi-Task Learning [79.83792914684985]
  我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。 この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-26T21:02:09Z)
• Consistent Multiclass Algorithms for Complex Metrics and Constraints [38.6998359999636]
  この設定には、マルチクラスG平均やマイクロF1測定など、多くの一般的なパフォーマンス指標が含まれている。 このような複雑な設計目標のための一貫したアルゴリズムのための一般的なフレームワークを提供する。 様々なクラス分類タスクと公正制約のある問題の実験により、我々のアルゴリズムは最先端のベースラインと良好に比較できることを示した。
  論文  参考訳（メタデータ） (2022-10-18T09:09:29Z)
• Counterfactual Explanations Using Optimization With Constraint Learning [0.0]
  制約学習を用いた最適化手法(CE-OCL)を提案する。 具体的には,制約学習フレームワークによる最適化を,対実的説明の生成に活用する方法について議論する。 また,データ多様体の近接性と多様性に対処する2つの新しいモデリング手法を提案する。
  論文  参考訳（メタデータ） (2022-09-22T13:27:21Z)
• Contrastive Learning with Adversarial Examples [79.39156814887133]
  コントラスト学習(Contrastive Learning, CL)は、視覚表現の自己教師型学習(SSL)において一般的な手法である。 本稿では,コンストラクティブ・ラーニングのための新しい逆例群を紹介し,これらの例を用いてCLAEと表記されるSSLの新しい逆トレーニングアルゴリズムを定義する。
  論文  参考訳（メタデータ） (2020-10-22T20:45:10Z)
• K-Shot Contrastive Learning of Visual Features with Multiple Instance Augmentations [67.46036826589467]
  個々のインスタンス内のサンプルのバリエーションを調べるために、$K$-Shot Contrastive Learningが提案されている。 異なるインスタンスを区別するために差別的特徴を学習することで、インスタンス間差別の利点を組み合わせることを目的としている。 提案した$K$-shotのコントラスト学習は、最先端の教師なし手法よりも優れた性能が得られることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2020-07-27T04:56:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。