論文の概要: A Low Rank Promoting Prior for Unsupervised Contrastive Learning

• arxiv url: http://arxiv.org/abs/2108.02696v1
• Date: Thu, 5 Aug 2021 15:58:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-06 14:59:17.107429
• Title: A Low Rank Promoting Prior for Unsupervised Contrastive Learning
• Title（参考訳）: 教師なしコントラスト学習のための低位促進前処理
• Authors: Yu Wang and Jingyang Lin and Qi Cai and Yingwei Pan and Ting Yao and Hongyang Chao and Tao Mei
• Abstract要約: 提案手法は,従来の低階の促進をコントラスト学習の枠組みに効果的に組み込む新しい確率的グラフィカルモデルを構築する。 我々の仮説は、同じインスタンスクラスに属するすべてのサンプルが、小さな次元の同じ部分空間上にあることを明示的に要求する。 実証的な証拠は、提案アルゴリズムが複数のベンチマークにおける最先端のアプローチを明らかに上回っていることを示している。
• 参考スコア（独自算出の注目度）: 108.91406719395417
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised learning is just at a tipping point where it could really take off. Among these approaches, contrastive learning has seen tremendous progress and led to state-of-the-art performance. In this paper, we construct a novel probabilistic graphical model that effectively incorporates the low rank promoting prior into the framework of contrastive learning, referred to as LORAC. In contrast to the existing conventional self-supervised approaches that only considers independent learning, our hypothesis explicitly requires that all the samples belonging to the same instance class lie on the same subspace with small dimension. This heuristic poses particular joint learning constraints to reduce the degree of freedom of the problem during the search of the optimal network parameterization. Most importantly, we argue that the low rank prior employed here is not unique, and many different priors can be invoked in a similar probabilistic way, corresponding to different hypotheses about underlying truth behind the contrastive features. Empirical evidences show that the proposed algorithm clearly surpasses the state-of-the-art approaches on multiple benchmarks, including image classification, object detection, instance segmentation and keypoint detection.
• Abstract（参考訳）: 教師なしの学習は、本当に離陸できる転換点に過ぎません。 これらのアプローチの中で、対照的な学習は著しく進歩し、最先端のパフォーマンスにつながった。 本稿では,LORACと呼ばれるコントラスト学習の枠組みに,従来の低階の促進を効果的に組み込んだ新しい確率的グラフィカルモデルを構築する。 独立した学習のみを考える従来の自己教師ありアプローチとは対照的に、この仮説は、同じインスタンスクラスに属するすべてのサンプルが、小さい次元の同じ部分空間上にあることを明示的に要求している。 このヒューリスティックは、最適なネットワークパラメータ化の探索中に問題の自由度を減らすために、特定の共同学習制約を課す。 最も重要なことは、ここで以前に用いられた低いランクはユニークではなく、多くの異なる先行は同様の確率論的方法で呼び出すことができ、対照的な特徴の背後にある根底にある真実に関する異なる仮説に対応する。 実証的な証拠は、提案アルゴリズムが画像分類、オブジェクト検出、インスタンスのセグメンテーション、キーポイント検出など、複数のベンチマークにおける最先端のアプローチを明らかに上回っていることを示している。

関連論文リスト

• Probably Approximately Precision and Recall Learning [62.912015491907994]
  精度とリコールは機械学習の基本的な指標である。 一方的なフィードバック – トレーニング中にのみ肯定的な例が観察される – は,多くの実践的な問題に固有のものだ。 PAC学習フレームワークでは,各仮説をグラフで表現し,エッジは肯定的な相互作用を示す。
  論文  参考訳（メタデータ） (2024-11-20T04:21:07Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Open-Set Likelihood Maximization for Few-Shot Learning [36.97433312193586]
  我々はFew-Shot Open-Set Recognition (FSOSR) 問題、すなわちいくつかのラベル付きサンプルしか持たないクラスのインスタンスを分類する問題に取り組む。 提案手法では,推論時に非競合なクエリインスタンスを利用する。 既存のトランスダクティブ手法はオープンセットのシナリオではうまく動作しないという観測により,最大極大原理の一般化を提案する。
  論文  参考訳（メタデータ） (2023-01-20T01:56:19Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• Masked prediction tasks: a parameter identifiability view [49.533046139235466]
  マスク付きトークンの予測に広く用いられている自己教師型学習手法に着目する。 いくつかの予測タスクは識別可能性をもたらすが、他のタスクはそうではない。
  論文  参考訳（メタデータ） (2022-02-18T17:09:32Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• An Effective Baseline for Robustness to Distributional Shift [5.627346969563955]
  ディープラーニングシステムの安全なデプロイには,トレーニング中に見られるものと異なる入力のカテゴリに直面した場合,確実な予測を控えることが重要な要件である。 本論文では, 吸収の原理を用いた分布異常検出の簡便かつ高効率な手法を提案する。
  論文  参考訳（メタデータ） (2021-05-15T00:46:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。