論文の概要: Non-negative Contrastive Learning

• arxiv url: http://arxiv.org/abs/2403.12459v3
• Date: Mon, 22 Apr 2024 21:28:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 18:56:32.408388
• Title: Non-negative Contrastive Learning
• Title（参考訳）: 非負のコントラスト学習
• Authors: Yifei Wang, Qi Zhang, Yaoyu Guo, Yisen Wang,
• Abstract要約: 深い表現は、ブラックボックス方式で下流タスクに転送する際の有望なパフォーマンスを示している。 しかし、解釈可能性の欠如は依然として大きな課題である。 解釈可能な特徴を導出するための非負のコントラスト学習を提案する。
• 参考スコア（独自算出の注目度）: 34.857412784865645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep representations have shown promising performance when transferred to downstream tasks in a black-box manner. Yet, their inherent lack of interpretability remains a significant challenge, as these features are often opaque to human understanding. In this paper, we propose Non-negative Contrastive Learning (NCL), a renaissance of Non-negative Matrix Factorization (NMF) aimed at deriving interpretable features. The power of NCL lies in its enforcement of non-negativity constraints on features, reminiscent of NMF's capability to extract features that align closely with sample clusters. NCL not only aligns mathematically well with an NMF objective but also preserves NMF's interpretability attributes, resulting in a more sparse and disentangled representation compared to standard contrastive learning (CL). Theoretically, we establish guarantees on the identifiability and downstream generalization of NCL. Empirically, we show that these advantages enable NCL to outperform CL significantly on feature disentanglement, feature selection, as well as downstream classification tasks. At last, we show that NCL can be easily extended to other learning scenarios and benefit supervised learning as well. Code is available at https://github.com/PKU-ML/non_neg.
• Abstract（参考訳）: 深い表現は、ブラックボックス方式で下流タスクに転送する際の有望なパフォーマンスを示している。 しかし、それらの解釈可能性の欠如は、人間の理解に不透明なことが多いため、依然として大きな課題である。 本稿では,非負の行列因子化(NMF)の再現性である非負のコントラスト学習(NCL)を提案する。 NCLの力は、NMFがサンプルクラスタと密接に整合する特徴を抽出する能力を思い出させる、特徴に対する非負性制約の実施にある。 NCLは数学的にNMFの目的とよく一致しているだけでなく、NMFの解釈可能性特性も保ち、標準のコントラスト学習(CL)よりも疎密で非絡み合った表現をもたらす。 理論的には、NCLの識別可能性と下流一般化の保証を確立する。 実験的に、これらの利点により、NCLは機能障害、特徴選択、下流分類タスクにおいてCLを大幅に上回ることが示される。 最後に,NCLを他の学習シナリオに拡張し,教師付き学習にも役立てることができることを示す。 コードはhttps://github.com/PKU-ML/non_neg.comで入手できる。

関連論文リスト

• CSS: Contrastive Semantic Similarity for Uncertainty Quantification of LLMs [1.515687944002438]
  テキストペアの不確実性を測定するための類似性特徴を求めるモジュールであるContrastive Semantic similarityを提案する。 我々は,3つの大規模言語モデル (LLM) を用いて,複数のベンチマーク質問応答データセットについて広範な実験を行った。 提案手法は,LLMの信頼性の高い応答を,同等のベースラインよりも高い精度で推定できることを示す。
  論文  参考訳（メタデータ） (2024-06-05T11:35:44Z)
• Learn "No" to Say "Yes" Better: Improving Vision-Language Models via Negations [43.484570564890866]
  既存の視覚言語モデル(VLM)は、テキスト記述を単位として扱い、個々の概念をプロンプトで混乱させる。 CC-Negは,228,246のイメージ,真のキャプション,それに対応する否定的なキャプションを含むデータセットである。 提案するCoN-CLIPフレームワークであるCLIPの対照的な損失に対する修正とともにCC-Negを用いることで,否定の理解が向上した。
  論文  参考訳（メタデータ） (2024-03-29T17:33:42Z)
• RecDCL: Dual Contrastive Learning for Recommendation [65.6236784430981]
  本稿では、RecDCLという2つのコントラスト学習推薦フレームワークを提案する。 RecDCLでは、FCLの目的は、ユーザとイテムの正のペアに対する冗長なソリューションを排除することである。 BCLの目的は、表現の堅牢性を高めるために出力ベクトルにコントラスト埋め込みを生成するために利用される。
  論文  参考訳（メタデータ） (2024-01-28T11:51:09Z)
• An NMF-Based Building Block for Interpretable Neural Networks With Continual Learning [0.8158530638728501]
  既存の学習方法は、解釈可能性と予測性能のバランスをとるのに苦労することが多い。 我々のアプローチは、NMFに基づくビルディングブロックを使用することで、これらの2つの側面のバランスを改善することを目的としています。
  論文  参考訳（メタデータ） (2023-11-20T02:00:33Z)
• NPCL: Neural Processes for Uncertainty-Aware Continual Learning [26.642662729915234]
  連続学習(CL)は、新しいタスクによる忘れを制限しながら、ストリーミングデータ上でディープニューラルネットワークを効率的にトレーニングすることを目的としている。 本稿では,異なるタスクを関数上の確率分布にエンコードするメタラーナーのクラスである,ニューラルプロセス(NP)を用いたCLタスクの処理を提案する。
  論文  参考訳（メタデータ） (2023-10-30T05:10:00Z)
• Enhancing Adversarial Contrastive Learning via Adversarial Invariant Regularization [59.77647907277523]
  Adversarial contrastive learning (ACL)は、標準コントラスト学習(SCL)を強化する技術である。 本稿では,スタイル要因からの独立性を確保するために,逆不変正規化(AIR)を提案する。
  論文  参考訳（メタデータ） (2023-04-30T03:12:21Z)
• Using Representation Expressiveness and Learnability to Evaluate Self-Supervised Learning Methods [61.49061000562676]
  本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。 CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。 CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
  論文  参考訳（メタデータ） (2022-06-02T19:05:13Z)
• Nested Collaborative Learning for Long-Tailed Visual Recognition [71.6074806468641]
  NCLはNested Individual Learning (NIL)とNested Balanced Online Distillation (NBOD)の2つのコアコンポーネントから構成される。 表現をより徹底的に学習するために、NILとNBODはネストされた方法で定式化され、学習は全視点からだけでなく、部分的な視点からいくつかのハードなカテゴリに対して行われる。 NCLでは、2つの視点から学ぶことはネストされ、非常に関連があり、補完的であり、ネットワークがグローバルでロバストな特徴だけでなく、注意深く区別する能力も捉えるのに役立つ。
  論文  参考訳（メタデータ） (2022-03-29T08:55:39Z)
• Structural and Semantic Contrastive Learning for Self-supervised Node Representation Learning [32.126228702554144]
  グラフコントラスト学習(GCL)は、自己教師型で一般化可能、転送可能、堅牢なノード表現を学習するために多くの研究関心を集めている。 この作業では、既存の教師なしのGCLを超越して、シンプルだが効果的なフレームワークであるS$3$-CLを提案し、それらの制限に対処します。 実験の結果、S$3$-CLで学習したノード表現は、最先端のGCL法と比較して、異なるダウンストリームタスクにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2022-02-17T07:20:09Z)
• Continual Learning in Recurrent Neural Networks [67.05499844830231]
  リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重 そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:05:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。