論文の概要: Conditional Alignment and Uniformity for Contrastive Learning with Continuous Proxy Labels

• arxiv url: http://arxiv.org/abs/2111.05643v1
• Date: Wed, 10 Nov 2021 11:20:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-11 14:56:52.218469
• Title: Conditional Alignment and Uniformity for Contrastive Learning with Continuous Proxy Labels
• Title（参考訳）: 連続プロキシラベルを用いたコントラスト学習における条件アライメントと一様性
• Authors: Benoit Dufumier, Pietro Gori, Julie Victor, Antoine Grigis, Edouard Duchesnay
• Abstract要約: 提案手法では,複数次元のメタデータを統合化して,y-Aware InfoNCEの損失を推定する。 条件付きアライメントとグローバルな統一性は 学習表現に最適化されています 条件アライメントと一様性の両方の直接的な最適化が表現を改善することを示す。
• 参考スコア（独自算出の注目度）: 2.2884152558271196
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Contrastive Learning has shown impressive results on natural and medical images, without requiring annotated data. However, a particularity of medical images is the availability of meta-data (such as age or sex) that can be exploited for learning representations. Here, we show that the recently proposed contrastive y-Aware InfoNCE loss, that integrates multi-dimensional meta-data, asymptotically optimizes two properties: conditional alignment and global uniformity. Similarly to [Wang, 2020], conditional alignment means that similar samples should have similar features, but conditionally on the meta-data. Instead, global uniformity means that the (normalized) features should be uniformly distributed on the unit hyper-sphere, independently of the meta-data. Here, we propose to define conditional uniformity, relying on the meta-data, that repel only samples with dissimilar meta-data. We show that direct optimization of both conditional alignment and uniformity improves the representations, in terms of linear evaluation, on both CIFAR-100 and a brain MRI dataset.
• Abstract（参考訳）: 対照的な学習は、注釈付きデータを必要とせずに、自然画像と医学画像で印象的な結果を示している。 しかし、医学画像の特徴は、学習表現に活用できるメタデータ(年齢や性別など)が利用できることである。 本稿では,多次元メタデータを統合し,条件付きアライメントと大域的均一性という2つの特性を漸近的に最適化する。 Wang, 2020]と同様、条件付きアライメントは、類似したサンプルは類似した特徴を持つべきだが、メタデータは条件付きである。 代わりに、グローバルな均一性は、(正規化された)特徴が、メタデータとは独立して、単位超球面上に均一に分散されるべきであることを意味する。 本稿では,異なるメタデータを持つサンプルのみを撃退するメタデータに依存する条件付き一様性を定義することを提案する。 条件付きアライメントと均一性の両方の直接的な最適化は、CIFAR-100と脳MRIデータセットの両方での線形評価において、表現を改善することを示す。

関連論文リスト

• SemSim: Revisiting Weak-to-Strong Consistency from a Semantic Similarity Perspective for Semi-supervised Medical Image Segmentation [18.223854197580145]
  医用画像分割のための半教師付き学習(SSL)は難しいが、非常に実践的な課題である。 セムシム(SemSim)という名前のFixMatchに基づく新しいフレームワークを提案する。 SemSimは3つの公開セグメンテーションベンチマークで最先端の手法よりも一貫した改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-10-17T12:31:37Z)
• The Common Stability Mechanism behind most Self-Supervised Learning Approaches [64.40701218561921]
  自己指導型学習手法の安定性のメカニズムを説明するための枠組みを提供する。 我々は,BYOL,SWAV,SimSiam,Barlow Twins,DINOなどの非コントラスト技術であるSimCLRの動作メカニズムについて議論する。 私たちは異なる仮説を定式化し、Imagenet100データセットを使ってそれらをテストします。
  論文  参考訳（メタデータ） (2024-02-22T20:36:24Z)
• MIM4DD: Mutual Information Maximization for Dataset Distillation [15.847690902246727]
  合成データセットと実データセット間の共有情報を定量化する指標として相互情報(MI)を導入する。 コントラスト学習フレームワーク内で,MIを最適化可能な新しい設計により,MIM4DDを数値的に最大化する手法を考案する。 実験の結果,MIM4DDは既存のSoTA DDメソッドのアドオンモジュールとして実装可能であることがわかった。
  論文  参考訳（メタデータ） (2023-12-27T16:22:50Z)
• Multi-View Correlation Consistency for Semi-Supervised Semantic Segmentation [59.34619548026885]
  半教師付きセマンティックセグメンテーションは、ラベルなしデータのリッチで堅牢な監視を必要とする。 本稿では,異なるビュー間の画素・画素対応を保証するビューコヒーレントなデータ拡張戦略を提案する。 2つのデータセットの半教師付き設定では、最先端の手法と比較して、競争の正確さが報告される。
  論文  参考訳（メタデータ） (2022-08-17T17:59:11Z)
• Alignment-Uniformity aware Representation Learning for Zero-shot Video Classification [3.6954802719347413]
  本稿では,目に見えるクラスと目に見えないクラスの両方の表現に対して,アライメントと均一性を保ったエンドツーエンドフレームワークを提案する。 実験の結果,UCF101では28.1%,HMDB51では27.0%,SOTAでは28.1%が有意に向上した。
  論文  参考訳（メタデータ） (2022-03-29T09:21:22Z)
• Pessimistic Minimax Value Iteration: Provably Efficient Equilibrium Learning from Offline Datasets [101.5329678997916]
  両プレイヤーゼロサムマルコフゲーム(MG)をオフライン環境で研究する。 目標は、事前収集されたデータセットに基づいて、近似的なナッシュ均衡(NE)ポリシーペアを見つけることである。
  論文  参考訳（メタデータ） (2022-02-15T15:39:30Z)
• Imputing Missing Observations with Time Sliced Synthetic Minority Oversampling Technique [0.3973560285628012]
  本稿では,データセット内の各サンプルに対して均一な不規則な時系列を構成することを目的とした,単純かつ斬新な時系列計算手法を提案する。 我々は、観測時間の重複しないビン(「スライス」と呼ばれる)の中間点で定義される格子を固定し、各サンプルが所定の時間にすべての特徴に対して値を持つことを保証する。 これにより、完全に欠落した観察をインプットし、データ全体の時系列の均一な分類を可能にし、特別な場合には個々の欠落した特徴をインプットすることができる。
  論文  参考訳（メタデータ） (2022-01-14T19:23:24Z)
• Provable Guarantees for Self-Supervised Deep Learning with Spectral Contrastive Loss [72.62029620566925]
  自己教師型学習の最近の研究は、対照的な学習パラダイムを頼りに、最先端の技術の進歩を遂げている。 我々の研究は、正の対の条件的独立性を仮定することなく、対照的な学習を分析する。 本稿では,人口増分グラフ上でスペクトル分解を行う損失を提案し,コントラスト学習目的として簡潔に記述することができる。
  論文  参考訳（メタデータ） (2021-06-08T07:41:02Z)
• OR-Net: Pointwise Relational Inference for Data Completion under Partial Observation [51.083573770706636]
  この作業はリレーショナル推論を使って不完全なデータを埋めます。 本稿では,2つの点での相対性理論をモデル化するために,全関係ネットワーク (or-net) を提案する。
  論文  参考訳（メタデータ） (2021-05-02T06:05:54Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• Meta-analysis of heterogeneous data: integrative sparse regression in high-dimensions [21.162280861396205]
  本稿では,データソースが類似しているが識別できない高次元環境におけるメタ分析の課題について考察する。 異質性の存在下での解釈可能性と統計的効率を重視したグローバルパラメータを導入する。 いくつかの異なる癌細胞株を含む大規模薬物治療データセットに対するアプローチの利点を実証する。
  論文  参考訳（メタデータ） (2019-12-26T20:30:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。