論文の概要: Deep Bregman Divergence for Contrastive Learning of Visual Representations

• arxiv url: http://arxiv.org/abs/2109.07455v1
• Date: Wed, 15 Sep 2021 17:44:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-16 15:52:29.719592
• Title: Deep Bregman Divergence for Contrastive Learning of Visual Representations
• Title（参考訳）: 視覚表現のコントラスト学習のためのdeep bregman divergence
• Authors: Mina Rezaei, Farzin Soleymani, Bernd Bischl, Shekoofeh Azizi
• Abstract要約: Deep Bregmanの発散は、ユークリッド距離を超えるニューラルネットワークを用いて、データポイントの発散を測定する。 我々は,機能的ブレグマンの発散に基づく追加ネットワークを訓練することにより,自己教師あり学習におけるコントラスト損失を高めることを目的としている。
• 参考スコア（独自算出の注目度）: 4.994260049719745
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Bregman divergence measures divergence of data points using neural networks which is beyond Euclidean distance and capable of capturing divergence over distributions. In this paper, we propose deep Bregman divergences for contrastive learning of visual representation and we aim to enhance contrastive loss used in self-supervised learning by training additional networks based on functional Bregman divergence. In contrast to the conventional contrastive learning methods which are solely based on divergences between single points, our framework can capture the divergence between distributions which improves the quality of learned representation. By combining conventional contrastive loss with the proposed divergence loss, our method outperforms baseline and most of previous methods for self-supervised and semi-supervised learning on multiple classifications and object detection tasks and datasets. The source code of the method and of all the experiments are available at supplementary.
• Abstract（参考訳）: ディープブレグマンダイバージェンス(deep bregman divergence)は、ユークリッド距離を超えて分布上のダイバージェンスを捉えることができるニューラルネットワークを用いてデータポイントのダイバージェンスを測定する。 本稿では,視覚表現のコントラスト学習のためのディープブレグマン・ダイバージェンスを提案し,関数ブレグマン・ダイバージェンスに基づく追加ネットワークの訓練により,自己教師付き学習におけるコントラスト損失の増大を目指す。 単一点間の相違のみに基づく従来のコントラスト学習法とは対照的に,本フレームワークは学習表現の質を向上させる分布間の相違を捉えることができる。 提案手法は,従来のコントラスト損失と発散損失を組み合わせることで,複数の分類や対象検出タスクやデータセットにおける自己教師あり・半教師あり学習のベースラインおよびほとんどの手法に勝る。 このメソッドのソースコードとすべての実験は補足的に利用できる。

関連論文リスト

• Unsupervised Representation Learning by Balanced Self Attention Matching [2.3020018305241337]
  本稿では,BAMと呼ばれる画像特徴を埋め込む自己教師型手法を提案する。 我々は,これらの分布とグローバルな均衡とエントロピー正規化バージョンに一致する損失を最小化することにより,豊かな表現と特徴の崩壊を回避する。 半教師付きベンチマークと移動学習ベンチマークの両方において,先行手法と競合する性能を示す。
  論文  参考訳（メタデータ） (2024-08-04T12:52:44Z)
• Learning Empirical Bregman Divergence for Uncertain Distance Representation [3.9142982525021512]
  本稿では,Bregman分散の根底にある凸関数のパラメータ化に基づくデータから直接,経験的Bregman分散を学習するための新しい手法を提案する。 提案手法は,他のSOTA深度学習法と比較して,一般的な5つのデータセットに対して効果的に動作し,特にパターン認識問題に対して有効である。
  論文  参考訳（メタデータ） (2023-04-16T04:16:28Z)
• Exact Subspace Diffusion for Decentralized Multitask Learning [17.592204922442832]
  マルチタスク学習のための分散戦略は、よりニュアンスな方法でエージェント間の関係を誘導し、コンセンサスを強制せずにコラボレーションを促進する。 本研究では,ネットワーク上の部分空間制約付きマルチタスク学習のための正確な拡散アルゴリズムの一般化を開発し,その平均二乗偏差の正確な式を導出する。 予測された性能表現の精度を数値的に検証するとともに,近似予測に基づく代替案に対する提案手法の性能向上を検証した。
  論文  参考訳（メタデータ） (2023-04-14T19:42:19Z)
• Contrastive Bayesian Analysis for Deep Metric Learning [30.21464199249958]
  特徴的類似性によって条件付けられた画像ラベルの後方確率を特徴付け,モデル化するために,コントラッシブなベイズ解析を開発した。 この対照的なベイズ解析は、深い計量学習のための新しい損失関数をもたらす。 実験結果とアブレーション実験により,提案手法は深層学習の性能を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2022-10-10T02:24:21Z)
• R\'enyiCL: Contrastive Representation Learning with Skew R\'enyi Divergence [78.15455360335925]
  我々はR'enyiCLという新しい頑健なコントラスト学習手法を提案する。 我々の手法は R'enyi divergence の変動的下界の上に構築されている。 我々は,R'enyi の対照的な学習目的が,自然に強い負のサンプリングと簡単な正のサンプリングを同時に行うことを示す。
  論文  参考訳（メタデータ） (2022-08-12T13:37:05Z)
• Discriminative Attribution from Counterfactuals [64.94009515033984]
  本稿では,特徴属性と反実的説明を組み合わせたニューラルネットワークの解釈可能性について述べる。 本手法は,特徴属性法の性能を客観的に評価するために有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-28T00:53:34Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)
• DICE: Diversity in Deep Ensembles via Conditional Redundancy Adversarial Estimation [109.11580756757611]
  メンバー間の多様性のおかげで、ディープアンサンブルは単一のネットワークよりもパフォーマンスが良い。 最近のアプローチでは、多様性を高めるための予測を規則化していますが、個々のメンバーのパフォーマンスも大幅に減少します。 DICEと呼ばれる新しいトレーニング基準を導入し、特徴間の素早い相関を減らして多様性を高める。
  論文  参考訳（メタデータ） (2021-01-14T10:53:26Z)
• Hybrid Discriminative-Generative Training via Contrastive Learning [96.56164427726203]
  エネルギーベースモデルのハイブリッド識別・生成訓練の観点から、コントラスト学習と教師あり学習の直接的な関連性を示す。 CIFAR-10 および CIFAR-100 上の WideResNet の分類精度において,エネルギーベース損失の近似の具体的な選択が既存手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-17T15:50:34Z)
• Deep Divergence Learning [11.88774207521156]
  本稿では,ニューラルネットワークを用いた関数型ブレグマン発散の学習とパラメータ化に基づくディープブレグマン発散について紹介する。 特に、分布を比較するために、ディープメトリックラーニング、カーネルメトリックラーニング、マハラノビスメトリックラーニング、モーメントマッチング機能がどのように現れるかを示す。 次に、一般関数型Bregman分散学習のためのディープラーニングフレームワークを説明し、この手法がベンチマークデータセット上で優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2020-05-06T06:43:25Z)
• When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
  GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である 本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。 ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-24T11:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。