論文の概要: Positive-Negative Equal Contrastive Loss for Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2207.01417v2
- Date: Tue, 5 Jul 2022 03:12:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-06 11:40:41.762166
- Title: Positive-Negative Equal Contrastive Loss for Semantic Segmentation
- Title（参考訳）: 意味セグメンテーションにおける正負等コントラスト損失
- Authors: Jing Wang, Lingfei Xuan, Wenxuan Wang, Tianxiang Zhang, Jiangyun Li
- Abstract要約: 従来の作業では、グローバルコンテキストを効果的に抽出し集約するために、プラグアンドプレイモジュールと構造的損失を設計するのが一般的だった。
そこで我々は, 正負の負の正の負の負の正の負の正の負の正の負の負の負の正の負の負の正の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の
総合的な実験を行い、2つのベンチマークデータセット上で最先端のパフォーマンスを達成する。
- 参考スコア（独自算出の注目度）: 8.664491798389662
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The contextual information is critical for various computer vision tasks,
previous works commonly design plug-and-play modules and structural losses to
effectively extract and aggregate the global context. These methods utilize
fine-label to optimize the model but ignore that fine-trained features are also
precious training resources, which can introduce preferable distribution to
hard pixels (i.e., misclassified pixels). Inspired by contrastive learning in
unsupervised paradigm, we apply the contrastive loss in a supervised manner and
re-design the loss function to cast off the stereotype of unsupervised learning
(e.g., imbalance of positives and negatives, confusion of anchors computing).
To this end, we propose Positive-Negative Equal contrastive loss (PNE loss),
which increases the latent impact of positive embedding on the anchor and
treats the positive as well as negative sample pairs equally. The PNE loss can
be directly plugged right into existing semantic segmentation frameworks and
leads to excellent performance with neglectable extra computational costs. We
utilize a number of classic segmentation methods (e.g., DeepLabV3, OCRNet,
UperNet) and backbone (e.g., ResNet, HRNet, Swin Transformer) to conduct
comprehensive experiments and achieve state-of-the-art performance on two
benchmark datasets (e.g., Cityscapes and COCO-Stuff). Our code will be publicly
available soon.
- Abstract（参考訳）: 様々なコンピュータビジョンタスクにおいてコンテキスト情報は重要であり、以前の作業ではプラグアンドプレイモジュールを設計し、グローバルなコンテキストを効果的に抽出し集約するために構造的損失を設計していた。
これらの方法は、モデルを最適化するためにファインラベルを使用するが、細分化された特徴もまた貴重なトレーニングリソースであり、ハードピクセル(例えば、誤った分類されたピクセル)に望ましい分布をもたらすことを無視する。
教師なしパラダイムにおけるコントラスト学習に触発され、教師なし学習のステレオタイプ(例えば、正と負の不均衡、アンカーコンピューティングの混乱)を捨てるために、教師なしの方法でコントラストの損失を適用し、損失関数を再設計する。
そこで本研究では,アンカーへの正の埋め込みによる潜在的影響を増大させ,負のサンプルペアと負のサンプルペアを等しく扱う正負の等コントラスト損失(pne損失)を提案する。
PNE損失は、既存のセマンティックセグメンテーションフレームワークに直接直接プラグインすることができ、無視可能な余分な計算コストで優れたパフォーマンスをもたらす。
我々は、多数の古典的なセグメンテーション手法(DeepLabV3、OCRNet、UperNetなど)とバックボーン(ResNet、HRNet、Swin Transformerなど)を使用して、包括的な実験を行い、2つのベンチマークデータセット(Cityscapes、COCO-Stuffなど)で最先端のパフォーマンスを達成する。
私たちのコードはまもなく公開されます。
関連論文リスト
- A Unified Contrastive Loss for Self-Training [3.3454373538792552]
自己学習法は、半教師あり学習において、豊富なラベルのないデータを利用するのに有効であることが証明されている。
本稿では,CE損失の全ての事例を一意の対照的な損失に置き換える,自己学習手法を強化するための一般的な枠組みを提案する。
私たちのフレームワークは,ラベル付きデータに制限のある3つのデータセットに対して,大幅なパフォーマンス向上を実現しています。
論文 参考訳（メタデータ） (2024-09-11T14:22:41Z) - Prototypical Contrastive Learning through Alignment and Uniformity for
Recommendation [6.790779112538357]
提案するアンダーライン・アライメントとアンダーライン・ユニフォーマル性によるインダーライン型コントラスト学習について述べる。
具体的には、まず、原点グラフから異なる拡張点間の整合性を確保するために、潜時空間としてプロトタイプを提案する。
明示的な負の欠如は、インスタンスとプロトタイプ間の整合性損失を直接最適化することで、次元的な崩壊の問題が容易に生じることを意味する。
論文 参考訳（メタデータ） (2024-02-03T08:19:26Z) - Class Anchor Margin Loss for Content-Based Image Retrieval [97.81742911657497]
距離学習パラダイムに該当する新しいレペラ・トラクタ損失を提案するが、ペアを生成する必要がなく、直接L2メトリックに最適化する。
CBIRタスクにおいて,畳み込みアーキテクチャと変圧器アーキテクチャの両方を用いて,少数ショットおよびフルセットトレーニングの文脈で提案した目的を評価する。
論文 参考訳（メタデータ） (2023-06-01T12:53:10Z) - Tuned Contrastive Learning [77.67209954169593]
そこで本研究では,TCL(Tuned Contrastive Learning)損失という,新たなコントラスト損失関数を提案する。
TCLはバッチ内の複数の正と負に一般化し、ハードな正とハードな負の勾配応答を調整および改善するためのパラメータを提供する。
我々は、TCLを自己教師付き設定に拡張する方法を示し、それを様々なSOTA自己教師型学習手法と経験的に比較する。
論文 参考訳（メタデータ） (2023-05-18T03:26:37Z) - PointACL:Adversarial Contrastive Learning for Robust Point Clouds
Representation under Adversarial Attack [73.3371797787823]
逆比較学習(Adversarial contrastive learning, ACL)は、事前学習されたモデルの堅牢性を改善する効果的な方法と考えられている。
本稿では,自己指導型コントラスト学習フレームワークを逆向きに学習するために,ロバストな認識損失関数を提案する。
提案手法であるPointACLを,複数のデータセットを用いた3次元分類と3次元分割を含む下流タスクで検証する。
論文 参考訳（メタデータ） (2022-09-14T22:58:31Z) - Siamese Prototypical Contrastive Learning [24.794022951873156]
コントラスト型自己教師学習(Contrastive Self-supervised Learning, CSL)は、大規模データから意味のある視覚的表現を教師なしアプローチで学習する実践的ソリューションである。
本稿では,単純かつ効果的なコントラスト学習フレームワークを導入することで,この問題に対処する。
重要な洞察は、シアメスタイルのメートル法損失を用いて、原型間特徴間の距離を増大させながら、原型内特徴と一致させることである。
論文 参考訳（メタデータ） (2022-08-18T13:25:30Z) - Guided Point Contrastive Learning for Semi-supervised Point Cloud
Semantic Segmentation [90.2445084743881]
そこで本研究では,モデル性能を向上させるために,未ラベルの点群をトレーニングに採用するための半教師付き点群セマンティックセマンティックセマンティックセマンティクスを提案する。
近年の自己監督型タスクのコントラスト損失に触発されて,特徴表現とモデル一般化能力を高めるためのガイド付きポイントコントラスト損失を提案する。
論文 参考訳（メタデータ） (2021-10-15T16:38:54Z) - Mixing between the Cross Entropy and the Expectation Loss Terms [89.30385901335323]
クロスエントロピー損失は、トレーニング中にサンプルを分類するのが難しくなる傾向にある。
最適化目標に期待損失を加えることで,ネットワークの精度が向上することを示す。
実験により,新しいトレーニングプロトコルにより,多様な分類領域における性能が向上することが示された。
論文 参考訳（メタデータ） (2021-09-12T23:14:06Z) - SCE: Scalable Network Embedding from Sparsest Cut [20.08464038805681]
大規模ネットワーク埋め込みは、教師なしの方法で各ノードの潜在表現を学習することである。
このような対照的な学習手法の成功の鍵は、正と負のサンプルを引き出す方法である。
本稿では, 負のサンプルのみを用いた教師なしネットワーク埋め込みのためのSCEを提案する。
論文 参考訳（メタデータ） (2020-06-30T03:18:15Z) - Supervised Contrastive Learning [42.27949000093086]
我々は、自己教師付きバッチコントラストアプローチを完全教師付き設定に拡張する。
教師付きコントラスト(SupCon)損失の2つの可能なバージョンを分析し,損失の最も優れた定式化を同定した。
ResNet-200では、ImageNetデータセットでトップ1の精度が81.4%に達しています。
論文 参考訳（メタデータ） (2020-04-23T17:58:56Z) - Generalized Zero-Shot Learning Via Over-Complete Distribution [79.5140590952889]
そこで本稿では,CVAE (Conditional Variational Autoencoder) を用いたOCD(Over-Complete Distribution) の生成を提案する。
フレームワークの有効性は,Zero-Shot LearningプロトコルとGeneralized Zero-Shot Learningプロトコルの両方を用いて評価する。
論文 参考訳（メタデータ） (2020-04-01T19:05:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。