論文の概要: Self-adversarial Multi-scale Contrastive Learning for Semantic
Segmentation of Thermal Facial Images
- arxiv url: http://arxiv.org/abs/2209.10700v1
- Date: Wed, 21 Sep 2022 22:58:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-23 13:35:02.004976
- Title: Self-adversarial Multi-scale Contrastive Learning for Semantic
Segmentation of Thermal Facial Images
- Title(参考訳): 熱画像のセマンティックセグメンテーションのための自己反転型マルチスケールコントラスト学習
- Authors: Jitesh Joshi, Nadia Bianchi-Berthouze, Youngjun Cho
- Abstract要約: 本稿では,セグメンテーションネットワークを学習するための汎用学習フレームワークとして,自己適応型マルチスケールコントラスト学習(SAM-CL)を提案する。
SAM-CLフレームワークはSAM-CL損失関数と熱画像拡張(TiAug)をドメイン固有の拡張技術として構成し、制約のない設定をシミュレートする。
- 参考スコア(独自算出の注目度): 11.68189195596647
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reliable segmentation of thermal facial images in unconstrained settings such
as thermal ambience and occlusions is challenging as facial features lack
salience. Limited availability of datasets from such settings further makes it
difficult to train segmentation networks. To address the challenge, we propose
Self-Adversarial Multi-scale Contrastive Learning (SAM-CL) as a generic
learning framework to train segmentation networks. SAM-CL framework constitutes
SAM-CL loss function and a thermal image augmentation (TiAug) as a
domain-specific augmentation technique to simulate unconstrained settings based
upon existing datasets collected from controlled settings. We use the
Thermal-Face-Database to demonstrate effectiveness of our approach. Experiments
conducted on the existing segmentation networks- UNET, Attention-UNET,
DeepLabV3 and HRNetv2 evidence the consistent performance gain from the SAM-CL
framework. Further, we present a qualitative analysis with UBComfort and
DeepBreath datasets to discuss how our proposed methods perform in handling
unconstrained situations.
- Abstract(参考訳): サーマルアンビエンスやオクルージョンなどの無拘束環境におけるサーマルフェイスイメージの信頼性の高いセグメンテーションは、顔の特徴が塩分を欠くため困難である。
このような設定によるデータセットの可用性の制限により、セグメンテーションネットワークのトレーニングがさらに困難になる。
そこで本研究では,セグメンテーションネットワークを学習するための汎用学習フレームワークとして,自己逆マルチスケールコントラスト学習(SAM-CL)を提案する。
SAM-CLフレームワークはSAM-CL損失関数と熱画像拡張(TiAug)をドメイン固有の拡張技術として構成し、制御された設定から収集された既存のデータセットに基づいて制約のない設定をシミュレートする。
Thermal-Face-Databaseを使って、アプローチの有効性を実証します。
既存のセグメンテーションネットワーク-unet, attention-unet, deeplabv3, hrnetv2における実験は、sam-clフレームワークによる一貫したパフォーマンス向上を示している。
さらに,ubcomfortとdeepbreathデータセットを用いた定性解析を行い,制約のない状況の処理において提案手法がどのように機能するかを考察する。
関連論文リスト
- PosSAM: Panoptic Open-vocabulary Segment Anything [58.72494640363136]
PosSAMはオープン・ボキャブラリ・パノプティ・セグメンテーション・モデルであり、Segment Anything Model(SAM)の強みを、エンドツーエンドのフレームワークで視覚ネイティブのCLIPモデルと統合する。
本稿では,マスクの質を適応的に向上し,各画像の推論中にオープン語彙分類の性能を高めるマスク対応選択組立アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-03-14T17:55:03Z) - BLO-SAM: Bi-level Optimization Based Overfitting-Preventing Finetuning
of SAM [37.1263294647351]
BLO-SAMを導入し、二段階最適化(BLO)に基づいてSAM(Segment Anything Model)を微調整する。
BLO-SAMは、モデルの重みパラメータのトレーニングと、トレーニングデータセットの2つの別々のサブセットへの迅速な埋め込みによって、過適合のリスクを低減する。
その結果、BLO-SAMは様々な最先端画像セマンティックセグメンテーション法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2024-02-26T06:36:32Z) - ClipSAM: CLIP and SAM Collaboration for Zero-Shot Anomaly Segmentation [5.376142948115328]
本稿では,ZSASのためのCLIPおよびSAM協調フレームワークであるClipSAMを提案する。
ClipSAMの背後にある洞察は、CLIPのセマンティック理解機能を、異常なローカライゼーションと粗いセグメンテーションに活用することである。
本稿では,視覚的特徴と対話するためのUMCI(Unified Multi-scale Cross-modal Interaction)モジュールについて述べる。
論文 参考訳(メタデータ) (2024-01-23T11:20:03Z) - Rotated Multi-Scale Interaction Network for Referring Remote Sensing
Image Segmentation [66.31941110777734]
Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。
従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。
本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
論文 参考訳(メタデータ) (2023-12-19T08:14:14Z) - Segment Anything Model-guided Collaborative Learning Network for
Scribble-supervised Polyp Segmentation [45.15517909664628]
ポリープのセグメンテーションは、初期におけるポリープの正確な位置決定に重要な役割を担っている。
診断中の医師によるポリープ画像に対するピクセルワイドアノテーションは、時間と費用の両方がかかる。
本稿では,スクリブル制御ポリプセグメンテーションのためのSAM誘導協調学習ネットワーク(SAM-CLNet)を提案する。
論文 参考訳(メタデータ) (2023-12-01T03:07:13Z) - SAMIHS: Adaptation of Segment Anything Model for Intracranial Hemorrhage
Segmentation [18.867207134086193]
脳梗塞診断と手術計画において,頭蓋内出血分節は重要かつ困難なステップである。
そこで我々は,脳内出血セグメンテーションのためのSAM-based parameter- efficient fine-tuning法(SAMIHS)を提案する。
2つの公開データセットに対する実験結果から,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2023-11-14T14:23:09Z) - Masking Improves Contrastive Self-Supervised Learning for ConvNets, and
Saliency Tells You Where [68.24640128324778]
我々は、畳み込みニューラルネットワークのためのコントラスト学習フレームワークにマスキング操作を組み込むことの負担を軽減することを目的としている。
マスクされた領域が、前景と背景の間に均等に分散されていることを考慮し、塩分濃度の制約を明示的に考慮することを提案する。
論文 参考訳(メタデータ) (2023-09-22T09:58:38Z) - Interventional Contrastive Learning with Meta Semantic Regularizer [28.708395209321846]
コントラスト学習(CL)に基づく自己教師型学習モデルでは,視覚的表現を相互に学習する。
CLモデルがフルイメージでトレーニングされる場合、フルイメージでテストされるパフォーマンスは、フォアグラウンドのモデルよりも優れている。
CLモデルが前景領域で訓練された場合、全画像でテストされた性能は前景領域よりも悪い。
論文 参考訳(メタデータ) (2022-06-29T15:02:38Z) - Remote Sensing Image Classification using Transfer Learning and
Attention Based Deep Neural Network [59.86658316440461]
本稿では、転送学習技術とマルチヘッドアテンションスキームを活用した、深層学習に基づくRSISCフレームワークを提案する。
提案したディープラーニングフレームワークは、ベンチマークNWPU-RESISC45データセットに基づいて評価され、最高の分類精度94.7%を達成する。
論文 参考訳(メタデータ) (2022-06-20T10:05:38Z) - Semantic Attention and Scale Complementary Network for Instance
Segmentation in Remote Sensing Images [54.08240004593062]
本稿では,セマンティックアテンション(SEA)モジュールとスケール補完マスクブランチ(SCMB)で構成される,エンドツーエンドのマルチカテゴリインスタンスセグメンテーションモデルを提案する。
SEAモジュールは、機能マップ上の興味あるインスタンスのアクティベーションを強化するために、追加の監督を備えた、単純な完全な畳み込みセマンティックセマンティックセマンティクスブランチを含んでいる。
SCMBは、元のシングルマスクブランチをトリデントマスクブランチに拡張し、異なるスケールで補完マスクの監視を導入する。
論文 参考訳(メタデータ) (2021-07-25T08:53:59Z) - Differentially private federated deep learning for multi-site medical
image segmentation [56.30543374146002]
フェデレートラーニング(FL)のような協調機械学習技術は、データ転送なしで効果的に大規模なデータセット上でモデルのトレーニングを可能にする。
近年のイニシアチブでは、FLで訓練されたセグメンテーションモデルが、局所的に訓練されたモデルと同様のパフォーマンスを達成できることが示されている。
しかし、FLは完全なプライバシ保護技術ではなく、プライバシ中心の攻撃は秘密の患者データを開示することができる。
論文 参考訳(メタデータ) (2021-07-06T12:57:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。