論文の概要: Weakly-supervised Micro- and Macro-expression Spotting Based on
Multi-level Consistency
- arxiv url: http://arxiv.org/abs/2305.02734v2
- Date: Mon, 30 Oct 2023 14:07:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-02 02:53:54.788199
- Title: Weakly-supervised Micro- and Macro-expression Spotting Based on
Multi-level Consistency
- Title（参考訳）: 多レベル一貫性に基づく弱制御マイクロ・マクロ圧縮スポッティング
- Authors: Wang-Wang Yu, Kai-Fu Yang, Hong-Mei Yan, Yong-Jie Li
- Abstract要約: ビデオレベルのラベルに基づく弱教師付き表現スポッティング(WES)は、フレームレベルのアノテーションの複雑さを軽減する可能性がある。
マルチ一貫性協調機構を用いた,新しいシンプルな WES フレームワーク MC-WES を提案する。
MC-WESは最先端の完全教師付き手法に匹敵することを示す。
- 参考スコア（独自算出の注目度）: 22.7160073059238
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most micro- and macro-expression spotting methods in untrimmed videos suffer
from the burden of video-wise collection and frame-wise annotation.
Weakly-supervised expression spotting (WES) based on video-level labels can
potentially mitigate the complexity of frame-level annotation while achieving
fine-grained frame-level spotting. However, we argue that existing
weakly-supervised methods are based on multiple instance learning (MIL)
involving inter-modality, inter-sample, and inter-task gaps. The inter-sample
gap is primarily from the sample distribution and duration. Therefore, we
propose a novel and simple WES framework, MC-WES, using multi-consistency
collaborative mechanisms that include modal-level saliency, video-level
distribution, label-level duration and segment-level feature consistency
strategies to implement fine frame-level spotting with only video-level labels
to alleviate the above gaps and merge prior knowledge. The modal-level saliency
consistency strategy focuses on capturing key correlations between raw images
and optical flow. The video-level distribution consistency strategy utilizes
the difference of sparsity in temporal distribution. The label-level duration
consistency strategy exploits the difference in the duration of facial muscles.
The segment-level feature consistency strategy emphasizes that features under
the same labels maintain similarity. Experimental results on three challenging
datasets -- CAS(ME)$^2$, CAS(ME)$^3$, and SAMM-LV -- demonstrate that MC-WES is
comparable to state-of-the-art fully-supervised methods.
- Abstract（参考訳）: 非トリミングビデオにおけるマイクロおよびマクロ表現スポッティング手法の多くは、ビデオ単位での収集とフレーム毎のアノテーションの負担に苦しむ。
ビデオレベルラベルに基づくwes(weed-supervised expression spotting)は,きめ細かいフレームレベルスポッティングを実現しながら,フレームレベルのアノテーションの複雑さを軽減する可能性がある。
しかし、既存の弱教師付き手法は、モーダリティ、サンプル間、タスク間ギャップを含む多重インスタンス学習(MIL)に基づいていると論じる。
サンプル間ギャップは主にサンプル分布と持続時間に由来する。
そこで本研究では,ビデオレベルのラベルのみを用いたフレームレベルのスポッティングを実現するために,モーダルレベルのサリエンシ,ビデオレベルの分散,ラベルレベルの持続時間,セグメントレベルの特徴一貫性戦略などを含むマルチコンシスタンスな協調機構を用いた,新しいwesフレームワークであるmc-wesを提案する。
モーダルレベルのサリエンシ整合性戦略は、生画像と光流のキー相関を捉えることに焦点を当てている。
映像レベルの分布整合性戦略は時間分布のスパーシティの差を利用する。
ラベルレベルの持続時間一貫性戦略は、顔の筋肉の持続時間の違いを利用する。
セグメントレベルの機能一貫性戦略は、同じラベル下の機能は類似性を維持することを強調する。
CAS(ME)$^2$、CAS(ME)$^3$、SAMM-LVという3つの挑戦的なデータセットの実験結果は、MC-WESが最先端の完全教師付き手法に匹敵することを示した。
関連論文リスト
- Weak Supervision with Arbitrary Single Frame for Micro- and Macro-expression Spotting [22.04975008531069]
本稿では,各表現を1つのランダムフレーム(すなわち1点)でアノテートする必要がある点レベルの弱教師付き表現スポッティングフレームワークを提案する。
我々は,MPLGがクラス固有の確率,注意スコア,融合特徴,点レベルのラベルを融合することにより,より信頼性の高い擬似ラベルを生成することを示す。
CAS(ME)2、CAS(ME)3、SAMM-LVデータセットの実験は、PWESが最近の完全教師付き手法に匹敵する有望な性能を達成することを示す。
論文 参考訳（メタデータ） (2024-03-21T09:01:21Z) - Exploring Homogeneous and Heterogeneous Consistent Label Associations
for Unsupervised Visible-Infrared Person ReID [62.81466902601807]
教師なし可視赤外人物再識別(USL-VI-ReID)は、アノテーションなしで異なるモードから同一人物の歩行者画像を取得することを目的としている。
均質かつ不均一なインスタンスレベルの構造を同時に説明できるModality-Unified Label Transfer (MULT) モジュールを導入する。
等質なアフィニティと異質なアフィニティの両方をモデル化し、それらを利用して擬似ラベルの不整合を定義し、最小化する。
論文 参考訳（メタデータ） (2024-02-01T15:33:17Z) - SMC-NCA: Semantic-guided Multi-level Contrast for Semi-supervised Temporal Action Segmentation [53.010417880335424]
半教師付き時間的アクションセグメンテーション(SS-TA)は、長編ビデオにおいてフレームワイズ分類を行うことを目的としている。
近年の研究では、教師なし表現学習におけるコントラスト学習の可能性が示されている。
本稿では,SMC-NCA(Neighbourhood-Consistency-Aware Unit)を用いたセマンティック誘導型マルチレベルコントラスト方式を提案する。
論文 参考訳（メタデータ） (2023-12-19T17:26:44Z) - Efficient Bilateral Cross-Modality Cluster Matching for Unsupervised Visible-Infrared Person ReID [56.573905143954015]
本稿では, クラスタ間マッチングによるモダリティギャップを低減するための, クラスタマッチングに基づく新たな学習フレームワークを提案する。
このような監視信号の下では、クラスタレベルで特徴を協調的に整列させるために、モダリティ・特定・モダリティ・非依存(MSMA)コントラスト学習フレームワークが提案されている。
公開SYSU-MM01とRegDBデータセットの実験により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2023-05-22T03:27:46Z) - Weakly-supervised Action Localization via Hierarchical Mining [76.00021423700497]
弱教師付きアクションローカライゼーションは、ビデオレベルの分類ラベルだけで、与えられたビデオ内のアクションインスタンスを時間的にローカライズし、分類することを目的としている。
ビデオレベルおよびスニペットレベルでの階層的マイニング戦略,すなわち階層的監視と階層的一貫性マイニングを提案する。
我々は、HiM-NetがTHUMOS14とActivityNet1.3データセットの既存の手法よりも、階層的に監督と一貫性をマイニングすることで、大きなマージンを持つことを示す。
論文 参考訳（メタデータ） (2022-06-22T12:19:09Z) - Learning Self-Supervised Low-Rank Network for Single-Stage Weakly and
Semi-Supervised Semantic Segmentation [119.009033745244]
本稿では,単一段階弱教師付きセマンティックセマンティックセマンティックセマンティクス(WSSS)と半教師付きセマンティクスセマンティクスセマンティクス(SSSS)のための自己教師付き低ランクネットワーク(SLRNet)を提案する。
SLRNetは、画像の異なるビューから複数の注意深いLR表現を同時に予測し、正確な擬似ラベルを学習する。
Pascal VOC 2012、COCO、L2IDデータセットの実験では、SLRNetは最先端のWSSSメソッドとSSSSメソッドの両方で、さまざまな設定で優れています。
論文 参考訳（メタデータ） (2022-03-19T09:19:55Z) - HiCLRE: A Hierarchical Contrastive Learning Framework for Distantly
Supervised Relation Extraction [24.853265244512954]
雑音の少ない文を抽出するための階層的コントラスト学習フレームワーク (HiCLRE) を提案する。
具体的には,3段階の階層型学習フレームワークを提案する。
実験により、HiCLREは様々なメインストリームDSREデータセットにおいて、強いベースラインを著しく上回っていることが示された。
論文 参考訳（メタデータ） (2022-02-27T12:48:26Z) - Semi-supervised Semantic Segmentation with Directional Context-aware
Consistency [66.49995436833667]
我々は、ラベル付きデータの小さなセットに、全くラベル付けされていない画像のより大きなコレクションを提供する半教師付きセグメンテーション問題に焦点をあてる。
好ましいハイレベル表現は、自己認識を失わずにコンテキスト情報をキャプチャするべきである。
我々は,DCロス(Directional Contrastive Loss)を画素対ピクセルの整合性を達成するために提示する。
論文 参考訳（メタデータ） (2021-06-27T03:42:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。