論文の概要: Weak Supervision with Arbitrary Single Frame for Micro- and Macro-expression Spotting
- arxiv url: http://arxiv.org/abs/2403.14240v1
- Date: Thu, 21 Mar 2024 09:01:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-22 14:57:51.296103
- Title: Weak Supervision with Arbitrary Single Frame for Micro- and Macro-expression Spotting
- Title（参考訳）: マイクロ・マクロ・圧縮スポッティングのための任意単一フレームによる弱スーパービジョン
- Authors: Wang-Wang Yu, Xian-Shi Zhang, Fu-Ya Luo, Yijun Cao, Kai-Fu Yang, Hong-Mei Yan, Yong-Jie Li,
- Abstract要約: 本稿では,各表現を1つのランダムフレーム(すなわち1点)でアノテートする必要がある点レベルの弱教師付き表現スポッティングフレームワークを提案する。
我々は,MPLGがクラス固有の確率,注意スコア,融合特徴,点レベルのラベルを融合することにより,より信頼性の高い擬似ラベルを生成することを示す。
CAS(ME)2、CAS(ME)3、SAMM-LVデータセットの実験は、PWESが最近の完全教師付き手法に匹敵する有望な性能を達成することを示す。
- 参考スコア（独自算出の注目度）: 22.04975008531069
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Frame-level micro- and macro-expression spotting methods require time-consuming frame-by-frame observation during annotation. Meanwhile, video-level spotting lacks sufficient information about the location and number of expressions during training, resulting in significantly inferior performance compared with fully-supervised spotting. To bridge this gap, we propose a point-level weakly-supervised expression spotting (PWES) framework, where each expression requires to be annotated with only one random frame (i.e., a point). To mitigate the issue of sparse label distribution, the prevailing solution is pseudo-label mining, which, however, introduces new problems: localizing contextual background snippets results in inaccurate boundaries and discarding foreground snippets leads to fragmentary predictions. Therefore, we design the strategies of multi-refined pseudo label generation (MPLG) and distribution-guided feature contrastive learning (DFCL) to address these problems. Specifically, MPLG generates more reliable pseudo labels by merging class-specific probabilities, attention scores, fused features, and point-level labels. DFCL is utilized to enhance feature similarity for the same categories and feature variability for different categories while capturing global representations across the entire datasets. Extensive experiments on the CAS(ME)^2, CAS(ME)^3, and SAMM-LV datasets demonstrate PWES achieves promising performance comparable to that of recent fully-supervised methods.
- Abstract（参考訳）: フレームレベルのマイクロおよびマクロ圧縮スポッティング法は、アノテーション中にフレームごとの観察に時間を要する。
一方、ビデオレベルのスポッティングでは、トレーニング中の位置や表現数に関する情報が不足しており、完全に教師されたスポッティングに比べてパフォーマンスが著しく劣っている。
このギャップを埋めるために、各表現を1つのランダムフレーム(すなわち1点)でアノテートする必要がある点レベル弱教師付き式スポッティング(PWES)フレームワークを提案する。
スパースラベル分布の問題を緩和するため、一般的なソリューションは擬似ラベルマイニングであり、コンテキスト背景スニペットの局所化は不正確な境界をもたらし、前景スニペットの破棄は断片的な予測をもたらす。
そこで我々は,これらの問題に対処するために,MPLG(Multi-Refined pseudo label generation)とDFCL(Dis distribution-guided Feature contrastive Learning)の戦略を設計する。
具体的には,クラス固有の確率,アテンションスコア,融合特徴,ポイントレベルのラベルを組み合わせることで,より信頼性の高い擬似ラベルを生成する。
DFCLは、データセット全体にわたってグローバル表現をキャプチャしながら、同じカテゴリのフィーチャ類似性と異なるカテゴリのフィーチャ可変性を高めるために使用される。
CAS(ME)^2、CAS(ME)^3、SAMM-LVデータセットに関する大規模な実験は、PWESが近年の完全教師付き手法に匹敵する有望な性能を達成することを示した。
関連論文リスト
- How to characterize imprecision in multi-view clustering? [8.706415654055657]
エントロピー制約(MvLRECM)に基づくマルチビュー低ランク明示的c-meansを提案する。
MvLRECMでは、各オブジェクトは異なるクラスタに属し、意思決定時の不確実性を特徴付ける。
さらに、エントロピー重み付けと低ランク制約を用いて、インプレクションの低減と精度の向上を図る。
論文 参考訳（メタデータ） (2024-04-07T14:20:51Z) - Efficient Bilateral Cross-Modality Cluster Matching for Unsupervised Visible-Infrared Person ReID [56.573905143954015]
本稿では, クラスタ間マッチングによるモダリティギャップを低減するための, クラスタマッチングに基づく新たな学習フレームワークを提案する。
このような監視信号の下では、クラスタレベルで特徴を協調的に整列させるために、モダリティ・特定・モダリティ・非依存(MSMA)コントラスト学習フレームワークが提案されている。
公開SYSU-MM01とRegDBデータセットの実験により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2023-05-22T03:27:46Z) - Weakly-supervised Micro- and Macro-expression Spotting Based on
Multi-level Consistency [22.7160073059238]
ビデオレベルのラベルに基づく弱教師付き表現スポッティング(WES)は、フレームレベルのアノテーションの複雑さを軽減する可能性がある。
マルチ一貫性協調機構を用いた,新しいシンプルな WES フレームワーク MC-WES を提案する。
MC-WESは最先端の完全教師付き手法に匹敵することを示す。
論文 参考訳（メタデータ） (2023-05-04T11:14:47Z) - One Class One Click: Quasi Scene-level Weakly Supervised Point Cloud
Semantic Segmentation with Active Learning [29.493759008637532]
One Class One Click (OCOC)は、ポイントレベルのアノテーションとシーンレベルのアノテーションをカプセル化した、低コストで情報的な準シーンレベルのラベルである。
グローバル・ローカル・パースペクティブからの弱い監督を伴って、希少なラベルを活用するために、活発な弱監督フレームワークが提案されている。
F1スコアの平均値において、実際のシーンレベルの弱い監督手法を最大25%上回っている。
論文 参考訳（メタデータ） (2022-11-23T01:23:26Z) - Pointly-Supervised Panoptic Segmentation [106.68888377104886]
弱教師付き単眼セグメンテーションにポイントレベルのアノテーションを適用するための新しい手法を提案する。
完全に教師された方法で使用される高密度のピクセルレベルラベルの代わりに、ポイントレベルラベルは、監督対象ごとに単一のポイントしか提供しない。
我々は、ポイントレベルのラベルから同時に汎視的擬似マスクを生成し、それらから学習することで、エンドツーエンドのフレームワークにおける問題を定式化する。
論文 参考訳（メタデータ） (2022-10-25T12:03:51Z) - Collaborative Propagation on Multiple Instance Graphs for 3D Instance
Segmentation with Single-point Supervision [63.429704654271475]
本稿では,1つのオブジェクトを1つのポイントでラベル付けするだけでよい,弱教師付き手法RWSegを提案する。
これらの疎いラベルにより、セマンティック情報とインスタンス情報を伝達する2つの分岐を持つ統一的なフレームワークを導入する。
具体的には、異なるインスタンスグラフ間の競合を促進するクロスグラフ競合ランダムウォークス(CRW)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-08-10T02:14:39Z) - Learning Self-Supervised Low-Rank Network for Single-Stage Weakly and
Semi-Supervised Semantic Segmentation [119.009033745244]
本稿では,単一段階弱教師付きセマンティックセマンティックセマンティックセマンティクス(WSSS)と半教師付きセマンティクスセマンティクスセマンティクス(SSSS)のための自己教師付き低ランクネットワーク(SLRNet)を提案する。
SLRNetは、画像の異なるビューから複数の注意深いLR表現を同時に予測し、正確な擬似ラベルを学習する。
Pascal VOC 2012、COCO、L2IDデータセットの実験では、SLRNetは最先端のWSSSメソッドとSSSSメソッドの両方で、さまざまな設定で優れています。
論文 参考訳（メタデータ） (2022-03-19T09:19:55Z) - WSSOD: A New Pipeline for Weakly- and Semi-Supervised Object Detection [75.80075054706079]
弱機能および半教師付きオブジェクト検出フレームワーク(WSSOD)を提案する。
エージェント検出器は、まず関節データセット上でトレーニングされ、弱注釈画像上で擬似境界ボックスを予測するために使用される。
提案フレームワークはPASCAL-VOC と MSCOCO のベンチマークで顕著な性能を示し,完全教師付き環境で得られたものと同等の性能を達成している。
論文 参考訳（メタデータ） (2021-05-21T11:58:50Z) - Joint Visual and Temporal Consistency for Unsupervised Domain Adaptive
Person Re-Identification [64.37745443119942]
本稿では,局所的なワンホット分類とグローバルなマルチクラス分類を組み合わせることで,視覚的・時間的整合性を両立させる。
3つの大規模ReIDデータセットの実験結果は、教師なしと教師なしの両方のドメイン適応型ReIDタスクにおいて提案手法の優位性を示す。
論文 参考訳（メタデータ） (2020-07-21T14:31:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。