論文の概要: Learning from Synchronization: Self-Supervised Uncalibrated Multi-View Person Association in Challenging Scenes
- arxiv url: http://arxiv.org/abs/2503.13739v1
- Date: Mon, 17 Mar 2025 21:48:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-19 14:16:19.644812
- Title: Learning from Synchronization: Self-Supervised Uncalibrated Multi-View Person Association in Challenging Scenes
- Title（参考訳）: シンクロナイゼーションから学ぶ:混在場面における自己監督型マルチビューパーソン・アソシエーション
- Authors: Keqi Chen, Vinkle Srivastav, Didier Mutter, Nicolas Padoy,
- Abstract要約: アノテーションを使わずに自己管理型多視点人物アソシエーションアプローチであるSelf-MVAを提案する。
具体的には,エンコーダ・デコーダモデルと自己教師型プレテキストタスクからなる自己教師型学習フレームワークを提案する。
提案手法は、既存の教師なしおよび教師なしのアプローチを超越して、最先端の成果を達成する。
- 参考スコア（独自算出の注目度）: 3.2416801263793285
- License:
- Abstract: Multi-view person association is a fundamental step towards multi-view analysis of human activities. Although the person re-identification features have been proven effective, they become unreliable in challenging scenes where persons share similar appearances. Therefore, cross-view geometric constraints are required for a more robust association. However, most existing approaches are either fully-supervised using ground-truth identity labels or require calibrated camera parameters that are hard to obtain. In this work, we investigate the potential of learning from synchronization, and propose a self-supervised uncalibrated multi-view person association approach, Self-MVA, without using any annotations. Specifically, we propose a self-supervised learning framework, consisting of an encoder-decoder model and a self-supervised pretext task, cross-view image synchronization, which aims to distinguish whether two images from different views are captured at the same time. The model encodes each person's unified geometric and appearance features, and we train it by utilizing synchronization labels for supervision after applying Hungarian matching to bridge the gap between instance-wise and image-wise distances. To further reduce the solution space, we propose two types of self-supervised linear constraints: multi-view re-projection and pairwise edge association. Extensive experiments on three challenging public benchmark datasets (WILDTRACK, MVOR, and SOLDIERS) show that our approach achieves state-of-the-art results, surpassing existing unsupervised and fully-supervised approaches. Code is available at https://github.com/CAMMA-public/Self-MVA.
- Abstract（参考訳）: マルチビュー・パーソン・アソシエーション(Multi-view person association)は、人間活動のマルチビュー・アナリティクスに向けた基本的なステップである。
再識別機能は有効であることが証明されているが、類似の外観を共有する困難な場面では信頼性が低い。
したがって、より堅牢なアソシエーションには、クロスビュー幾何学的制約が要求される。
しかし、既存のほとんどのアプローチは、地中真実の識別ラベルを使って完全に管理されているか、あるいは入手が困難なカメラパラメータを校正する必要がある。
本研究では,同期から学習する可能性について検討し,アノテーションを使わずに自己教師なしの多視点人物アソシエーションアプローチであるSelf-MVAを提案する。
具体的には、エンコーダ・デコーダモデルと自己教師付きプレテキストタスクからなる自己教師型学習フレームワーク、クロスビュー画像同期を提案する。
モデルでは,各人物の統一的な幾何学的特徴と外観的特徴を符号化し,ハンガリー語マッチングを適用してインスタンスワイド距離と画像ワイド距離のギャップを埋めた上で,同期ラベルを用いて指導を行う。
解空間をさらに小さくするため,多視点再射法と一対のエッジアソシエーションという2種類の自己教師付き線形制約を提案する。
公共ベンチマークデータセット(WILDTRACK, MVOR, SOLDIERS)の大規模な実験により, 既存の教師なしおよび教師なしのアプローチを超越して, 最先端の結果が得られた。
コードはhttps://github.com/CAMMA-public/Self-MVAで公開されている。
関連論文リスト
- Unveiling the Power of Self-supervision for Multi-view Multi-human
Association and Tracking [22.243799150495487]
マルチビュー・マルチヒューマン・アソシエーション・トラッキング(MvMHAT)は,多人数映像監視において重要な課題である。
本稿では,エンド・ツー・エンド・エンド・ネットワークの自己教師型学習システムを用いてこの問題に対処する。
異なるアルゴリズムのネットワークトレーニングとテストのための、2つの新しい大規模ベンチマークを構築します。
論文 参考訳（メタデータ） (2024-01-31T06:12:28Z) - DealMVC: Dual Contrastive Calibration for Multi-view Clustering [78.54355167448614]
マルチビュークラスタリングのための新しいデュアルコントラストキャリブレーションネットワーク(DealMVC)を提案する。
まず、グローバルなクロスビュー特徴を得るための融合機構を設計し、その上で、ビュー特徴類似性グラフと高信頼な擬ラベルグラフを整列させることにより、グローバルなコントラストキャリブレーション損失を提案する。
トレーニング手順の間、対話型クロスビュー機能は、ローカルレベルとグローバルレベルの両方で共同最適化される。
論文 参考訳（メタデータ） (2023-08-17T14:14:28Z) - HaMuCo: Hand Pose Estimation via Multiview Collaborative Self-Supervised
Learning [19.432034725468217]
HaMuCoは、多視点擬似2Dラベルから一視点手ポーズ推定器を学習する自己教師型学習フレームワークである。
本稿では, クロスビュー対応機能を利用して, シングルビュー推定器を蒸留するクロスビューインタラクションネットワークを提案する。
提案手法は,多視点自己監督型ポーズ推定における最先端性能を実現する。
論文 参考訳（メタデータ） (2023-02-02T10:13:04Z) - Decoupled Multi-task Learning with Cyclical Self-Regulation for Face
Parsing [71.19528222206088]
顔解析のための周期的自己統制型デカップリング型マルチタスク学習を提案する。
具体的には、DML-CSRは、顔解析、バイナリエッジ、カテゴリエッジ検出を含むマルチタスクモデルを設計する。
提案手法は,Helen,CelebA-HQ,LapaMaskのデータセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2022-03-28T02:12:30Z) - Unsupervised Person Re-identification via Simultaneous Clustering and
Consistency Learning [22.008371113710137]
静止画からの視覚的一貫性とトレーニングプロセス中の時間的一貫性を学習することにより、教師なし再IDのプリテキストタスクを設計します。
2つのエンコードされたビューを同じクラスタにグループ化し、ビュー間の視覚的一貫性を高めることで、モデルを最適化する。
論文 参考訳（メタデータ） (2021-04-01T02:10:42Z) - Unsupervised Person Re-Identification with Multi-Label Learning Guided
Self-Paced Clustering [48.31017226618255]
近年、未監修者再確認(Re-ID)が注目されています。
本論文では,教師なしのRe-IDを,MLC(Multi-label Learning Guide Self-paced Clustering)と呼ばれる概念的に斬新かつ単純なフレームワークで対処する。
MLCは主に3つの重要なモジュール(マルチスケールネットワーク、マルチラベル学習モジュール、セルフペースクラスタリングモジュール)で識別的特徴を学習する。
論文 参考訳（メタデータ） (2021-03-08T07:30:13Z) - Self-supervised Human Detection and Segmentation via Multi-view
Consensus [116.92405645348185]
本稿では,トレーニング中に幾何学的制約を多視点一貫性という形で組み込むマルチカメラフレームワークを提案する。
本手法は,標準ベンチマークから視覚的に外れた画像に対して,最先端の自己監視的人物検出とセグメンテーション技術に勝ることを示す。
論文 参考訳（メタデータ） (2020-12-09T15:47:21Z) - CycAs: Self-supervised Cycle Association for Learning Re-identifiable
Descriptions [61.724894233252414]
本稿では,人物再識別(re-ID)問題に対する自己教師型学習手法を提案する。
既存の教師なしのメソッドは通常、ビデオトラッカーやクラスタリングのような擬似ラベルに依存している。
疑似ラベルを使わずに、生のビデオから歩行者の埋め込みを学習できる別の教師なし手法を導入する。
論文 参考訳（メタデータ） (2020-07-15T09:52:35Z) - Self-Supervised Viewpoint Learning From Image Collections [116.56304441362994]
本稿では,解析・合成パラダイムを取り入れた新たな学習フレームワークを提案する。
提案手法は,人間の顔,車,バス,電車など,複数の対象カテゴリに対して,完全に教師されたアプローチに対して競争力を発揮することを示す。
論文 参考訳（メタデータ） (2020-04-03T22:01:41Z) - Intra-Camera Supervised Person Re-Identification [87.88852321309433]
本稿では,カメラごとの個人識別アノテーションに基づく新しい人物識別パラダイムを提案する。
これにより、最も時間がかかり、面倒なカメラ間IDラベリングプロセスがなくなる。
MATE(Multi-tAsk mulTi-labEl)Deep Learning method for intra-Camera Supervised (ICS) person re-id。
論文 参考訳（メタデータ） (2020-02-12T15:26:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。