論文の概要: VISTA: Vision-Language Integrated Semantic Triage Architecture for Online Face Clustering in Long Videos
- arxiv url: http://arxiv.org/abs/2611.04932v1
- Date: Tue, 03 Nov 2026 14:02:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-09 12:39:22.256016
- Title: VISTA: Vision-Language Integrated Semantic Triage Architecture for Online Face Clustering in Long Videos
- Title(参考訳): VISTA:ロングビデオにおけるオンライン顔クラスタリングのための視覚言語統合型セマンティックトリアージアーキテクチャ
- Abstract要約: 長い連続的なビデオストリームにおける顔の同一性によるクラスタリングは、人間中心のビデオ分析のためのビルディングブロックとして機能する難しいタスクである。
本稿では,オンライン顔クラスタリングのための視覚言語フレームワークであるVISTAについて紹介する。
- 参考スコア(独自算出の注目度): 5.921780705706009
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Clustering faces by identity in long, continuous video streams is a challenging task that serves as a building block for human-centric video analysis. The majority of existing face clustering models are offline, i.e., they assume the entire data to be available altogether. In many practical scenarios, however, the entire data is either unavailable or poses computational challenges to be processed in its entirety. A handful of online methods that exist rely on geometric visual features and simple thresholding techniques, which fail when the faces exhibit significant appearance variations in long, unconstrained videos. To this end, we present VISTA, the first vision language framework for online face clustering in long videos. VISTA leverages semantic reasoning in a controlled, uncertainty aware fashion to maintain both high cluster purity and long range identity continuity. This makes it robust to the variations in illumination, pose, and costume changes that the faces and characters exhibit in long real world videos. Extensive experiments on the VPCD benchmark dataset (with 15 full episodes from The Big Bang Theory [2007-2019], Buffy the Vampire Slayer [1997-2003], and Sherlock [2010-2017]) demonstrate that VISTA achieves a robust precision and recall balance, consistently improving over the strongest matched online unsupervised baseline (COFC) under identical detector, embeddings, and evaluation protocol. Code and supplementary material: https://github.com/SkyJiashu/VISTA.
- Abstract(参考訳): 長い連続的なビデオストリームにおける顔の同一性によるクラスタリングは、人間中心のビデオ分析のためのビルディングブロックとして機能する難しいタスクである。
既存の顔クラスタリングモデルのほとんどはオフラインである。
しかし、多くの現実的なシナリオでは、データ全体が利用できないか、計算上の課題が全体にわたって処理される。
オンライン上のいくつかの手法は、幾何学的な視覚的特徴と単純なしきい値設定技術に依存しており、顔が長く制約のないビデオで顕著な外観変化を示すと失敗する。
この目的のために,オンライン顔クラスタリングのための視覚言語フレームワークであるVISTAを紹介する。
VISTAは、制御された不確実性を意識した方法でセマンティック推論を活用し、高いクラスタ純度と長距離アイデンティティ連続性の両方を維持する。
これにより、長い現実世界のビデオで顔やキャラクターが見せる照明、ポーズ、衣装の変化に頑丈になる。
VPCDベンチマークデータセット(The Big Bang Theory [2007-2019], Buffy the Vampire Slayer [1997-2003], Sherlock [2010-2017])の大規模な実験は、VISTAが堅牢な精度とリコールバランスを達成し、同一検出器、埋め込み、評価プロトコルの下で最強の一致したオンライン教師なしベースライン(COFC)よりも一貫して改善されていることを示した。
コードと補足資料:https://github.com/SkyJiashu/VISTA.com
関連論文リスト
- Pose6DAug: Physically Plausible Multi-view Object Swapping for Robot Data Augmentation [52.61098793949261]
障害駆動型データ拡張フレームワークであるPose6DAugを紹介します。
我々は、ポリシーの成功エピソードを、障害モードのターゲットとなるデモに変換する。
提案手法は,時間的コヒーレントな6次元ポーズ軌道によって駆動される明示的なメッシュで対象物体を固定し,直接3次元で動作させる。
論文 参考訳(メタデータ) (2026-06-18T11:41:25Z) - Endless World: Real-Time 3D-Aware Long Video Generation [57.411689597435334]
Endless Worldは、無限の3D一貫性のあるビデオ生成のためのリアルタイムフレームワークである。
本稿では,新たに生成されたコンテンツを既存のビデオフレームと整合させる条件付き自己回帰学習手法を提案する。
我々の3Dインジェクション機構は、拡張シーケンスを通して物理的妥当性と幾何的整合性を強制する。
論文 参考訳(メタデータ) (2025-12-13T19:06:12Z) - From Large Angles to Consistent Faces: Identity-Preserving Video Generation via Mixture of Facial Experts [69.44297222099175]
顔の特徴の異なるが相互に強化された側面を捉えた顔専門家の混合(MoFE)を導入する。
データセットの制限を軽減するため、私たちは、Face ConstraintsとIdentity Consistencyという2つの重要な側面を中心としたデータ処理パイプラインを調整しました。
我々は、既存のオープンソースヒューマンビデオデータセットからLFA(Large Face Angles)データセットをキュレートし、洗練しました。
論文 参考訳(メタデータ) (2025-08-13T04:10:16Z) - VideoClusterNet: Self-Supervised and Adaptive Face Clustering For Videos [2.0719478063181027]
Video Face Clusteringは、検出された顔のトラックを共通の顔認証でまとめることを目的としている。
この問題は、ビデオフレームにまたがる特定の顔のポーズ、表情、外観、照明のバリエーションが多岐にわたるため、非常に難しい。
本稿では,ジェネリック・フェイスIDモデルを,完全に自己管理された新しいビデオ・フェイス・トラックに適応させることを学習する,新しいビデオ・フェイス・クラスタリング手法を提案する。
論文 参考訳(メタデータ) (2024-07-16T23:34:55Z) - Multiface: A Dataset for Neural Face Rendering [108.44505415073579]
本研究では,新しいマルチビュー,高解像度のヒューマン・フェイス・データセットであるMultifaceを提案する。
顔のパフォーマンスの高解像度同期映像をキャプチャする大規模なマルチカメラ装置であるMugsyを紹介する。
Multifaceの目的は、学術コミュニティにおける高品質データへのアクセシビリティのギャップを埋め、VRテレプレゼンスの研究を可能にすることである。
論文 参考訳(メタデータ) (2022-07-22T17:55:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。