論文の概要: Unified and Dynamic Graph for Temporal Character Grouping in Long Videos

• arxiv url: http://arxiv.org/abs/2308.14105v3
• Date: Sat, 22 Jun 2024 04:35:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 04:58:37.127286
• Title: Unified and Dynamic Graph for Temporal Character Grouping in Long Videos
• Title（参考訳）: ロングビデオにおける時間的文字グループ化のための統一および動的グラフ
• Authors: Xiujun Shu, Wei Wen, Liangsheng Xu, Ruizhi Qiao, Taian Guo, Hanjun Li, Bei Gan, Xiao Wang, Xing Sun,
• Abstract要約: ビデオ時間的キャラクタグループ化は、ビデオ内の主要なキャラクタの出現モーメントを、そのアイデンティティに応じて特定する。 最近の研究は、教師なしクラスタリングからグラフベースのクラスタリングへと進化してきた。 時間的文字グループ化のための統一動的グラフ(UniDG)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 31.192044026127032
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video temporal character grouping locates appearing moments of major characters within a video according to their identities. To this end, recent works have evolved from unsupervised clustering to graph-based supervised clustering. However, graph methods are built upon the premise of fixed affinity graphs, bringing many inexact connections. Besides, they extract multi-modal features with kinds of models, which are unfriendly to deployment. In this paper, we present a unified and dynamic graph (UniDG) framework for temporal character grouping. This is accomplished firstly by a unified representation network that learns representations of multiple modalities within the same space and still preserves the modality's uniqueness simultaneously. Secondly, we present a dynamic graph clustering where the neighbors of different quantities are dynamically constructed for each node via a cyclic matching strategy, leading to a more reliable affinity graph. Thirdly, a progressive association method is introduced to exploit spatial and temporal contexts among different modalities, allowing multi-modal clustering results to be well fused. As current datasets only provide pre-extracted features, we evaluate our UniDG method on a collected dataset named MTCG, which contains each character's appearing clips of face and body and speaking voice tracks. We also evaluate our key components on existing clustering and retrieval datasets to verify the generalization ability. Experimental results manifest that our method can achieve promising results and outperform several state-of-the-art approaches.
• Abstract（参考訳）: ビデオ時間的キャラクタグループ化は、ビデオ内の主要なキャラクタの出現モーメントを、そのアイデンティティに応じて特定する。 この目的のために、最近の研究は教師なしクラスタリングからグラフベースのクラスタリングへと進化してきた。 しかし、グラフ法は固定親和性グラフの前提の上に構築されており、多くの不正確な接続をもたらす。 さらに、デプロイに不都合なモデルでマルチモーダルな特徴を抽出する。 本稿では,時間的文字グループ化のための統一動的グラフ(UniDG)フレームワークを提案する。 これはまず、同じ空間内で複数のモジュラリティの表現を学習し、同時にモダリティの特異性を保存する統一表現ネットワークによって達成される。 第2に,各ノードごとに異なる量の近傍を循環マッチング戦略により動的に構築し,より信頼性の高い親和性グラフを生成する動的グラフクラスタリングを提案する。 第3に、異なるモダリティ間の空間的・時間的文脈を活用するためのプログレッシブアソシエーション手法を導入し、マルチモーダルクラスタリング結果をうまく融合させる。 現在のデータセットは事前抽出された特徴しか提供しないため、各文字の顔と体と発声音声トラックの出現クリップを含むMTCGと呼ばれる収集データセット上で、UniDG法の評価を行う。 また、既存のクラスタリングおよび検索データセットの重要なコンポーネントを評価し、一般化能力を検証する。 実験結果から,提案手法は有望な結果を達成し,いくつかの最先端手法より優れることが示された。

関連論文リスト

• TimeGraphs: Graph-based Temporal Reasoning [64.18083371645956]
  TimeGraphsは階層的時間グラフとして動的相互作用を特徴付ける新しいアプローチである。 提案手法は,コンパクトなグラフベース表現を用いて相互作用をモデル化し,多種多様な時間スケールでの適応推論を可能にする。 我々は,サッカーシミュレータ,抵抗ゲーム,MOMA人間活動データセットなど,複雑でダイナミックなエージェントインタラクションを持つ複数のデータセット上でTimeGraphsを評価する。
  論文  参考訳（メタデータ） (2024-01-06T06:26:49Z)
• MTS2Graph: Interpretable Multivariate Time Series Classification with Temporal Evolving Graphs [1.1756822700775666]
  入力代表パターンを抽出・クラスタリングすることで時系列データを解釈する新しいフレームワークを提案する。 UCR/UEAアーカイブの8つのデータセットとHARとPAMデータセットで実験を行います。
  論文  参考訳（メタデータ） (2023-06-06T16:24:27Z)
• Deep Temporal Graph Clustering [77.02070768950145]
  深部時間グラフクラスタリング(GC)のための汎用フレームワークを提案する。 GCは、時間グラフの相互作用シーケンスに基づくバッチ処理パターンに適合するディープクラスタリング技術を導入している。 我々のフレームワークは、既存の時間グラフ学習手法の性能を効果的に向上させることができる。
  論文  参考訳（メタデータ） (2023-05-18T06:17:50Z)
• Community detection in complex networks via node similarity, graph representation learning, and hierarchical clustering [4.264842058017711]
  コミュニティ検出は、実際のグラフを分析する上で重要な課題である。 この記事では,この課題に対処する3つの新しい階層型フレームワークを提案する。 ブロックモデルグラフと実生活データセットにおける100以上のモジュールの組み合わせを比較します。
  論文  参考訳（メタデータ） (2023-03-21T22:12:53Z)
• Time-aware Dynamic Graph Embedding for Asynchronous Structural Evolution [60.695162101159134]
  既存の作業は、動的グラフを変更のシーケンスとして見るだけである。 動的グラフを接合時間に付随する時間的エッジシーケンスとして定式化する。 頂点とエッジのタイムパン 組み込みにはタイムアウェアなTransformerが提案されている。 vertexの動的接続と学習へのToEs。 頂点表現
  論文  参考訳（メタデータ） (2022-07-01T15:32:56Z)
• Learning the Evolutionary and Multi-scale Graph Structure for Multivariate Time Series Forecasting [50.901984244738806]
  時系列の進化的・マルチスケール相互作用をモデル化する方法を示す。 特に、まず、拡張畳み込みと協調して、スケール固有の相関を捉える階層グラフ構造を提供する。 最終的な予測を得るために上記のコンポーネントを統合するために、統合ニューラルネットワークが提供される。
  論文  参考訳（メタデータ） (2022-06-28T08:11:12Z)
• Dual Contrastive Attributed Graph Clustering Network [6.796682703663566]
  我々はDCAGC(Dual Contrastive Attributed Graph Clustering Network)と呼ばれる汎用フレームワークを提案する。 DCAGCでは、近隣のコントラストモジュールを利用することで、近隣ノードの類似性を最大化し、ノード表現の品質を向上させる。 DCAGCのすべてのモジュールは、統一されたフレームワークでトレーニングされ、最適化されているため、学習されたノード表現にはクラスタリング指向のメッセージが含まれている。
  論文  参考訳（メタデータ） (2022-06-16T03:17:01Z)
• Effective and Efficient Graph Learning for Multi-view Clustering [173.8313827799077]
  マルチビュークラスタリングのための効率的かつ効率的なグラフ学習モデルを提案する。 本手法はテンソルシャッテンp-ノルムの最小化により異なるビューのグラフ間のビュー類似性を利用する。 提案アルゴリズムは時間経済であり,安定した結果を得るとともに,データサイズによく対応している。
  論文  参考訳（メタデータ） (2021-08-15T13:14:28Z)
• Multivariate Time Series Classification with Hierarchical Variational Graph Pooling [23.66868187446734]
  既存のディープラーニングに基づくMTSC技術は、主に単一時系列の時間依存性に関係している。 MTSの表現的グローバル表現を得るために,グラフプーリングに基づく新しいフレームワークMTPoolを提案する。 10のベンチマークデータセットの実験では、MTSCタスクでMTPoolが最先端の戦略を上回っている。
  論文  参考訳（メタデータ） (2020-10-12T12:36:47Z)
• Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks [91.65637773358347]
  多変量時系列データに特化して設計された汎用グラフニューラルネットワークフレームワークを提案する。 グラフ学習モジュールを用いて,変数間の一方向関係を自動的に抽出する。 提案手法は,4つのベンチマークデータセットのうち3つにおいて,最先端のベースライン手法よりも優れている。
  論文  参考訳（メタデータ） (2020-05-24T04:02:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。