論文の概要: Timestamp-Supervised Action Segmentation with Graph Convolutional Networks

• arxiv url: http://arxiv.org/abs/2206.15031v1
• Date: Thu, 30 Jun 2022 05:56:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-01 14:47:46.621574
• Title: Timestamp-Supervised Action Segmentation with Graph Convolutional Networks
• Title（参考訳）: グラフ畳み込みネットワークを用いたタイムスタンプ改善アクションセグメンテーション
• Authors: Hamza Khan, Sanjay Haresh, Awais Ahmed, Shakeeb Siddiqui, Andrey Konin, M. Zeeshan Zia, Quoc-Huy Tran
• Abstract要約: グラフ畳み込みネットワークが学習され、スパースタイムスタンプラベルから密度の高いフレームワイズラベルを生成する。 生成された高密度フレームワイドラベルは、セグメンテーションモデルをトレーニングするために使用することができる。 50のサラダ、GTEA、Breakfast、Desktop Assemblyを含む4つの公開データセットに関する詳細な実験は、我々の手法が多層パーセプトロンベースラインよりも優れていることを示している。
• 参考スコア（独自算出の注目度）: 7.696728525672148
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a novel approach for temporal activity segmentation with timestamp supervision. Our main contribution is a graph convolutional network, which is learned in an end-to-end manner to exploit both frame features and connections between neighboring frames to generate dense framewise labels from sparse timestamp labels. The generated dense framewise labels can then be used to train the segmentation model. In addition, we propose a framework for alternating learning of both the segmentation model and the graph convolutional model, which first initializes and then iteratively refines the learned models. Detailed experiments on four public datasets, including 50 Salads, GTEA, Breakfast, and Desktop Assembly, show that our method is superior to the multi-layer perceptron baseline, while performing on par with or better than the state of the art in temporal activity segmentation with timestamp supervision.
• Abstract（参考訳）: タイムスタンプによる時間的活動セグメンテーションのための新しいアプローチを提案する。 我々の貢献はグラフ畳み込みネットワークであり、フレームの特徴と隣り合うフレーム間の接続を利用して、わずかなタイムスタンプラベルから濃密なフレームワイズラベルを生成するためにエンドツーエンドで学習します。 生成された濃密なフレームワイズラベルは、セグメンテーションモデルのトレーニングに使用できる。 さらに,セグメンテーションモデルとグラフ畳み込みモデルの両方を交互に学習するためのフレームワークを提案する。 50のサラダ、GTEA、Breakfast、Desktop Assemblyを含む4つの公開データセットに関する詳細な実験は、我々の手法がマルチ層パーセプトロンベースラインよりも優れている一方で、タイムスタンプの監督による時間的活動セグメンテーションにおいて、技術の状態と同等以上のパフォーマンスを示した。

関連論文リスト

• Unified and Dynamic Graph for Temporal Character Grouping in Long Videos [31.192044026127032]
  ビデオ時間的キャラクタグループ化は、ビデオ内の主要なキャラクタの出現モーメントを、そのアイデンティティに応じて特定する。 最近の研究は、教師なしクラスタリングからグラフベースのクラスタリングへと進化してきた。 時間的文字グループ化のための統一動的グラフ(UniDG)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-27T13:22:55Z)
• RefineVIS: Video Instance Segmentation with Temporal Attention Refinement [23.720986152136785]
  RefineVISは、既製のフレームレベルのイメージインスタンスセグメンテーションモデルの上に、2つの別々の表現を学習する。 TAR(Temporal Attention Refinement)モジュールは、時間的関係を利用して識別的セグメンテーション表現を学習する。 YouTube-VIS 2019 (64.4 AP)、Youtube-VIS 2021 (61.4 AP)、OVIS (46.1 AP)データセットで最先端のビデオインスタンスのセグメンテーション精度を達成する。
  論文  参考訳（メタデータ） (2023-06-07T20:45:15Z)
• TIGER: Temporal Interaction Graph Embedding with Restarts [12.685645074210562]
  時間的相互作用グラフ(TIG)は、eコマースやソーシャルネットワークなどの分野で広く使われている。 TIGは、時間とともに変化するタイムスタンプされたインタラクションイベントのシーケンスで構成される。 従来の方法は、ノード表現が最新であることを保証するために、時系列かつ連続的にイベントのシーケンスを処理しなければならない。 これにより、既存のモデルの並列化が防止され、産業アプリケーションにおける柔軟性が低下する。
  論文  参考訳（メタデータ） (2023-02-13T02:29:11Z)
• Contrastive Learning for Time Series on Dynamic Graphs [17.46524362769774]
  本稿では,グラフと時系列の結合表現の教師なし学習のためのGraphTNCというフレームワークを提案する。 実世界のデータセットを用いた分類作業において有益であることを示す。
  論文  参考訳（メタデータ） (2022-09-21T21:14:28Z)
• Time-aware Dynamic Graph Embedding for Asynchronous Structural Evolution [60.695162101159134]
  既存の作業は、動的グラフを変更のシーケンスとして見るだけである。 動的グラフを接合時間に付随する時間的エッジシーケンスとして定式化する。 頂点とエッジのタイムパン 組み込みにはタイムアウェアなTransformerが提案されている。 vertexの動的接続と学習へのToEs。 頂点表現
  論文  参考訳（メタデータ） (2022-07-01T15:32:56Z)
• Self-Supervised Dynamic Graph Representation Learning via Temporal Subgraph Contrast [0.8379286663107846]
  本稿では,自己教師型動的グラフ表現学習フレームワーク(DySubC)を提案する。 DySubCは、動的グラフの構造的特徴と進化的特徴を同時に学習するために、時間的部分グラフのコントラスト学習タスクを定義している。 実世界の5つのデータセットの実験では、DySubCは関連するベースラインよりも優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2021-12-16T09:35:34Z)
• Modelling Neighbor Relation in Joint Space-Time Graph for Video Correspondence Learning [53.74240452117145]
  本稿では、ラベルなしビデオから信頼できる視覚対応を学習するための自己教師付き手法を提案する。 接続時空間グラフでは,ノードがフレームからサンプリングされたグリッドパッチであり,2種類のエッジによってリンクされる。 学習した表現は、様々な視覚的タスクにおいて最先端の自己監督手法よりも優れています。
  論文  参考訳（メタデータ） (2021-09-28T05:40:01Z)
• Learning to Associate Every Segment for Video Panoptic Segmentation [123.03617367709303]
  粗いセグメントレベルのマッチングと細かなピクセルレベルのマッチングを同時に学習する。 本研究では,Cityscapes-VPSおよびVIPERデータセット上で,フレーム単位の計算モデルにより,最先端の計算結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-06-17T13:06:24Z)
• Temporally-Weighted Hierarchical Clustering for Unsupervised Action Segmentation [96.67525775629444]
  アクションセグメンテーションとは、ビデオにおける意味的に一貫した視覚概念の境界を推測することを指す。 ビデオ中のセグメンテーション動作に対して,トレーニングを必要としない完全自動かつ教師なしのアプローチを提案する。 提案手法は,ビデオの意味的に一貫性のあるフレームをグループ化できる効果的な時間重み付き階層クラスタリングアルゴリズムである。
  論文  参考訳（メタデータ） (2021-03-20T23:30:01Z)
• Group-Wise Semantic Mining for Weakly Supervised Semantic Segmentation [49.90178055521207]
  この研究は、画像レベルのアノテーションとピクセルレベルのセグメンテーションのギャップを埋めることを目標に、弱い監督されたセマンティックセグメンテーション(WSSS)に対処する。 画像群における意味的依存関係を明示的にモデル化し,より信頼性の高い擬似的基盤構造を推定する,新たなグループ学習タスクとしてWSSSを定式化する。 特に、入力画像がグラフノードとして表現されるグループ単位のセマンティックマイニングのためのグラフニューラルネットワーク(GNN)を考案する。
  論文  参考訳（メタデータ） (2020-12-09T12:40:13Z)
• From Static to Dynamic Node Embeddings [61.58641072424504]
  本稿では,時間的予測に基づくアプリケーションにグラフストリームデータを活用するための汎用フレームワークを提案する。 提案フレームワークは,適切なグラフ時系列表現を学習するための新しい手法を含む。 トップ3の時間モデルは常に新しい$epsilon$-graphの時系列表現を利用するモデルであることが分かりました。
  論文  参考訳（メタデータ） (2020-09-21T16:48:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。