論文の概要: Learning Video Instance Segmentation with Recurrent Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2012.03911v1
• Date: Mon, 7 Dec 2020 18:41:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-16 21:21:14.066054
• Title: Learning Video Instance Segmentation with Recurrent Graph Neural Networks
• Title（参考訳）: リカレントグラフニューラルネットワークによるビデオインスタンスセグメンテーションの学習
• Authors: Joakim Johnander, Emil Brissman, Martin Danelljan, Michael Felsberg
• Abstract要約: 本稿では,ビデオインスタンスのセグメンテーション問題全体を共同でモデル化する,新しい学習形式を提案する。 私たちは、グラフニューラルネットワークの助けを借りて、利用可能なすべての新しい情報を各フレームで処理する、フレキシブルなモデルに適合します。 われわれのアプローチは25FPS以上で、従来のビデオリアルタイム手法よりも優れている。
• 参考スコア（独自算出の注目度）: 39.06202374530647
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Most existing approaches to video instance segmentation comprise multiple modules that are heuristically combined to produce the final output. Formulating a purely learning-based method instead, which models both the temporal aspect as well as a generic track management required to solve the video instance segmentation task, is a highly challenging problem. In this work, we propose a novel learning formulation, where the entire video instance segmentation problem is modelled jointly. We fit a flexible model to our formulation that, with the help of a graph neural network, processes all available new information in each frame. Past information is considered and processed via a recurrent connection. We demonstrate the effectiveness of the proposed approach in comprehensive experiments. Our approach, operating at over 25 FPS, outperforms previous video real-time methods. We further conduct detailed ablative experiments that validate the different aspects of our approach.
• Abstract（参考訳）: 既存のビデオインスタンスセグメンテーションのアプローチのほとんどは、最終的な出力を生成するためにヒューリスティックに結合された複数のモジュールで構成されている。 代わりに、ビデオインスタンスのセグメンテーションタスクを解決するのに必要な時間的側面と一般的なトラック管理の両方をモデル化する純粋に学習ベースの方法を作成することは、非常に難しい問題である。 本研究では,ビデオインスタンスのセグメンテーション問題全体を共同でモデル化する,新しい学習形式を提案する。 私たちは、グラフニューラルネットワークの助けを借りて、利用可能なすべての新しい情報を各フレームで処理する、フレキシブルなモデルに適合します。 過去の情報はリカレント接続により考慮および処理される。 総合実験において提案手法の有効性を実証する。 われわれのアプローチは25FPS以上で、従来のビデオリアルタイム手法よりも優れている。 さらに,我々のアプローチの異なる側面を検証する詳細なアブレーション実験を行う。

関連論文リスト

• Rethinking Video Segmentation with Masked Video Consistency: Did the Model Learn as Intended? [22.191260650245443]
  ビデオセグメント化は、ビデオシーケンスを、オブジェクトやフレーム内の関心領域に基づいて意味のあるセグメントに分割することを目的としている。 現在のビデオセグメンテーションモデルは、しばしば画像セグメンテーション技術から派生している。 本研究では,空間的・時間的特徴集約を向上する学習戦略であるMasked Video Consistencyを提案する。
  論文  参考訳（メタデータ） (2024-08-20T08:08:32Z)
• Appearance-Based Refinement for Object-Centric Motion Segmentation [85.2426540999329]
  本稿では,ビデオストリームの時間的一貫性を利用して,不正確なフローベース提案を補正する外観に基づく改善手法を提案する。 提案手法では,高精度なフロー予測マスクを模範として,シーケンスレベルの選択機構を用いる。 パフォーマンスは、DAVIS、YouTube、SegTrackv2、FBMS-59など、複数のビデオセグメンテーションベンチマークで評価されている。
  論文  参考訳（メタデータ） (2023-12-18T18:59:51Z)
• Learning from One Continuous Video Stream [70.30084026960819]
  1つの連続ビデオストリームからオンライン学習のためのフレームワークを導入する。 連続するビデオフレーム間の高い相関を考えると、これは大きな課題となる。 プリトレーニングとシングルストリーム評価を切り替える実用的で柔軟な方法として,ピクセル・ツー・ピクセル・モデリングを採用している。
  論文  参考訳（メタデータ） (2023-12-01T14:03:30Z)
• Learning to Associate Every Segment for Video Panoptic Segmentation [123.03617367709303]
  粗いセグメントレベルのマッチングと細かなピクセルレベルのマッチングを同時に学習する。 本研究では,Cityscapes-VPSおよびVIPERデータセット上で,フレーム単位の計算モデルにより,最先端の計算結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-06-17T13:06:24Z)
• PGT: A Progressive Method for Training Models on Long Videos [45.935259079953255]
  メインストリーム方式は、生のビデオをクリップに分割し、不完全な時間的情報の流れをもたらす。 長文を扱う自然言語処理技術に着想を得て,マルコフ特性を満たすシリアルフラグメントとしてビデオを扱うことを提案する。 さまざまなモデルやデータセットで大幅なパフォーマンス改善をもたらすことを実証的に実証しています。
  論文  参考訳（メタデータ） (2021-03-21T06:15:20Z)
• Unsupervised Learning Consensus Model for Dynamic Texture Videos Segmentation [12.462608802359936]
  動的テクスチャのセグメンテーションのための効果的な教師なし学習コンセンサスモデルを提案する。 提案モデルでは,分類対象画素の周辺部における再量子化局所2値パターン(LBP)ヒストグラムの値の集合を特徴として用いた。 挑戦的なSynthDBデータセットで実施された実験は、ULCMが大幅に高速で、コーディングが簡単で、単純で、パラメータが限られていることを示している。
  論文  参考訳（メタデータ） (2020-06-29T16:40:59Z)
• Scene-Adaptive Video Frame Interpolation via Meta-Learning [54.87696619177496]
  テスト時に容易に利用できる追加情報を利用することで、各ビデオにモデルを適用することを提案する。 追加パラメータを使わずに1つの勾配更新しか行わず、大幅な性能向上が得られます。
  論文  参考訳（メタデータ） (2020-04-02T02:46:44Z)
• Non-Adversarial Video Synthesis with Learned Priors [53.26777815740381]
  我々は、参照入力フレームを使わずに、遅延雑音ベクトルからビデオを生成する問題に焦点をあてる。 本研究では,入力潜時空間,繰り返しニューラルネットワークの重み付け,非対角学習によるジェネレータを協調的に最適化する手法を開発した。 提案手法は,既存の最先端手法と比較して高品質なビデオを生成する。
  論文  参考訳（メタデータ） (2020-03-21T02:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。