Fugu-MT 論文翻訳(概要): Joint Forecasting of Features and Feature Motion for Dense Semantic Future Prediction

論文の概要: Joint Forecasting of Features and Feature Motion for Dense Semantic Future Prediction

arxiv url: http://arxiv.org/abs/2101.10777v1
Date: Tue, 26 Jan 2021 13:30:44 GMT
ステータス: 処理完了
システム内更新日: 2021-03-13 19:52:20.857016
Title: Joint Forecasting of Features and Feature Motion for Dense Semantic Future Prediction
Title（参考訳）: 密接な意味的未来予測のための特徴量と特徴運動の合同予測
Authors: Josip \v{S}ari\'c and Sacha Vra\v{z}i\'c and Sini\v{s}a \v{S}egvi\'c
Abstract要約: アプローチは、F2M(Feature-to-motion)とF2F(Feature-to-Feature)の2つのモジュールで構成される。複合F2MFアプローチは、タスクに依存しない方法でノベルティの効果から運動の効果を分離する。セマンティックセグメンテーション、インスタンスレベルのセグメンテーション、パンオプティカルセグメンテーションの3つの高密度予測タスクの実験を行います。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present a novel dense semantic forecasting approach which is applicable to a variety of architectures and tasks. The approach consists of two modules. Feature-to-motion (F2M) module forecasts a dense deformation field which warps past features into their future positions. Feature-to-feature (F2F) module regresses the future features directly and is therefore able to account for emergent scenery. The compound F2MF approach decouples effects of motion from the effects of novelty in a task-agnostic manner. We aim to apply F2MF forecasting to the most subsampled and the most abstract representation of a desired single-frame model. Our implementations take advantage of deformable convolutions and pairwise correlation coefficients across neighbouring time instants. We perform experiments on three dense prediction tasks: semantic segmentation, instance-level segmentation, and panoptic segmentation. The results reveal state-of-the-art forecasting accuracy across all three modalities on the Cityscapes dataset.
Abstract（参考訳）: 本稿では,様々なアーキテクチャやタスクに適用可能な,新しい意味予測手法を提案する。アプローチは2つのモジュールで構成される。特徴と動き(F2M)モジュールは、過去の特徴を将来の位置に警告する高密度変形場を予測します。 F2F(Feature-to-Feature)モジュールは、将来の機能を直接回帰するため、創発的なシーンを説明できる。複合F2MFアプローチは、タスクに依存しない方法でノベルティの効果から運動の効果を分離する。我々は、F2MF予測を最もサブサンプル化され、望まれる単一フレームモデルの最も抽象的な表現に適用することを目指している。我々の実装では、変形可能な畳み込みと対関係係数を隣り合った時間インスタント間で活用する。セマンティックセグメンテーション、インスタンスレベルのセグメンテーション、パンオプティカルセグメンテーションの3つの高密度予測タスクの実験を行います。結果は、Cityscapesデータセット上の3つのモードすべてにわたる最先端の予測精度を明らかにした。