論文の概要: Semantic Prediction: Which One Should Come First, Recognition or Prediction?

• arxiv url: http://arxiv.org/abs/2110.02829v1
• Date: Wed, 6 Oct 2021 15:01:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-07 14:23:56.093082
• Title: Semantic Prediction: Which One Should Come First, Recognition or Prediction?
• Title（参考訳）: 意味的予測: どちらが先か、認識か、予測か?
• Authors: Hafez Farazi and Jan Nogga and and Sven Behnke
• Abstract要約: 下流の主なタスクの1つは、シーンのセマンティックな構成を解釈し、意思決定にそれを使用することである。 事前学習されたビデオ予測と事前学習された意味抽出モデルを考えると、同じ結果を得るための主な方法は2つある。 ビデオ予測モデルとしてLFDTN(Local Frequency Domain Transformer Network)と,合成データセットと実データセットのセマンティック抽出モデルとしてU-Netを用いて,これらの構成について検討する。
• 参考スコア（独自算出の注目度）: 21.466783934830925
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ultimate goal of video prediction is not forecasting future pixel-values given some previous frames. Rather, the end goal of video prediction is to discover valuable internal representations from the vast amount of available unlabeled video data in a self-supervised fashion for downstream tasks. One of the primary downstream tasks is interpreting the scene's semantic composition and using it for decision-making. For example, by predicting human movements, an observer can anticipate human activities and collaborate in a shared workspace. There are two main ways to achieve the same outcome, given a pre-trained video prediction and pre-trained semantic extraction model; one can first apply predictions and then extract semantics or first extract semantics and then predict. We investigate these configurations using the Local Frequency Domain Transformer Network (LFDTN) as the video prediction model and U-Net as the semantic extraction model on synthetic and real datasets.
• Abstract（参考訳）: ビデオ予測の最終的な目標は、いくつかのフレームから将来のピクセル値を予測することではない。 むしろ、ビデオ予測の最終的な目標は、大量のラベルのないビデオデータから、下流タスクの自己教師あり方式で貴重な内部表現を見つけることである。 下流の主なタスクの1つは、シーンのセマンティックな構成を解釈し、意思決定にそれを使用することである。 例えば、人間の動きを予測することで、観察者は人間の活動を予測し、共有ワークスペースで協力することができる。 事前学習されたビデオ予測と事前学習された意味抽出モデルによって、同じ結果を達成するには2つの主要な方法がある。 ビデオ予測モデルとしてlfdtn(local frequency domain transformer network)、合成データおよび実データを用いた意味抽出モデルとしてu-netを用いてこれらの構成を検討する。

関連論文リスト

• Predicting Long-horizon Futures by Conditioning on Geometry and Time [49.86180975196375]
  我々は,過去を前提とした将来のセンサ観測の課題を探求する。 マルチモーダリティを扱える画像拡散モデルの大規模事前学習を活用する。 我々は、屋内と屋外のシーンにまたがる多様なビデオのセットについて、ビデオ予測のためのベンチマークを作成する。
  論文  参考訳（メタデータ） (2024-04-17T16:56:31Z)
• DeFeeNet: Consecutive 3D Human Motion Prediction with Deviation Feedback [23.687223152464988]
  既存のワンオフ予測モデルに付加可能な,シンプルで効果的なネットワークであるDeFeeNetを提案する。 提案するネットワークは,基本モデルによらず連続的な人間の動作予測性能を向上させる。
  論文  参考訳（メタデータ） (2023-04-10T10:18:23Z)
• Rationalizing Predictions by Adversarial Information Calibration [65.19407304154177]
  我々は2つのモデルを共同で訓練する: 1つは、正確だがブラックボックスな方法でタスクを解く典型的なニューラルモデルであり、もう1つは、予測の理論的根拠を付加するセレクタ・予測モデルである。 我々は,2つのモデルから抽出した情報を,それらの違いが欠落した特徴や過度に選択された特徴の指標であるように校正するために,敵対的手法を用いる。
  論文  参考訳（メタデータ） (2023-01-15T03:13:09Z)
• A unified model for continuous conditional video prediction [14.685237010856953]
  条件付きビデオ予測タスクは通常、タスク関連モデルによって解決される。 ほぼ全ての条件付きビデオ予測モデルは、離散的な予測しか達成できない。 本稿では,これら2つの問題を同時に扱う統一モデルを提案する。
  論文  参考訳（メタデータ） (2022-10-11T22:26:59Z)
• Video Prediction at Multiple Scales with Hierarchical Recurrent Networks [24.536256844130996]
  本稿では,異なるレベルの粒度の将来の結果を同時に予測できる新しい映像予測モデルを提案する。 空間的および時間的ダウンサンプリングを組み合わせることで、MSPredは長い時間的地平線上での抽象表現を効率的に予測することができる。 実験では,提案モデルが将来の映像フレームだけでなく,様々なシナリオにおける他の表現を正確に予測できることを実証した。
  論文  参考訳（メタデータ） (2022-03-17T13:08:28Z)
• Fourier-based Video Prediction through Relational Object Motion [28.502280038100167]
  ビデオ予測のタスクには, 深い再帰的アーキテクチャが適用されている。 本稿では、周波数領域のアプローチをビデオ予測に用い、異なるアプローチを提案する。 結果の予測は、シーンの観察されたダイナミクスと一致しており、ぼやけに苦しむことはない。
  論文  参考訳（メタデータ） (2021-10-12T10:43:05Z)
• Learning Semantic-Aware Dynamics for Video Prediction [68.04359321855702]
  非閉塞を明示的にモデル化して,映像フレームを予測するためのアーキテクチャとトレーニング方式を提案する。 シーンの外観は、コ・ヴィジュアブル領域の予測された動きを用いて過去のフレームから歪められる。
  論文  参考訳（メタデータ） (2021-04-20T05:00:24Z)
• Panoptic Segmentation Forecasting [71.75275164959953]
  我々の目標は、最近の観測結果から近い将来の予測を行うことです。 この予測能力、すなわち予測能力は、自律的なエージェントの成功に不可欠なものだと考えています。 そこで我々は,2成分モデルを構築した。一方のコンポーネントは,オードメトリーを予測して背景物の力学を学習し,他方のコンポーネントは検出された物の力学を予測する。
  論文  参考訳（メタデータ） (2021-04-08T17:59:16Z)
• Self-Supervision by Prediction for Object Discovery in Videos [62.87145010885044]
  本稿では,この予測タスクを自己監督として利用し,画像シーケンス表現のための新しいオブジェクト中心モデルを構築する。 私たちのフレームワークは、手動アノテーションや事前トレーニングされたネットワークを使わずにトレーニングできます。 最初の実験では、提案されたパイプラインがオブジェクト中心のビデオ予測への有望なステップであることを確認した。
  論文  参考訳（メタデータ） (2021-03-09T19:14:33Z)
• Motion Segmentation using Frequency Domain Transformer Networks [29.998917158604694]
  本稿では,前景と背景を別々にモデル化することで,次のフレームを予測できる新しいエンドツーエンド学習アーキテクチャを提案する。 我々の手法は、ビデオラダーネットワークや予測ゲーテッドピラミドなど、広く使われているビデオ予測手法よりも優れた合成データが得られる。
  論文  参考訳（メタデータ） (2020-04-18T15:05:11Z)
• Spatiotemporal Relationship Reasoning for Pedestrian Intent Prediction [57.56466850377598]
  視覚データに対する推論は、ロボティクスとビジョンベースのアプリケーションにとって望ましい能力である。 本稿では,歩行者の意図を推論するため,現場の異なる物体間の関係を明らかにするためのグラフ上でのフレームワークを提案する。 歩行者の意図は、通りを横切る、あるいは横断しない将来の行動として定義され、自動運転車にとって非常に重要な情報である。
  論文  参考訳（メタデータ） (2020-02-20T18:50:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。