論文の概要: Temporal Embeddings: Scalable Self-Supervised Temporal Representation
Learning from Spatiotemporal Data for Multimodal Computer Vision
- arxiv url: http://arxiv.org/abs/2401.08581v1
- Date: Mon, 16 Oct 2023 02:53:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-22 10:02:34.381971
- Title: Temporal Embeddings: Scalable Self-Supervised Temporal Representation
Learning from Spatiotemporal Data for Multimodal Computer Vision
- Title（参考訳）: 時空間埋め込み:マルチモーダルコンピュータビジョンのための時空間データからのスケーラブルな自己監督型時間表現学習
- Authors: Yi Cao and Swetava Ganguli and Vipul Pandey
- Abstract要約: 移動活動時系列に基づいて景観を階層化する新しい手法を提案する。
ピクセルワイズ埋め込みは、タスクベースのマルチモーダルモデリングに使用できるイメージライクなチャネルに変換される。
- 参考スコア（独自算出の注目度）: 1.4127889233510498
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: There exists a correlation between geospatial activity temporal patterns and
type of land use. A novel self-supervised approach is proposed to stratify
landscape based on mobility activity time series. First, the time series signal
is transformed to the frequency domain and then compressed into task-agnostic
temporal embeddings by a contractive autoencoder, which preserves cyclic
temporal patterns observed in time series. The pixel-wise embeddings are
converted to image-like channels that can be used for task-based, multimodal
modeling of downstream geospatial tasks using deep semantic segmentation.
Experiments show that temporal embeddings are semantically meaningful
representations of time series data and are effective across different tasks
such as classifying residential area and commercial areas. Temporal embeddings
transform sequential, spatiotemporal motion trajectory data into semantically
meaningful image-like tensor representations that can be combined (multimodal
fusion) with other data modalities that are or can be transformed into
image-like tensor representations (for e.g., RBG imagery, graph embeddings of
road networks, passively collected imagery like SAR, etc.) to facilitate
multimodal learning in geospatial computer vision. Multimodal computer vision
is critical for training machine learning models for geospatial feature
detection to keep a geospatial mapping service up-to-date in real-time and can
significantly improve user experience and above all, user safety.
- Abstract（参考訳）: 地形活動の時間的パターンと土地利用の種類には相関関係がある。
移動活動時系列に基づいて景観を階層化する新しい自己監督手法を提案する。
まず、時系列信号は周波数領域に変換され、時間系列で観察される周期時間パターンを保存する収縮型オートエンコーダによりタスク非依存の時間埋め込みに圧縮される。
ピクセルワイズ埋め込みは、深いセマンティックセグメンテーションを用いた下流空間タスクのタスクベースマルチモーダルモデリングに使用できるイメージライクなチャネルに変換される。
実験により,時間的埋め込みは時系列データの意味的に意味のある表現であり,住宅地や商業地域を分類するといった様々なタスクに有効であることが示された。
時間的埋め込みは、連続的な時空間運動軌跡データを意味論的に意味のある画像のようなテンソル表現に変換し(マルチモーダル融合)、画像のようなテンソル表現(RBG画像、道路ネットワークのグラフ埋め込み、SARなどの受動的収集画像など)に変換して、地理空間コンピュータビジョンにおけるマルチモーダル学習を容易にする。
マルチモーダルコンピュータビジョンは、地理空間的特徴検出のための機械学習モデルをトレーニングするために重要であり、地理空間的マッピングサービスをリアルタイムで最新に保つ。
関連論文リスト
- TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling [67.02157180089573]
時系列事前トレーニングは、最近、ラベルのコストを削減し、下流の様々なタスクに利益をもたらす可能性があるとして、広く注目を集めている。
本稿では,シームズネットワークに基づく時系列の簡易かつ効果的な自己教師型事前学習フレームワークとしてTimeSiamを提案する。
論文 参考訳（メタデータ） (2024-02-04T13:10:51Z) - Automated Spatio-Temporal Graph Contrastive Learning [18.245433428868775]
パラメータ化コントラストビュージェネレータを用いた時間自動拡張方式を開発した。
AutoSTは多視点セマンティクスをよく保存した異種グラフに適応することができる。
いくつかの実世界のデータセットで3つのダウンストリーム時間的マイニングタスクの実験は、大きなパフォーマンス向上を示している。
論文 参考訳（メタデータ） (2023-05-06T03:52:33Z) - Self-Supervised Temporal Analysis of Spatiotemporal Data [2.2720298829059966]
地理空間活動の時間的パターンと土地利用のタイプとの間には相関関係がある。
移動活動時系列に基づいて景観を階層化する,新たな自己教師型手法を提案する。
実験により、時間埋め込みは時系列データの意味論的に意味のある表現であり、異なるタスクにまたがって効果的であることが示されている。
論文 参考訳（メタデータ） (2023-04-25T20:34:38Z) - Scalable Self-Supervised Representation Learning from Spatiotemporal
Motion Trajectories for Multimodal Computer Vision [0.0]
本稿では,GPSトラジェクトリから地理的位置の表現を学習するための自己教師付きラベルなし手法を提案する。
到達可能性埋め込みは意味論的に意味のある表現であり,精度・リコール曲線(AUPRC)測定値の領域を用いて測定すると,性能が4～23%向上することを示す。
論文 参考訳（メタデータ） (2022-10-07T02:41:02Z) - SatMAE: Pre-training Transformers for Temporal and Multi-Spectral
Satellite Imagery [74.82821342249039]
Masked Autoencoder(MAE)に基づく時間・マルチスペクトル衛星画像の事前学習フレームワークであるSatMAEについて述べる。
時間的情報を活用するために、時間にわたって画像パッチを個別にマスキングする時間的埋め込みを含む。
論文 参考訳（メタデータ） (2022-07-17T01:35:29Z) - A Spatio-Temporal Multilayer Perceptron for Gesture Recognition [70.34489104710366]
自律走行車におけるジェスチャー認識のための多層状態重み付きパーセプトロンを提案する。
提案手法の有望な性能を示すため,TCGおよびDrive&Actデータセットの評価を行った。
私たちは、そのリアルタイム能力と安定した実行を示すために、モデルを自動運転車にデプロイします。
論文 参考訳（メタデータ） (2022-04-25T08:42:47Z) - TCGL: Temporal Contrastive Graph for Self-supervised Video
Representation Learning [79.77010271213695]
本稿では,TCGL(Temporal Contrastive Graph Learning)という,ビデオの自己教師型学習フレームワークを提案する。
TCGLは、フレームとスニペットの順序に関する以前の知識をグラフ構造、すなわち、インター/インタースニペットの時間トラストグラフ(TCG)に統合します。
ラベルなしビデオの監視信号を生成するために,適応スニペット順序予測(ASOP)モジュールを導入する。
論文 参考訳（メタデータ） (2021-12-07T09:27:56Z) - Reachability Embeddings: Scalable Self-Supervised Representation
Learning from Markovian Trajectories for Geospatial Computer Vision [0.0]
ラベルのないGPSトラジェクトリから地理的位置の表現を学習するための自己教師付き手法を提案する。
スケーラブルで分散されたアルゴリズムは、リーチビリティ・サマリーと呼ばれるイメージライクな表現を計算するために提示される。
到達可能性埋め込みは意味的に意味のある表現であり、結果として性能が4～23%向上することを示す。
論文 参考訳（メタデータ） (2021-10-24T20:10:22Z) - Unsupervised Representation Learning for Time Series with Temporal
Neighborhood Coding [8.45908939323268]
非定常時系列に対する一般化可能な表現を学習するための自己教師型フレームワークを提案する。
我々のモチベーションは、時系列データの動的性質をモデル化する能力が特に有用である医療分野に起因している。
論文 参考訳（メタデータ） (2021-06-01T19:53:24Z) - Spatial-Temporal Correlation and Topology Learning for Person
Re-Identification in Videos [78.45050529204701]
クロススケール空間時空間相関をモデル化し, 識別的, 堅牢な表現を追求する新しい枠組みを提案する。
CTLはCNNバックボーンとキーポイント推定器を使用して人体から意味的局所的特徴を抽出する。
グローバルな文脈情報と人体の物理的接続の両方を考慮して、多スケールグラフを構築するためのコンテキスト強化トポロジーを探求する。
論文 参考訳（メタデータ） (2021-04-15T14:32:12Z) - Geography-Aware Self-Supervised Learning [79.4009241781968]
異なる特徴により、標準ベンチマークにおけるコントラスト学習と教師あり学習の間には、非自明なギャップが持続していることが示される。
本稿では,リモートセンシングデータの空間的整合性を利用した新しいトレーニング手法を提案する。
提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションにおけるコントラスト学習と教師あり学習のギャップを埋めるものである。
論文 参考訳（メタデータ） (2020-11-19T17:29:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。