論文の概要: Pre-training General Trajectory Embeddings with Maximum Multi-view Entropy Coding

• arxiv url: http://arxiv.org/abs/2207.14539v2
• Date: Tue, 26 Dec 2023 01:14:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-27 23:30:42.179010
• Title: Pre-training General Trajectory Embeddings with Maximum Multi-view Entropy Coding
• Title（参考訳）: 最大マルチビューエントロピー符号化による事前学習型一般軌道埋め込み
• Authors: Yan Lin, Huaiyu Wan, Shengnan Guo, Jilin Hu, Christian S. Jensen, Youfang Lin
• Abstract要約: 軌道埋め込みはタスク性能を向上させることができるが、高い計算コストを発生させ、限られたトレーニングデータ可用性に直面する可能性がある。 既存の軌道埋め込み手法は、特定の下流タスクに対するバイアスによる一般的な埋め込み学習の難しさに直面している。 一般的な包括的軌跡埋め込み学習のための多視点エントロピー符号化(MMTEC)を提案する。
• 参考スコア（独自算出の注目度）: 36.18788551389281
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spatio-temporal trajectories provide valuable information about movement and travel behavior, enabling various downstream tasks that in turn power real-world applications. Learning trajectory embeddings can improve task performance but may incur high computational costs and face limited training data availability. Pre-training learns generic embeddings by means of specially constructed pretext tasks that enable learning from unlabeled data. Existing pre-training methods face (i) difficulties in learning general embeddings due to biases towards certain downstream tasks incurred by the pretext tasks, (ii) limitations in capturing both travel semantics and spatio-temporal correlations, and (iii) the complexity of long, irregularly sampled trajectories. To tackle these challenges, we propose Maximum Multi-view Trajectory Entropy Coding (MMTEC) for learning general and comprehensive trajectory embeddings. We introduce a pretext task that reduces biases in pre-trained trajectory embeddings, yielding embeddings that are useful for a wide variety of downstream tasks. We also propose an attention-based discrete encoder and a NeuralCDE-based continuous encoder that extract and represent travel behavior and continuous spatio-temporal correlations from trajectories in embeddings, respectively. Extensive experiments on two real-world datasets and three downstream tasks offer insight into the design properties of our proposal and indicate that it is capable of outperforming existing trajectory embedding methods.
• Abstract（参考訳）: 時空間的トラジェクタは移動と移動に関する貴重な情報を提供し、現実世界のアプリケーションを動かす様々な下流タスクを可能にする。 学習軌道埋め込みはタスクのパフォーマンスを向上させるが、高い計算コストを伴い、トレーニングデータの可用性が制限される可能性がある。 事前学習は、ラベルのないデータから学習できる特別に構築されたプレテキストタスクにより、汎用的な埋め込みを学ぶ。 既存の事前学習方法 (i)プレテキストタスクによる下流タスクの偏りによる一般的な埋め込み学習の難しさ。 (ii)旅行意味論と時空間相関の両方を捉えることの限界、及び (iii) 長く不規則にサンプリングされた軌道の複雑さ。 これらの課題に対処するために,汎用かつ包括的な軌道埋め込み学習のための最大多視点軌道エントロピー符号化(MMTEC)を提案する。 我々は,事前学習された軌道埋め込みのバイアスを低減し,様々な下流タスクに有用な埋め込みを実現するプリテキストタスクを導入する。 また,アテンションベース離散エンコーダとニューラルCDEベースの連続エンコーダを提案し,それぞれ埋め込み中の軌跡から旅行行動と時空間の連続的相関を抽出し,表現する。 2つの実世界のデータセットと3つのダウンストリームタスクに関する広範な実験は、提案の設計特性について洞察を与え、既存の軌道埋め込みメソッドを上回ることができることを示す。

関連論文リスト

• PTR: A Pre-trained Language Model for Trajectory Recovery [31.08861372332931]
  そこで我々は, PTR と呼ばれるフレームワークを提案し, 限られた高密度軌跡データの問題を緩和する。 PTRは明示的な軌道プロンプトを組み込み、複数のサンプリング間隔を持つデータセットでトレーニングされる。 また、軌道点を符号化し、観測点と欠点の両方の埋め込みをPLMに理解可能な形式に変換する軌道埋め込み器を提案する。
  論文  参考訳（メタデータ） (2024-10-18T08:38:12Z)
• Towards Stable and Storage-efficient Dataset Distillation: Matching Convexified Trajectory [53.37473225728298]
  ディープラーニングと大規模言語モデルの急速な進化により、トレーニングデータの需要が指数関数的に増加した。 MTT(Matching Training Trajectories)は、専門家ネットワークのトレーニングトラジェクトリを、合成データセットで実データ上に複製する、顕著なアプローチである。 そこで本研究では,学生の軌道に対するより良いガイダンスを提供することを目的として,MCT (Matching Convexified Trajectory) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-28T11:06:46Z)
• Deep Learning for Trajectory Data Management and Mining: A Survey and Beyond [58.63558696061679]
  軌道計算は、位置サービス、都市交通、公共安全など、様々な実用用途において重要である。 トラジェクトリ・コンピューティングのためのディープラーニング(DL4Traj)の開発と最近の進歩について概観する。 特に、軌道計算を増強する可能性を持つ大規模言語モデル(LLM)の最近の進歩をカプセル化する。
  論文  参考訳（メタデータ） (2024-03-21T05:57:27Z)
• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Generalizable Task Representation Learning for Offline Meta-Reinforcement Learning with Data Limitations [22.23114883485924]
  本稿では,データ制限に直面した一般化可能なタスク表現を学習するための新しいアルゴリズムGENTLEを提案する。 GENTLEは、タスクの特徴を抽出するために、エンコーダ・デコーダアーキテクチャであるTask Auto-Encoder(TAE)を使用している。 限られた行動多様性の影響を軽減するため,TAEのトレーニングに使用されるデータ分布とテスト中に発生するデータ分布とを整合させる擬似遷移を構築した。
  論文  参考訳（メタデータ） (2023-12-26T07:02:12Z)
• SPOT: Scalable 3D Pre-training via Occupancy Prediction for Learning Transferable 3D Representations [76.45009891152178]
  トレーニング-ファインタニングアプローチは、さまざまな下流データセットとタスクをまたいだトレーニング済みのバックボーンを微調整することで、ラベル付けの負担を軽減することができる。 本稿では, 一般表現学習が, 占領予測のタスクを通じて達成できることを, 初めて示す。 本研究は,LiDAR 点の理解を促進するとともに,LiDAR の事前訓練における今後の進歩の道を開くことを目的とする。
  論文  参考訳（メタデータ） (2023-09-19T11:13:01Z)
• Generalization with Lossy Affordances: Leveraging Broad Offline Data for Learning Visuomotor Tasks [65.23947618404046]
  本研究では,広範囲なデータを用いたオフライン強化学習を通じて,時間的拡張タスクの目標条件付きポリシを取得するフレームワークを提案する。 新たなタスク目標に直面した場合、フレームワークは余裕モデルを使用して、元のタスクをより簡単な問題に分解するサブゴールとして、損失のある表現のシーケンスを計画する。 我々は,従来の作業からロボット体験の大規模データセットを事前学習し,手動の報酬工学を使わずに視覚入力から,新しいタスクを効率的に微調整できることを実証した。
  論文  参考訳（メタデータ） (2022-10-12T21:46:38Z)
• Hierarchical Few-Shot Imitation with Skill Transition Models [66.81252581083199]
  FIST(Few-shot Imitation with Skill Transition Models)は、オフラインデータからスキルを抽出し、それらを利用して見えないタスクに一般化するアルゴリズムである。 本稿では,FISTが新たなタスクに一般化し,ナビゲーション実験において従来のベースラインを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2021-07-19T15:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。