論文の概要: PLM4Traj: Cognizing Movement Patterns and Travel Purposes from Trajectories with Pre-trained Language Models
- arxiv url: http://arxiv.org/abs/2405.12459v1
- Date: Tue, 21 May 2024 02:33:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-22 14:38:05.013765
- Title: PLM4Traj: Cognizing Movement Patterns and Travel Purposes from Trajectories with Pre-trained Language Models
- Title（参考訳）: PLM4Traj:事前学習言語モデルを用いた軌道からの移動パターンと走行目的の認識
- Authors: Zeyu Zhou, Yan Lin, Haomin Wen, Shengnan Guo, Jilin Hu, Youfang Lin, Huaiyu Wan,
- Abstract要約: 本研究では, PLMを効果的に利用して軌道をモデル化する PLM4Traj モデルを提案する。
PL4Trajは、PLMが軌道の時間的特徴を処理し、移動パターンや移動目的を抽出することを可能にする新しいセマンティック埋め込み装置を組み込んでいる。
- 参考スコア（独自算出の注目度）: 24.97703275924648
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spatio-temporal trajectories play a vital role in various spatio-temporal data mining tasks. Developing a versatile trajectory learning approach that can adapt to different tasks while ensuring high accuracy is crucial. This requires effectively extracting movement patterns and travel purposes embedded in trajectories. However, this task is challenging due to limitations in the size and quality of available trajectory datasets. On the other hand, pre-trained language models (PLMs) have shown great success in adapting to different tasks by training on large-scale, high-quality corpus datasets. Given the similarities between trajectories and sentences, there is potential in leveraging PLMs to enhance the development of a versatile and effective trajectory learning method. Nevertheless, vanilla PLMs are not tailored to handle the unique spatio-temporal features present in trajectories and lack the capability to extract movement patterns and travel purposes from them. To overcome these obstacles, we propose a model called PLM4Traj that effectively utilizes PLMs to model trajectories. PLM4Traj leverages the strengths of PLMs to create a versatile trajectory learning approach while addressing the limitations of vanilla PLMs in modeling trajectories. Firstly, PLM4Traj incorporates a novel trajectory semantic embedder that enables PLMs to process spatio-temporal features in trajectories and extract movement patterns and travel purposes from them. Secondly, PLM4Traj introduces a novel trajectory prompt that integrates movement patterns and travel purposes into PLMs, while also allowing the model to adapt to various tasks. Extensive experiments conducted on two real-world datasets and two representative tasks demonstrate that PLM4Traj successfully achieves its design goals. Codes are available at https://github.com/Zeru19/PLM4Traj.
- Abstract（参考訳）: 時空間軌跡は時空間データマイニングにおいて重要な役割を担っている。
高い精度を確保しつつ、異なるタスクに適応できる汎用的な軌道学習アプローチを開発することが重要である。
これにより、軌道に埋め込まれた移動パターンや移動目的を効果的に抽出する必要がある。
しかし、利用可能なトラジェクトリデータセットのサイズと品質に制限があるため、このタスクは難しい。
一方、PLM(Pre-trained Language Model)は、大規模で高品質なコーパスデータセットをトレーニングすることで、様々なタスクに適応することに成功した。
トラジェクトリと文の類似性を考えると、多目的かつ効果的なトラジェクトリ学習法の開発を促進するためにPLMを活用する可能性がある。
しかしながら、バニラPLMは、軌跡に存在するユニークな時空間的特徴を扱うように調整されておらず、移動パターンや移動目的を抽出する能力が欠如している。
これらの障害を克服するために, PLMを効果的に利用して軌道をモデル化する PLM4Traj モデルを提案する。
PLM4Trajは、PLMの強みを活用して、バニラPLMの制約に対処しつつ、多目的な軌道学習アプローチを作成する。
まず、PLM4Trajは、PLMが軌跡の時空間的特徴を処理し、移動パターンと移動目的を抽出することを可能にする新しい軌道意味埋め込み器を組み込んでいる。
第二に、PLM4Trajは移動パターンと旅行目的をPLMに統合する新しい軌道プロンプトを導入し、モデルが様々なタスクに適応できるようにする。
2つの実世界のデータセットと2つの代表的なタスクで実施された大規模な実験は、PLM4Trajがその設計目標を達成できたことを示している。
コードはhttps://github.com/Zeru19/PLM4Trajで入手できる。
関連論文リスト
- MLLM as Retriever: Interactively Learning Multimodal Retrieval for Embodied Agents [28.419007116364668]
MLLMエージェントは、マルチモーダルなタスク関連軌道データを取得することで、複雑なエンボディされたタスクの可能性を実証する。
現在の検索手法は、主に軌跡におけるテキストや視覚的手がかりの表面レベルでの類似性に注目し、その特定のタスクに対する有効性を無視している。
本稿では,MLLMレシーバを微調整するためのインタラクションデータを活用することで,組込みエージェントの性能を向上させる新しい手法であるMLLM as ReTriever (MART)を提案する。
論文 参考訳（メタデータ） (2024-10-04T14:10:39Z) - NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。
トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。
我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
論文 参考訳（メタデータ） (2024-09-17T17:59:06Z) - Evaluating the Effectiveness of Large Language Models in Representing and Understanding Movement Trajectories [1.3658544194443192]
本研究は,運動軌跡を表現するAI基盤モデルの能力を評価することに焦点を当てる。
大規模言語モデルの一つ (LLM) を用いて, トラジェクトリの文字列形式を符号化し, トラジェクトリデータ解析における LLM に基づく表現の有効性を評価する。
論文 参考訳（メタデータ） (2024-08-31T02:57:25Z) - PTrajM: Efficient and Semantic-rich Trajectory Learning with Pretrained Trajectory-Mamba [22.622613591771152]
車両軌道は様々な現実世界の用途に重要な移動情報を提供する。
移動や旅行目的を含む豊かな意味情報を効率的に抽出する軌道学習手法を開発することが不可欠である。
本稿では,効率的な意味豊かな車両軌道学習法であるPTrajMを提案する。
論文 参考訳（メタデータ） (2024-08-09T07:48:51Z) - From Words to Actions: Unveiling the Theoretical Underpinnings of LLM-Driven Autonomous Systems [59.40480894948944]
大規模言語モデル (LLM) は、物理世界の意思決定問題を解くことができる。
このモデルの下で、LLM Plannerは、プロンプトを介して言語ベースのサブゴールを反復的に生成することにより、部分的に観測可能なマルコフ決定プロセス(POMDP)をナビゲートする。
我々は,事前学習したLLMプランナーが,文脈内学習を通じてベイズ的集計模倣学習(BAIL)を効果的に行うことを証明した。
論文 参考訳（メタデータ） (2024-05-30T09:42:54Z) - Are You Being Tracked? Discover the Power of Zero-Shot Trajectory
Tracing with LLMs! [3.844253028598048]
LLMTrackは、ゼロショット軌道認識にLLMをどのように活用できるかを示すモデルである。
本研究では,屋内シナリオと屋外シナリオを特徴とする異なる軌跡を用いて,現実のデータセットを用いてモデルを評価した。
論文 参考訳（メタデータ） (2024-03-10T12:50:35Z) - Knowledge Fusion of Large Language Models [73.28202188100646]
本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。
我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。
この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
論文 参考訳（メタデータ） (2024-01-19T05:02:46Z) - TRACE: A Comprehensive Benchmark for Continual Learning in Large
Language Models [52.734140807634624]
調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。
既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。
LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
論文 参考訳（メタデータ） (2023-10-10T16:38:49Z) - Model-Based Reinforcement Learning with Multi-Task Offline Pretraining [59.82457030180094]
本稿では,オフラインデータから新しいタスクへ,潜在的に有用なダイナミックスや動作デモを伝達するモデルベースRL法を提案する。
主な考え方は、世界モデルを行動学習のシミュレーターとしてだけでなく、タスクの関連性を測定するツールとして使うことである。
本稿では,Meta-WorldとDeepMind Control Suiteの最先端手法と比較して,我々のアプローチの利点を実証する。
論文 参考訳（メタデータ） (2023-06-06T02:24:41Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳（メタデータ） (2023-05-19T12:10:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。