論文の概要: nextlocllm: next location prediction using LLMs

• arxiv url: http://arxiv.org/abs/2410.09129v1
• Date: Fri, 11 Oct 2024 10:59:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 16:13:24.692870
• Title: nextlocllm: next location prediction using LLMs
• Title（参考訳）: nextlocllm: LLMを用いた次の位置予測
• Authors: Shuai Liu, Ning Cao, Yile Chen, Yue Jiang, Gao Cong,
• Abstract要約: NextLocLLMは、連続的な空間座標に基づいて位置を符号化し、空間関係をより良くモデル化する。 NextLocLLMは、自然言語記述の処理に大きな言語モデル(LLM)を使用する。 実験により、NextLocLLMは、次の位置予測で既存のモデルより優れていることが示された。
• 参考スコア（独自算出の注目度）: 20.726107072683575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Next location prediction is a critical task in human mobility analysis and serves as a foundation for various downstream applications. Existing methods typically rely on discrete IDs to represent locations, which inherently overlook spatial relationships and cannot generalize across cities. In this paper, we propose NextLocLLM, which leverages the advantages of large language models (LLMs) in processing natural language descriptions and their strong generalization capabilities for next location prediction. Specifically, instead of using IDs, NextLocLLM encodes locations based on continuous spatial coordinates to better model spatial relationships. These coordinates are further normalized to enable robust cross-city generalization. Another highlight of NextlocLLM is its LLM-enhanced POI embeddings. It utilizes LLMs' ability to encode each POI category's natural language description into embeddings. These embeddings are then integrated via nonlinear projections to form this LLM-enhanced POI embeddings, effectively capturing locations' functional attributes. Furthermore, task and data prompt prefix, together with trajectory embeddings, are incorporated as input for partly-frozen LLM backbone. NextLocLLM further introduces prediction retrieval module to ensure structural consistency in prediction. Experiments show that NextLocLLM outperforms existing models in next location prediction, excelling in both supervised and zero-shot settings.
• Abstract（参考訳）: 次の位置予測は、人間の移動解析において重要な課題であり、様々な下流アプリケーションの基礎となる。 既存の手法は通常、場所を表すために個別のIDに依存しており、本質的には空間的関係を見落とし、都市全体にわたって一般化できない。 本稿では,自然言語記述処理における大規模言語モデル(LLM)の利点と,その強力な一般化機能を活かしたNextLocLLMを提案する。 具体的には、IDを使う代わりに、NextLocLLMは連続的な空間座標に基づいて位置を符号化し、空間関係をより良くモデル化する。 これらの座標はさらに正規化され、堅牢な都市間一般化が可能となる。 NextlocLLMのもう1つのハイライトは、LLM強化されたPOI埋め込みである。 LLMの能力を利用して、各POIカテゴリの自然言語記述を埋め込みにエンコードする。 これらの埋め込みは非線形射影によって積分され、このLLM強化されたPOI埋め込みを形成し、位置の機能的特性を効果的に捉える。 さらに、部分的に凍結したLDMバックボーンの入力として、タスクおよびデータプロンプトプレフィックスと軌跡埋め込みが組み込まれている。 NextLocLLMはさらに予測検索モジュールを導入し、予測における構造的一貫性を保証する。 実験によると、NextLocLLMは既存のモデルを次の位置予測で上回り、教師付き設定とゼロショット設定の両方で優れている。

関連論文リスト

• A Comprehensive Evaluation of Large Language Models on Temporal Event Forecasting [45.0261082985087]
  時間的事象予測のための大規模言語モデル(LLM)を総合的に評価する。 LLMの入力に生テキストを直接統合しても、ゼロショット補間性能は向上しないことがわかった。 対照的に、特定の複雑なイベントや微調整LDMに生テキストを組み込むことで、性能が大幅に向上する。
  論文  参考訳（メタデータ） (2024-07-16T11:58:54Z)
• LLM-Select: Feature Selection with Large Language Models [64.5099482021597]
  大規模言語モデル(LLM)は、データサイエンスの標準ツールに匹敵するパフォーマンスで、最も予測可能な機能を選択することができる。 以上の結果から,LSMはトレーニングに最適な機能を選択するだけでなく,そもそもどの機能を収集すべきかを判断する上でも有用である可能性が示唆された。
  論文  参考訳（メタデータ） (2024-07-02T22:23:40Z)
• Found in the Middle: How Language Models Use Long Contexts Better via Plug-and-Play Positional Encoding [78.36702055076456]
  本稿では,マルチスケール位置決めについて紹介する。 (Ms-PoE)は、シンプルで効果的なプラグアンドプレイ方式で、キャパシティを向上させる。 LLMはコンテキストの中央に位置する関連情報を扱う。
  論文  参考訳（メタデータ） (2024-03-05T04:58:37Z)
• AutoTimes: Autoregressive Time Series Forecasters via Large Language Models [67.83502953961505]
  AutoTimesは時系列を言語トークンの埋め込み空間に投影し、任意の長さで将来予測を生成する。 時系列をプロンプトとして定式化し、ルックバックウィンドウを越えて予測のコンテキストを拡張する。 AutoTimesは、トレーニング可能なパラメータが0.1%、トレーニング/推論のスピードアップが5ドル以上で最先端を実現している。
  論文  参考訳（メタデータ） (2024-02-04T06:59:21Z)
• How Can Large Language Models Understand Spatial-Temporal Data? [12.968952073740796]
  本稿では,時空間予測に大規模言語モデルを活用する革新的なアプローチSTG-LLMを紹介する。 1 STG-Tokenizer: この空間時間グラフトークンは、複雑なグラフデータを、空間的および時間的関係の両方を捉える簡潔なトークンに変換する; 2) STG-Adapter: 線形符号化層と復号層からなるこの最小限のアダプタは、トークン化されたデータとLCMの理解のギャップを埋める。
  論文  参考訳（メタデータ） (2024-01-25T14:03:15Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• Making Large Language Models A Better Foundation For Dense Retrieval [19.38740248464456]
  デンス検索では,クエリとドキュメント間の意味的関係を表現するために,識別テキストの埋め込みを学習する必要がある。 意味理解におけるLLMの強い能力を考えると、大きな言語モデル(LLM)の使用の恩恵を受けるかもしれない。 本稿では,LLaRA (LLM adapted for dense RetrievAl) を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:10:35Z)
• MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
  本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。 品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
  論文  参考訳（メタデータ） (2023-08-25T01:41:04Z)
• LLMMaps -- A Visual Metaphor for Stratified Evaluation of Large Language Models [13.659853119356507]
  大規模言語モデル(LLM)は自然言語処理に革命をもたらし、様々なタスクにおいて印象的な能力を示した。 彼らは幻覚を起こす傾向があり、モデルがその反応の中で誤った情報や誤った情報を公開する。 ユーザによるQ&Aデータセットに対するLLMの性能評価を可能にする新しい可視化手法として,LLMMapsを提案する。
  論文  参考訳（メタデータ） (2023-04-02T05:47:09Z)
• Why do Nearest Neighbor Language Models Work? [93.71050438413121]
  言語モデル(LM)は、すでに見られる文脈の表現を逐次計算することで、テキストの確率を計算する。 Retrieval-augmented LMは、大規模なデータストアから取得した情報にアクセスすることによって、標準的なニューラルLMよりも改善されている。
  論文  参考訳（メタデータ） (2023-01-07T11:12:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。