論文の概要: Large Language Models are Zero-Shot Next Location Predictors
- arxiv url: http://arxiv.org/abs/2405.20962v2
- Date: Mon, 3 Jun 2024 15:10:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-04 13:30:34.691487
- Title: Large Language Models are Zero-Shot Next Location Predictors
- Title(参考訳): 大規模言語モデルはゼロショット次位置予測器である
- Authors: Ciro Beneduce, Bruno Lepri, Massimiliano Luca,
- Abstract要約: 大規模言語モデル(LLM)は、ゼロショットの次位置予測器として機能する。
LLMの精度は32.4%までで、洗練されたDLモデルに比べて600%以上向上している。
本稿では,データ汚染を検査する他の研究に触発された枠組みを提案する。
- 参考スコア(独自算出の注目度): 4.315451628809687
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Predicting the locations an individual will visit in the future is crucial for solving many societal issues like disease diffusion and reduction of pollution among many others. The models designed to tackle next-location prediction, however, require a significant amount of individual-level information to be trained effectively. Such data may be scarce or even unavailable in some geographic regions or peculiar scenarios (e.g., cold-start in recommendation systems). Moreover, the design of a next-location predictor able to generalize or geographically transfer knowledge is still an open research challenge. Recent advances in natural language processing have led to a rapid diffusion of Large Language Models (LLMs) which have shown good generalization and reasoning capabilities. These insights, coupled with the recent findings that LLMs are rich in geographical knowledge, allowed us to believe that these models can act as zero-shot next-location predictors. This paper evaluates the capabilities of many popular LLMs in this role, specifically Llama, GPT-3.5 and Mistral 7B. After designing a proper prompt, we tested the models on three real-world mobility datasets. The results show that LLMs can obtain accuracies up to 32.4%, a significant relative improvement of over 600% when compared to sophisticated DL models specifically designed for human mobility. Moreover, we show that other LLMs are unable to perform the task properly. To prevent positively biased results, we also propose a framework inspired by other studies to test data contamination. Finally, we explored the possibility of using LLMs as text-based explainers for next-location prediction showing that can effectively provide an explanation for their decision. Notably, 7B models provide more generic, but still reliable, explanations compared to larger counterparts. Code: github.com/ssai-trento/LLM-zero-shot-NL
- Abstract(参考訳): 将来、個人が訪れる場所を予測することは、病気の拡散や汚染の減少など、多くの社会問題を解決するために不可欠である。
しかし、次の位置予測に取り組むために設計されたモデルは、効果的に訓練される大量の個人レベルの情報を必要とする。
このようなデータは、いくつかの地理的領域や特殊なシナリオ(例えば、レコメンデーションシステムでコールドスタート)では、不足したり、利用できないこともある。
さらに、知識を一般化または地理的に伝達できる次位置予測器の設計は、まだオープンな研究課題である。
近年の自然言語処理の進歩により、Large Language Models (LLM) が急速に普及し、優れた一般化と推論能力が示された。
これらの知見は、LLMが地理的知識に富んでいるという最近の知見と相まって、これらのモデルがゼロショットの次位置予測器として機能すると考えることができた。
本稿では,Llama, GPT-3.5, Mistral 7Bなど,多くのLLMが果たす役割について述べる。
適切なプロンプトを設計した後、3つの実世界のモビリティデータセット上でモデルをテストしました。
その結果, LLM の精度は 32.4% まで向上し, 人間の移動性に特化して設計された高度DL モデルと比較して600% 以上向上した。
また,他のLLMでは適切に実行できないことを示す。
また,正に偏った結果を防ぐために,他の研究にインスパイアされたデータ汚染試験フレームワークを提案する。
最後に,LLMをテキストベースの説明器として使用して,その決定を効果的に説明できる次位置予測を行う可能性について検討した。
特に7Bモデルは、より大きなモデルに比べて、より汎用的で信頼性の高い説明を提供する。
コード:github.com/ssai-trento/LLM-zero-shot-NL
関連論文リスト
- LLM-Select: Feature Selection with Large Language Models [64.5099482021597]
大規模言語モデル(LLM)は、データサイエンスの標準ツールに匹敵するパフォーマンスで、最も予測可能な機能を選択することができる。
以上の結果から,LSMはトレーニングに最適な機能を選択するだけでなく,そもそもどの機能を収集すべきかを判断する上でも有用である可能性が示唆された。
論文 参考訳(メタデータ) (2024-07-02T22:23:40Z) - Enhancing Travel Choice Modeling with Large Language Models: A Prompt-Learning Approach [6.913791588789051]
本稿では,予測精度を大幅に向上させ,個々の予測に対して明確な説明を提供する,プロンプト学習に基づく大規模言語モデル(LLM)フレームワークを提案する。
スイスで収集されたLondon Passenger Mode Choice(LPMC)とOptima-Mode(Optima-Mode)の2つの選択肢データセットを用いて,フレームワークの有効性を検証した。
その結果,LLMは人々の選択を予測する上で,最先端のディープラーニング手法や個別選択モデルよりも優れていたことが示唆された。
論文 参考訳(メタデータ) (2024-06-19T13:46:08Z) - Where to Move Next: Zero-shot Generalization of LLMs for Next POI Recommendation [28.610190512686767]
Next Point-of-interest (POI)レコメンデーションは、ユーザが周囲の環境を探索するための貴重な提案を提供する。
既存の研究は、大規模ユーザのチェックインデータからレコメンデーションモデルを構築することに依存している。
近年,事前訓練された大規模言語モデル (LLM) は,様々なNLPタスクにおいて大きな進歩を遂げている。
論文 参考訳(メタデータ) (2024-04-02T11:33:04Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - ROBBIE: Robust Bias Evaluation of Large Generative Language Models [27.864027322486375]
異なるプロンプトベースのデータセットを使用して、複数のテキストドメインと人口統計軸にわたる社会的バイアスを測定することができる。
我々は,12の人口動態軸と5のジェネレーションLLMの家系の6つの異なるプロンプトベースのバイアスと毒性の指標を比較した。
3つのバイアス/毒性の緩和技術が、我々の一連の測定においていかにうまく機能するかを包括的に研究する。
論文 参考訳(メタデータ) (2023-11-29T23:03:04Z) - Where Would I Go Next? Large Language Models as Human Mobility
Predictors [21.100313868232995]
人間の移動データを解析するためのLLMの言語理解と推論能力を活用する新しい手法 LLM-Mob を提案する。
本手法の総合評価により,LLM-Mobは正確かつ解釈可能な予測を行うのに優れていることが明らかとなった。
論文 参考訳(メタデータ) (2023-08-29T10:24:23Z) - On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。
本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
論文 参考訳(メタデータ) (2023-05-23T04:10:26Z) - Is ChatGPT Good at Search? Investigating Large Language Models as
Re-Ranking Agents [56.104476412839944]
大規模言語モデル(LLM)は、様々な言語関連タスクにまたがる顕著なゼロショットの一般化を実証している。
本稿では、情報検索(IR)における関連性ランキングのためのジェネレーティブLLMについて検討する。
LLMのデータ汚染に関する懸念に対処するため,我々はNovereEvalという新しいテストセットを収集した。
実世界のアプリケーションの効率を向上させるため、ChatGPTのランキング能力を小さな特殊モデルに蒸留する可能性を探る。
論文 参考訳(メタデータ) (2023-04-19T10:16:03Z) - Large Language Models Are Latent Variable Models: Explaining and Finding
Good Demonstrations for In-Context Learning [104.58874584354787]
近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。
本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
論文 参考訳(メタデータ) (2023-01-27T18:59:01Z) - Augmenting Interpretable Models with LLMs during Training [73.40079895413861]
本稿では,効率よく解釈可能なモデルを構築するための拡張解釈モデル (Aug-imodels) を提案する。
Aug-imodel は、フィッティング時に LLM を使用するが、推論中に使用せず、完全な透明性を実現する。
自然言語処理におけるAug-imodelのインスタンス化について検討する: (i) Aug-GAM, (ii) Aug-Tree, (ii) LLM機能拡張による決定木の拡大。
論文 参考訳(メタデータ) (2022-09-23T18:36:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。