論文の概要: Large Language Models are Zero-Shot Next Location Predictors

• arxiv url: http://arxiv.org/abs/2405.20962v2
• Date: Mon, 3 Jun 2024 15:10:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 13:30:34.691487
• Title: Large Language Models are Zero-Shot Next Location Predictors
• Title（参考訳）: 大規模言語モデルはゼロショット次位置予測器である
• Authors: Ciro Beneduce, Bruno Lepri, Massimiliano Luca,
• Abstract要約: 大規模言語モデル(LLM)は、ゼロショットの次位置予測器として機能する。 LLMの精度は32.4%までで、洗練されたDLモデルに比べて600%以上向上している。 本稿では,データ汚染を検査する他の研究に触発された枠組みを提案する。
• 参考スコア（独自算出の注目度）: 4.315451628809687
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Predicting the locations an individual will visit in the future is crucial for solving many societal issues like disease diffusion and reduction of pollution among many others. The models designed to tackle next-location prediction, however, require a significant amount of individual-level information to be trained effectively. Such data may be scarce or even unavailable in some geographic regions or peculiar scenarios (e.g., cold-start in recommendation systems). Moreover, the design of a next-location predictor able to generalize or geographically transfer knowledge is still an open research challenge. Recent advances in natural language processing have led to a rapid diffusion of Large Language Models (LLMs) which have shown good generalization and reasoning capabilities. These insights, coupled with the recent findings that LLMs are rich in geographical knowledge, allowed us to believe that these models can act as zero-shot next-location predictors. This paper evaluates the capabilities of many popular LLMs in this role, specifically Llama, GPT-3.5 and Mistral 7B. After designing a proper prompt, we tested the models on three real-world mobility datasets. The results show that LLMs can obtain accuracies up to 32.4%, a significant relative improvement of over 600% when compared to sophisticated DL models specifically designed for human mobility. Moreover, we show that other LLMs are unable to perform the task properly. To prevent positively biased results, we also propose a framework inspired by other studies to test data contamination. Finally, we explored the possibility of using LLMs as text-based explainers for next-location prediction showing that can effectively provide an explanation for their decision. Notably, 7B models provide more generic, but still reliable, explanations compared to larger counterparts. Code: github.com/ssai-trento/LLM-zero-shot-NL
• Abstract（参考訳）: 将来、個人が訪れる場所を予測することは、病気の拡散や汚染の減少など、多くの社会問題を解決するために不可欠である。 しかし、次の位置予測に取り組むために設計されたモデルは、効果的に訓練される大量の個人レベルの情報を必要とする。 このようなデータは、いくつかの地理的領域や特殊なシナリオ(例えば、レコメンデーションシステムでコールドスタート)では、不足したり、利用できないこともある。 さらに、知識を一般化または地理的に伝達できる次位置予測器の設計は、まだオープンな研究課題である。 近年の自然言語処理の進歩により、Large Language Models (LLM) が急速に普及し、優れた一般化と推論能力が示された。 これらの知見は、LLMが地理的知識に富んでいるという最近の知見と相まって、これらのモデルがゼロショットの次位置予測器として機能すると考えることができた。 本稿では,Llama, GPT-3.5, Mistral 7Bなど,多くのLLMが果たす役割について述べる。 適切なプロンプトを設計した後、3つの実世界のモビリティデータセット上でモデルをテストしました。 その結果, LLM の精度は 32.4% まで向上し, 人間の移動性に特化して設計された高度DL モデルと比較して600% 以上向上した。 また,他のLLMでは適切に実行できないことを示す。 また,正に偏った結果を防ぐために,他の研究にインスパイアされたデータ汚染試験フレームワークを提案する。 最後に,LLMをテキストベースの説明器として使用して,その決定を効果的に説明できる次位置予測を行う可能性について検討した。 特に7Bモデルは、より大きなモデルに比べて、より汎用的で信頼性の高い説明を提供する。 コード:github.com/ssai-trento/LLM-zero-shot-NL

関連論文リスト

• Using Large Language Models for Expert Prior Elicitation in Predictive Modelling [53.54623137152208]
  本研究では,大規模言語モデル (LLM) を用いて予測モデルの事前分布を推定する手法を提案する。 本研究では,LLMがパラメータ分布を真に生成するかどうかを評価するとともに,文脈内学習と事前推論のためのモデル選択戦略を提案する。 その結果,LLMによる事前パラメータ分布は,低データ設定における非形式的先行よりも予測誤差を著しく低減することがわかった。
  論文  参考訳（メタデータ） (2024-11-26T10:13:39Z)
• Predicting Emergent Capabilities by Finetuning [98.9684114851891]
  微調整された言語モデルでは,出現頻度の低いモデルに展開するスケーリングのポイントをシフトできることがわかった。 提案手法は4つの標準NLPベンチマークを用いて検証する。 いくつかのケースでは、最大4倍の計算でトレーニングされたモデルが出現したかどうかを正確に予測できる。
  論文  参考訳（メタデータ） (2024-11-25T01:48:09Z)
• Empirical Insights on Fine-Tuning Large Language Models for Question-Answering [50.12622877002846]
  大規模言語モデル(LLM)は、大量のデータセットの事前トレーニングを通じて、広範囲な世界の知識を符号化する。 我々は,事前学習したLLMが記憶する知識の量に基づいて,教師付き微調整(SFT)データを分類した。 実験の結果,SFTの段階では60個のデータポイントが事前学習中に符号化された知識を活性化することができ,LLMがQAタスクを実行できることがわかった。
  論文  参考訳（メタデータ） (2024-09-24T07:38:38Z)
• AgentMove: Predicting Human Mobility Anywhere Using Large Language Model based Agentic Framework [7.007450097312181]
  本稿では,世界中の都市において,汎用的な移動予測を実現するためのエージェント予測フレームワークであるAgentMoveを紹介する。 AgentMoveでは、まず移動予測タスクを3つのサブタスクに分解し、それに対応するモジュールを設計してこれらのサブタスクを完成させる。 12都市の2つの情報源によるモビリティデータの実験では、AgentMoveはさまざまな指標において8%以上で最高のベースラインを達成している。
  論文  参考訳（メタデータ） (2024-08-26T02:36:55Z)
• Deep Bayesian Active Learning for Preference Modeling in Large Language Models [84.817400962262]
  本稿では,BAL-PM(Bayesian Active Learner for Preference Modeling)を提案する。 BAL-PMは2つの人気のある人間の嗜好データセットにおいて、好みラベルを33%から68%少なくし、以前のベイズ買収ポリシーを超えている。 我々の実験では、BAL-PMは2つの人気のある人選好データセットにおいて33%から68%の選好ラベルを必要としており、ベイズ買収ポリシーを上回ります。
  論文  参考訳（メタデータ） (2024-06-14T13:32:43Z)
• Bayesian Statistical Modeling with Predictors from LLMs [5.5711773076846365]
  State of the Art Large Language Model (LLM)は、様々なベンチマークタスクで印象的なパフォーマンスを示している。 このことは、LLMから派生した情報の人間的類似性に関する疑問を提起する。
  論文  参考訳（メタデータ） (2024-06-13T11:33:30Z)
• Large Language Models Must Be Taught to Know What They Don't Know [97.90008709512921]
  正解と誤解の小さなデータセットを微調整すると、高い一般化と計算オーバーヘッドの少ない不確実性推定が得られることを示す。 また,確実な不確実性推定を可能にする機構についても検討し,多くのモデルを汎用的不確実性推定器として利用することができることを示した。
  論文  参考訳（メタデータ） (2024-06-12T16:41:31Z)
• Distortions in Judged Spatial Relations in Large Language Models [45.875801135769585]
  GPT-4は55%の精度で優れた性能を示し、GPT-3.5は47%、Llama-2は45%であった。 モデルは、ほとんどの場合において最も近い基数方向を同定し、その連想学習機構を反映した。
  論文  参考訳（メタデータ） (2024-01-08T20:08:04Z)
• Where Would I Go Next? Large Language Models as Human Mobility Predictors [21.100313868232995]
  人間の移動データを解析するためのLLMの言語理解と推論能力を活用する新しい手法 LLM-Mob を提案する。 本手法の総合評価により,LLM-Mobは正確かつ解釈可能な予測を行うのに優れていることが明らかとなった。
  論文  参考訳（メタデータ） (2023-08-29T10:24:23Z)
• CancerGPT: Few-shot Drug Pair Synergy Prediction using Large Pre-trained Language Models [3.682742580232362]
  大規模事前学習言語モデル(LLM)は、様々な分野にわたる数ショット学習において大きな可能性を秘めている。 我々の研究は、限られたデータを持つまれな組織において、薬物対のシナジー予測に最初に取り組みました。
  論文  参考訳（メタデータ） (2023-04-18T02:49:53Z)
• Holistic Evaluation of Language Models [183.94891340168175]
  言語モデル(LM)は、ほとんどすべての主要言語技術の基盤となっているが、その能力、制限、リスクはよく理解されていない。 本稿では,言語モデルの透明性を向上させるために,言語モデルの完全性評価(HELM)を提案する。
  論文  参考訳（メタデータ） (2022-11-16T18:51:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。