論文の概要: Leveraging Language Foundation Models for Human Mobility Forecasting
- arxiv url: http://arxiv.org/abs/2209.05479v2
- Date: Wed, 14 Sep 2022 20:51:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-16 11:48:14.454584
- Title: Leveraging Language Foundation Models for Human Mobility Forecasting
- Title（参考訳）: ヒューマンモビリティ予測のための言語基盤モデルの活用
- Authors: Hao Xue, Bhanu Prakash Voutharoja, Flora D. Salim
- Abstract要約: 時相パターンマイニングに言語基盤モデルを活用する新しいパイプラインを提案する。
我々は、あらゆる種類の情報を含む自然言語入力を直接予測タスクを実行する。
数値時間列を文に変換するために特定のプロンプトを導入し、既存の言語モデルを直接適用できるようにしている。
- 参考スコア（独自算出の注目度）: 8.422257363944295
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose a novel pipeline that leverages language foundation
models for temporal sequential pattern mining, such as for human mobility
forecasting tasks. For example, in the task of predicting Place-of-Interest
(POI) customer flows, typically the number of visits is extracted from
historical logs, and only the numerical data are used to predict visitor flows.
In this research, we perform the forecasting task directly on the natural
language input that includes all kinds of information such as numerical values
and contextual semantic information. Specific prompts are introduced to
transform numerical temporal sequences into sentences so that existing language
models can be directly applied. We design an AuxMobLCast pipeline for
predicting the number of visitors in each POI, integrating an auxiliary POI
category classification task with the encoder-decoder architecture. This
research provides empirical evidence of the effectiveness of the proposed
AuxMobLCast pipeline to discover sequential patterns in mobility forecasting
tasks. The results, evaluated on three real-world datasets, demonstrate that
pre-trained language foundation models also have good performance in
forecasting temporal sequences. This study could provide visionary insights and
lead to new research directions for predicting human mobility.
- Abstract（参考訳）: 本稿では,人間の移動予測タスクなどの時間的連続パターンマイニングに言語基盤モデルを活用する新しいパイプラインを提案する。
例えば、poi(place-of-interest)顧客フローを予測するタスクでは、通常、履歴ログから訪問回数を抽出し、訪問者フローを予測する数値データのみを使用する。
本研究では,数値値や文脈意味情報など,あらゆる種類の情報を含む自然言語入力に対して,予測タスクを直接実施する。
数値時間列を文に変換することで、既存の言語モデルを直接適用できるようにする。
我々は,各POIのビジター数を予測するためのAuxMobLCastパイプラインを設計し,補助的なPOIカテゴリ分類タスクとエンコーダ・デコーダアーキテクチャを統合する。
本研究は,AuxMobLCastパイプラインの有効性を実証的に証明し,移動予測タスクにおける逐次パターンの探索を行う。
実世界の3つのデータセットで評価した結果、事前学習された言語基盤モデルもまた、時間的シーケンスを予測する上で優れた性能を示した。
この研究は、視覚的な洞察を与え、人間の移動を予測するための新しい研究の方向性をもたらす可能性がある。
関連論文リスト
- Prompt Mining for Language-based Human Mobility Forecasting [10.325794804095889]
本稿では,言語に基づくモビリティ予測における迅速なマイニングのための新しいフレームワークを提案する。
本発明のフレームワークは、プロンプトの情報エントロピーに基づく即時生成段階と、思考の連鎖などのメカニズムを統合する即時改善段階とを含む。
論文 参考訳（メタデータ） (2024-03-06T08:43:30Z) - Probing the Robustness of Time-series Forecasting Models with
CounterfacTS [1.823020744088554]
我々は,時系列予測タスクにおけるディープラーニングモデルの堅牢性を調査するツールであるCounterfacTSを提示し,公開する。
CounterfacTSにはユーザフレンドリーなインターフェースがあり、時系列データとその予測を視覚化、比較、定量化することができる。
論文 参考訳（メタデータ） (2024-03-06T07:34:47Z) - Context-aware multi-head self-attentional neural network model for next
location prediction [19.640761373993417]
我々は、歴史的位置情報から位置パターンを学習するマルチヘッド自己注意ニューラルネットワーク(A)を利用する。
提案モデルが他の最先端予測モデルより優れていることを示す。
我々は,提案モデルが文脈を考慮した移動予測に不可欠であると信じている。
論文 参考訳（メタデータ） (2022-12-04T23:40:14Z) - Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。
実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
論文 参考訳（メタデータ） (2022-10-23T00:37:08Z) - PromptCast: A New Prompt-based Learning Paradigm for Time Series
Forecasting [11.670324826998968]
既存の時系列予測手法では,数値列を入力とし,数値列を出力とする。
事前学習された言語基盤モデルの成功に触発されて、我々は新しい予測パラダイム、即時時系列予測を提案する。
この新たなタスクでは、数値入力と出力をプロンプトに変換し、予測タスクを文対文でフレーム化する。
論文 参考訳（メタデータ） (2022-09-20T10:15:35Z) - A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。
本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。
提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
論文 参考訳（メタデータ） (2022-04-11T18:31:53Z) - Translating Human Mobility Forecasting through Natural Language
Generation [8.727495039722147]
本稿では,人間の移動度予測問題を,シーケンス・ツー・シーケンス方式で言語翻訳タスクとして扱うことを目的とする。
このパイプラインでは、2分岐ネットワーク ShiFT が設計されている。具体的には、言語生成のための1つのメインブランチと、モビリティパターンを直接学習する1つの補助ブランチで構成されている。
論文 参考訳（メタデータ） (2021-12-13T09:56:27Z) - Efficient Nearest Neighbor Language Models [114.40866461741795]
非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。
比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
論文 参考訳（メタデータ） (2021-09-09T12:32:28Z) - Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods
in Natural Language Processing [78.8500633981247]
本稿では,自然言語処理における新たなパラダイムにおける研究成果の探索と整理を行う。
入力xを取り込んで出力yをP(y|x)として予測するようにモデルを訓練する従来の教師付き学習とは異なり、プロンプトベースの学習は直接テキストの確率をモデル化する言語モデルに基づいている。
論文 参考訳（メタデータ） (2021-07-28T18:09:46Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z) - Parameter Space Factorization for Zero-Shot Learning across Tasks and
Languages [112.65994041398481]
本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。
タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。
我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
論文 参考訳（メタデータ） (2020-01-30T16:58:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。