論文の概要: Beyond Imitation: Generating Human Mobility from Context-aware Reasoning
with Large Language Models
- arxiv url: http://arxiv.org/abs/2402.09836v1
- Date: Thu, 15 Feb 2024 09:58:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 16:19:15.130674
- Title: Beyond Imitation: Generating Human Mobility from Context-aware Reasoning
with Large Language Models
- Title（参考訳）: Beyond Imitation: 大規模言語モデルによるコンテキスト認識推論からヒューマンモビリティを生成する
- Authors: Chenyang Shao, Fengli Xu, Bingbing Fan, Jingtao Ding, Yuan Yuan, Meng
Wang, Yong Li
- Abstract要約: 本稿では,移動行動を促す新しいモビリティ生成・アズ・ア・推論(MobiGeaR)フレームワークを提案する。
MobiGeaRはすべてのメトリクスで最先端のパフォーマンスを実現し、同時にトレーニングサンプルのサイズを大幅に削減します。
- 参考スコア（独自算出の注目度）: 21.745981410903845
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Human mobility behaviours are closely linked to various important societal
problems such as traffic congestion, and epidemic control. However, collecting
mobility data can be prohibitively expensive and involves serious privacy
issues, posing a pressing need for high-quality generative mobility models.
Previous efforts focus on learning the behaviour distribution from training
samples, and generate new mobility data by sampling the learned distributions.
They cannot effectively capture the coherent intentions that drive mobility
behavior, leading to low sample efficiency and semantic-awareness. Inspired by
the emergent reasoning ability in LLMs, we propose a radical perspective shift
that reformulates mobility generation as a commonsense reasoning problem. In
this paper, we design a novel Mobility Generation as Reasoning (MobiGeaR)
framework that prompts LLM to recursively generate mobility behaviour.
Specifically, we design a context-aware chain-of-thoughts prompting technique
to align LLMs with context-aware mobility behaviour by few-shot in-context
learning. Besides, MobiGeaR employ a divide-and-coordinate mechanism to exploit
the synergistic effect between LLM reasoning and mechanistic gravity model. It
leverages the step-by-step LLM reasoning to recursively generate a temporal
template of activity intentions, which are then mapped to physical locations
with a mechanistic gravity model. Experiments on two real-world datasets show
MobiGeaR achieves state-of-the-art performance across all metrics, and
substantially reduces the size of training samples at the same time. Besides,
MobiGeaR also significantly improves the semantic-awareness of mobility
generation by improving the intention accuracy by 62.23% and the generated
mobility data is proven effective in boosting the performance of downstream
applications. The implementation of our approach is available in the paper.
- Abstract（参考訳）: ヒトの移動行動は交通渋滞や疫病対策などの社会問題と密接に関連している。
しかし、モビリティデータの収集は、非常に高価であり、重大なプライバシー問題を引き起こし、高品質な生成モビリティモデルの必要性が高まっている。
これまでの取り組みは、トレーニングサンプルから行動分布を学習することに集中し、学習した分布をサンプリングして新しいモビリティデータを生成する。
モビリティ行動を促進するコヒーレントな意図を効果的に捉えることはできず、サンプルの効率とセマンティクスの認識が低下する。
LLMの創発的推論能力に着想を得て,モビリティ生成を常識的推論問題として再構成する急進的な視点シフトを提案する。
本稿では,新たなモビリティ生成・アズ・ア・リソン(MobiGeaR)フレームワークを設計し,LCMが再帰的にモビリティ動作を生成できるようにする。
具体的には,コンテキスト内学習によるllmとコンテキスト対応モビリティ動作を連携させる,コンテキスト対応チェーン・オブ・シグナリング手法を設計した。
加えて、MobiGeaR は LLM の推論と力学重力モデルの間の相乗効果を利用するために分割調整機構を採用している。
ステップバイステップのLSM推論を利用して、活動意図の時間的テンプレートを再帰的に生成し、力学重力モデルを用いて物理的場所にマッピングする。
2つの実世界のデータセットの実験では、MobiGeaRはすべてのメトリクスで最先端のパフォーマンスを実現しており、同時にトレーニングサンプルのサイズを大幅に削減している。
さらに、MobiGeaRは、意図的精度を62.23%向上させることにより、モビリティ生成のセマンティック・アウェアネスを著しく改善し、下流アプリケーションの性能向上に有効であることが証明された。
我々のアプローチの実装は論文で確認できる。
関連論文リスト
- On-the-fly Modulation for Balanced Multimodal Learning [53.616094855778954]
マルチモーダル学習は、異なるモーダルからの情報を統合することでモデル性能を向上させることが期待されている。
広く使われている共同トレーニング戦略は、不均衡で最適化されていないユニモーダル表現につながる。
そこで本研究では,OGM(On-the-fly Prediction Modulation)とOGM(On-the-fly Gradient Modulation)の戦略を提案する。
論文 参考訳（メタデータ） (2024-10-15T13:15:50Z) - SLIM: Let LLM Learn More and Forget Less with Soft LoRA and Identity Mixture [7.543093479330315]
下流タスクのためのモデル全体のトレーニングは費用がかかるため、破滅的な忘れ忘れをしがちです。
我々は,Soft LoRA と Identity Mixture (SLIM) をベースとした,新たな専門家(MoE) フレームワークを提案する。
SLIMはLoRAアダプタとスキップ接続間の動的ルーティングを可能にし、忘れの抑制を可能にする。
論文 参考訳（メタデータ） (2024-10-10T09:16:05Z) - LIMP: Large Language Model Enhanced Intent-aware Mobility Prediction [5.7042182940772275]
本稿では,新しい LIMP (LLMs for Intent-ware Mobility Prediction) フレームワークを提案する。
具体的には、LIMPは「Analyze-Abstract-Infer」(A2I)エージェントワークフローを導入し、移動意図推論のためのLLMの常識推論力を解き放つ。
実世界の2つのデータセット上でLIMPを評価し,次の位置予測における精度の向上と効果的な意図推定を行った。
論文 参考訳（メタデータ） (2024-08-23T04:28:56Z) - Outliers and Calibration Sets have Diminishing Effect on Quantization of Modern LLMs [27.38239289662178]
学習後量子化(PTQ)は大規模言語モデル(LLM)の効率を向上させる
PTQにおける校正セットの役割,特に隠れ活性化に対する効果について検討する。
我々の分析では、利用可能なモデル間で量子化の有効性に顕著なコントラストが示される。
論文 参考訳（メタデータ） (2024-05-31T14:24:33Z) - Dynamic Activation Pitfalls in LLaMA Models: An Empirical Study [20.404448253054014]
言語モデルのLLaMAファミリーにおける動的アクティベーション機構の有効性について検討した。
我々の経験的発見は、現在の動的アクティベーションスキームに固有のいくつかの落とし穴を発見した。
論文 参考訳（メタデータ） (2024-05-15T11:42:42Z) - ProSparse: Introducing and Enhancing Intrinsic Activation Sparsity within Large Language Models [74.59731375779934]
活性化スパーシリティ(Activation sparsity)とは、活性化出力の間に弱い分散要素が存在することを指す。
本稿では,PLMを高活性化空間にプッシュするために,"ProSparse" という,シンプルで効果的なスペース化手法を提案する。
論文 参考訳（メタデータ） (2024-02-21T03:58:49Z) - Hybrid Reinforcement Learning for Optimizing Pump Sustainability in
Real-World Water Distribution Networks [55.591662978280894]
本稿では,実世界の配水ネットワーク(WDN)のリアルタイム制御を強化するために,ポンプスケジューリング最適化問題に対処する。
我々の主な目的は、エネルギー消費と運用コストを削減しつつ、物理的な運用上の制約を遵守することである。
進化に基づくアルゴリズムや遺伝的アルゴリズムのような伝統的な最適化手法は、収束保証の欠如によってしばしば不足する。
論文 参考訳（メタデータ） (2023-10-13T21:26:16Z) - Towards Green AI in Fine-tuning Large Language Models via Adaptive
Backpropagation [58.550710456745726]
ファインチューニングは、トレーニング済みの大規模言語モデル(LLM)を下流アプリケーションに適用する最も効果的な方法である。
既存の高速微調整技術は, FLOPの低減に限界がある。
本稿では,異なるテンソルのバックプロパゲーションコストを適応的に評価する新しい手法であるGreenTrainerについて述べる。
論文 参考訳（メタデータ） (2023-09-22T21:55:18Z) - Layer-wise Feedback Propagation [53.00944147633484]
本稿では、ニューラルネットワークのような予測器のための新しいトレーニング手法であるLFP(Layer-wise Feedback Propagation)を提案する。
LFPは、与えられたタスクの解決に対するそれぞれの貢献に基づいて、個々のコネクションに報酬を割り当てる。
各種モデルやデータセットの勾配降下に匹敵する性能を達成できることの有効性を実証する。
論文 参考訳（メタデータ） (2023-08-23T10:48:28Z) - PAC: Assisted Value Factorisation with Counterfactual Predictions in
Multi-Agent Reinforcement Learning [43.862956745961654]
多エージェント強化学習(MARL)は、値関数分解法の開発において大きな進歩をみせている。
本稿では、部分的に観測可能なMARL問題において、エージェントの動作に対する順序付けが同時に制約を課す可能性があることを示す。
最適関節動作選択の対実予測から得られる情報を活用する新しいフレームワークであるPACを提案する。
論文 参考訳（メタデータ） (2022-06-22T23:34:30Z) - Exploiting Submodular Value Functions For Scaling Up Active Perception [60.81276437097671]
アクティブな知覚タスクでは、エージェントは1つ以上の隠れ変数の不確実性を減少させる感覚行動を選択することを目的としている。
部分的に観測可能なマルコフ決定過程(POMDP)は、そのような問題に対する自然なモデルを提供する。
エージェントが利用できるセンサーの数が増えるにつれて、POMDP計画の計算コストは指数関数的に増加する。
論文 参考訳（メタデータ） (2020-09-21T09:11:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。