Fugu-MT 論文翻訳(概要): Chain-of-Planned-Behaviour Workflow Elicits Few-Shot Mobility Generation in LLMs

論文の概要: Chain-of-Planned-Behaviour Workflow Elicits Few-Shot Mobility Generation in LLMs

arxiv url: http://arxiv.org/abs/2402.09836v2
Date: Wed, 5 Jun 2024 09:27:42 GMT
ステータス: 処理完了
システム内更新日: 2024-06-07 01:21:50.725729
Title: Chain-of-Planned-Behaviour Workflow Elicits Few-Shot Mobility Generation in LLMs
Title（参考訳）: LLMにおけるファウショットモビリティの発生を緩和するチェーン・オブ・プランテッド・ビヘイビアワークフロー
Authors: Chenyang Shao, Fengli Xu, Bingbing Fan, Jingtao Ding, Yuan Yuan, Meng Wang, Yong Li,
Abstract要約: チェーン・オブ・プランテッド・ビヘイビアは、移動意図発生の誤り率を57.8%から19.4%に大幅に下げる。重力モデルのようなメカニスティックモビリティモデルは、移動意図を物理的モビリティに効果的にマッピングできる。提案した CoPB ワークフローは GPT-4-turbo を容易にして,移動行動推論のための高品質なラベルを自動生成する。
参考スコア（独自算出の注目度）: 20.70758465552438
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The powerful reasoning capabilities of large language models (LLMs) have brought revolutionary changes to many fields, but their performance in human behaviour generation has not yet been extensively explored. This gap likely emerges because the internal processes governing behavioral intentions cannot be solely explained by abstract reasoning. Instead, they are also influenced by a multitude of factors, including social norms and personal preference. Inspired by the Theory of Planned Behaviour (TPB), we develop a LLM workflow named Chain-of-Planned Behaviour (CoPB) for mobility behaviour generation, which reflects the important spatio-temporal dynamics of human activities. Through exploiting the cognitive structures of attitude, subjective norms, and perceived behaviour control in TPB, CoPB significantly enhance the ability of LLMs to reason the intention of next movement. Specifically, CoPB substantially reduces the error rate of mobility intention generation from 57.8% to 19.4%. To improve the scalability of the proposed CoPB workflow, we further explore the synergy between LLMs and mechanistic models. We find mechanistic mobility models, such as gravity model, can effectively map mobility intentions to physical mobility behaviours. The strategy of integrating CoPB with gravity model can reduce the token cost by 97.7% and achieve better performance simultaneously. Besides, the proposed CoPB workflow can facilitate GPT-4-turbo to automatically generate high quality labels for mobility behavior reasoning. We show such labels can be leveraged to fine-tune the smaller-scale, open source LLaMA 3-8B, which significantly reduces usage costs without sacrificing the quality of the generated behaviours.
Abstract（参考訳）: 大規模言語モデル(LLM)の強力な推論能力は多くの分野に革命的変化をもたらしたが、人間の行動生成におけるその性能はまだ広く研究されていない。行動意図を管理する内部プロセスは抽象的推論によってのみ説明できないため、このギャップが生じる可能性が高い。代わりに、社会的規範や個人の嗜好など、さまざまな要因の影響も受けている。 The Theory of Planned Behaviour (TPB)にインスパイアされた我々は、人間の活動の重要な時空間的ダイナミクスを反映した移動行動生成のためのLLMワークフローであるChain-of-Planned Behaviour (CoPB)を開発した。姿勢,主観的規範,認知行動制御の認知的構造を活用することで,COPBは次の動きの意図を推論するLLMの能力を大幅に向上させた。特に、CoPBは移動意図発生の誤り率を57.8%から19.4%に大幅に下げている。提案する CoPB ワークフローのスケーラビリティを向上させるため,LLM と力学モデルの相乗効果について検討する。重力モデルのようなメカニスティックモビリティモデルは、運動意図を物理的モビリティの振る舞いに効果的にマッピングできる。 CoPBと重力モデルを統合する戦略はトークンのコストを97.7%削減し、同時に性能を向上させる。さらに,提案した CoPB ワークフローは GPT-4-turbo を容易にして,移動行動推論のための高品質なラベルを自動的に生成することができる。これらのラベルは、小規模でオープンソースのLLaMA 3-8Bの微調整に利用でき、生成した振る舞いの品質を犠牲にすることなく、使用コストを大幅に削減できることを示す。

関連論文リスト

On-the-fly Modulation for Balanced Multimodal Learning [53.616094855778954]
マルチモーダル学習は、異なるモーダルからの情報を統合することでモデル性能を向上させることが期待されている。広く使われている共同トレーニング戦略は、不均衡で最適化されていないユニモーダル表現につながる。そこで本研究では,OGM(On-the-fly Prediction Modulation)とOGM(On-the-fly Gradient Modulation)の戦略を提案する。
論文参考訳（メタデータ） (2024-10-15T13:15:50Z)
SLIM: Let LLM Learn More and Forget Less with Soft LoRA and Identity Mixture [7.543093479330315]
下流タスクのためのモデル全体のトレーニングは費用がかかるため、破滅的な忘れ忘れをしがちです。我々は,Soft LoRA と Identity Mixture (SLIM) をベースとした,新たな専門家(MoE) フレームワークを提案する。 SLIMはLoRAアダプタとスキップ接続間の動的ルーティングを可能にし、忘れの抑制を可能にする。
論文参考訳（メタデータ） (2024-10-10T09:16:05Z)
LIMP: Large Language Model Enhanced Intent-aware Mobility Prediction [5.7042182940772275]
本稿では,新しい LIMP (LLMs for Intent-ware Mobility Prediction) フレームワークを提案する。具体的には、LIMPは「Analyze-Abstract-Infer」(A2I)エージェントワークフローを導入し、移動意図推論のためのLLMの常識推論力を解き放つ。実世界の2つのデータセット上でLIMPを評価し,次の位置予測における精度の向上と効果的な意図推定を行った。
論文参考訳（メタデータ） (2024-08-23T04:28:56Z)
Outliers and Calibration Sets have Diminishing Effect on Quantization of Modern LLMs [27.38239289662178]
学習後量子化(PTQ)は大規模言語モデル(LLM)の効率を向上させる PTQにおける校正セットの役割,特に隠れ活性化に対する効果について検討する。我々の分析では、利用可能なモデル間で量子化の有効性に顕著なコントラストが示される。
論文参考訳（メタデータ） (2024-05-31T14:24:33Z)
Dynamic Activation Pitfalls in LLaMA Models: An Empirical Study [20.404448253054014]
言語モデルのLLaMAファミリーにおける動的アクティベーション機構の有効性について検討した。我々の経験的発見は、現在の動的アクティベーションスキームに固有のいくつかの落とし穴を発見した。
論文参考訳（メタデータ） (2024-05-15T11:42:42Z)
ProSparse: Introducing and Enhancing Intrinsic Activation Sparsity within Large Language Models [74.59731375779934]
活性化スパーシリティ(Activation sparsity)とは、活性化出力の間に弱い分散要素が存在することを指す。本稿では,PLMを高活性化空間にプッシュするために,"ProSparse" という,シンプルで効果的なスペース化手法を提案する。
論文参考訳（メタデータ） (2024-02-21T03:58:49Z)
Hybrid Reinforcement Learning for Optimizing Pump Sustainability in Real-World Water Distribution Networks [55.591662978280894]
本稿では,実世界の配水ネットワーク(WDN)のリアルタイム制御を強化するために,ポンプスケジューリング最適化問題に対処する。我々の主な目的は、エネルギー消費と運用コストを削減しつつ、物理的な運用上の制約を遵守することである。進化に基づくアルゴリズムや遺伝的アルゴリズムのような伝統的な最適化手法は、収束保証の欠如によってしばしば不足する。
論文参考訳（メタデータ） (2023-10-13T21:26:16Z)
Towards Green AI in Fine-tuning Large Language Models via Adaptive Backpropagation [58.550710456745726]
ファインチューニングは、トレーニング済みの大規模言語モデル(LLM)を下流アプリケーションに適用する最も効果的な方法である。既存の高速微調整技術は, FLOPの低減に限界がある。本稿では,異なるテンソルのバックプロパゲーションコストを適応的に評価する新しい手法であるGreenTrainerについて述べる。
論文参考訳（メタデータ） (2023-09-22T21:55:18Z)
Layer-wise Feedback Propagation [53.00944147633484]
本稿では、ニューラルネットワークのような予測器のための新しいトレーニング手法であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決に対するそれぞれの貢献に基づいて、個々のコネクションに報酬を割り当てる。各種モデルやデータセットの勾配降下に匹敵する性能を達成できることの有効性を実証する。
論文参考訳（メタデータ） (2023-08-23T10:48:28Z)
PAC: Assisted Value Factorisation with Counterfactual Predictions in Multi-Agent Reinforcement Learning [43.862956745961654]
多エージェント強化学習(MARL)は、値関数分解法の開発において大きな進歩をみせている。本稿では、部分的に観測可能なMARL問題において、エージェントの動作に対する順序付けが同時に制約を課す可能性があることを示す。最適関節動作選択の対実予測から得られる情報を活用する新しいフレームワークであるPACを提案する。
論文参考訳（メタデータ） (2022-06-22T23:34:30Z)
Exploiting Submodular Value Functions For Scaling Up Active Perception [60.81276437097671]
アクティブな知覚タスクでは、エージェントは1つ以上の隠れ変数の不確実性を減少させる感覚行動を選択することを目的としている。部分的に観測可能なマルコフ決定過程(POMDP)は、そのような問題に対する自然なモデルを提供する。エージェントが利用できるセンサーの数が増えるにつれて、POMDP計画の計算コストは指数関数的に増加する。
論文参考訳（メタデータ） (2020-09-21T09:11:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。