論文の概要: Prompt Mining for Language-based Human Mobility Forecasting

• arxiv url: http://arxiv.org/abs/2403.03544v1
• Date: Wed, 6 Mar 2024 08:43:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 15:46:21.194072
• Title: Prompt Mining for Language-based Human Mobility Forecasting
• Title（参考訳）: 言語に基づくヒューマンモビリティ予測のためのプロンプトマイニング
• Authors: Hao Xue, Tianye Tang, Ali Payani, Flora D. Salim
• Abstract要約: 本稿では,言語に基づくモビリティ予測における迅速なマイニングのための新しいフレームワークを提案する。 本発明のフレームワークは、プロンプトの情報エントロピーに基づく即時生成段階と、思考の連鎖などのメカニズムを統合する即時改善段階とを含む。
• 参考スコア（独自算出の注目度）: 10.325794804095889
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the advancement of large language models, language-based forecasting has recently emerged as an innovative approach for predicting human mobility patterns. The core idea is to use prompts to transform the raw mobility data given as numerical values into natural language sentences so that the language models can be leveraged to generate the description for future observations. However, previous studies have only employed fixed and manually designed templates to transform numerical values into sentences. Since the forecasting performance of language models heavily relies on prompts, using fixed templates for prompting may limit the forecasting capability of language models. In this paper, we propose a novel framework for prompt mining in language-based mobility forecasting, aiming to explore diverse prompt design strategies. Specifically, the framework includes a prompt generation stage based on the information entropy of prompts and a prompt refinement stage to integrate mechanisms such as the chain of thought. Experimental results on real-world large-scale data demonstrate the superiority of generated prompts from our prompt mining pipeline. Additionally, the comparison of different prompt variants shows that the proposed prompt refinement process is effective. Our study presents a promising direction for further advancing language-based mobility forecasting.
• Abstract（参考訳）: 大規模言語モデルの発展に伴い,近年,人間の移動パターンを予測する革新的な手法として言語ベースの予測が登場している。 中心となる考え方は、数値値として与えられた生のモビリティデータを自然言語文に変換するプロンプトを使用することで、言語モデルを利用して将来の観察のための記述を生成することである。 しかし、従来の研究では、数値を文に変換するために固定的および手動設計のテンプレートのみを使用していた。 言語モデルの予測性能はプロンプトに大きく依存するため、プロンプトに固定テンプレートを使用すると、言語モデルの予測能力が制限される可能性がある。 本稿では,多種多様なプロンプトデザイン戦略を検討することを目的とした,言語に基づくモビリティ予測におけるプロンプトマイニングのための新しい枠組みを提案する。 具体的には、プロンプトの情報エントロピーに基づくプロンプト生成ステージと、思考連鎖などのメカニズムを統合するためのプロンプト改善ステージとを含む。 実世界の大規模データに対する実験結果から, 急速採掘パイプラインから生成したプロンプトの優位性が示された。 さらに, 異なるプロンプト変種の比較により, 提案手法の有効性が示された。 本研究は,言語に基づくモビリティ予測を推し進める上で有望な方向性を示す。

関連論文リスト

• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• PromptCast: A New Prompt-based Learning Paradigm for Time Series Forecasting [11.670324826998968]
  既存の時系列予測手法では,数値列を入力とし,数値列を出力とする。 事前学習された言語基盤モデルの成功に触発されて、我々は新しい予測パラダイム、即時時系列予測を提案する。 この新たなタスクでは、数値入力と出力をプロンプトに変換し、予測タスクを文対文でフレーム化する。
  論文  参考訳（メタデータ） (2022-09-20T10:15:35Z)
• Leveraging Language Foundation Models for Human Mobility Forecasting [8.422257363944295]
  時相パターンマイニングに言語基盤モデルを活用する新しいパイプラインを提案する。 我々は、あらゆる種類の情報を含む自然言語入力を直接予測タスクを実行する。 数値時間列を文に変換するために特定のプロンプトを導入し、既存の言語モデルを直接適用できるようにしている。
  論文  参考訳（メタデータ） (2022-09-11T01:15:16Z)
• Probing via Prompting [71.7904179689271]
  本稿では,探索をプロンプトタスクとして定式化することで,新しいモデルフリーな探索手法を提案する。 我々は5つの探索課題について実験を行い、我々のアプローチが診断プローブよりも情報抽出に優れていることを示す。 次に,その特性に不可欠な頭部を除去し,言語モデリングにおけるモデルの性能を評価することにより,事前学習のための特定の言語特性の有用性を検討する。
  論文  参考訳（メタデータ） (2022-07-04T22:14:40Z)
• Few-shot Subgoal Planning with Language Models [58.11102061150875]
  事前訓練された言語モデルにエンコードされた言語は、細粒度のサブゴール列を推測できることを示す。 サブゴナル・インスペクションを強く仮定する最近の手法とは対照的に,我々の実験では,詳細なサブゴラル・シーケンスを微調整せずに推論できる言語モデルが示されている。
  論文  参考訳（メタデータ） (2022-05-28T01:03:30Z)
• Translating Human Mobility Forecasting through Natural Language Generation [8.727495039722147]
  本稿では,人間の移動度予測問題を,シーケンス・ツー・シーケンス方式で言語翻訳タスクとして扱うことを目的とする。 このパイプラインでは、2分岐ネットワーク ShiFT が設計されている。具体的には、言語生成のための1つのメインブランチと、モビリティパターンを直接学習する1つの補助ブランチで構成されている。
  論文  参考訳（メタデータ） (2021-12-13T09:56:27Z)
• Differentiable Prompt Makes Pre-trained Language Models Better Few-shot Learners [23.150999852147283]
  本研究は,differiAble pRompT (DART) という新規で効率的なアプローチを提案する。 小さな言語モデルを、素早いエンジニアリングなしで、より優れた数ショットの学習者に変換することができる。 標準NLPタスクの包括的な評価は、提案手法がより優れた数ショット性能を実現することを示す。
  論文  参考訳（メタデータ） (2021-08-30T12:29:25Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing [78.8500633981247]
  本稿では,自然言語処理における新たなパラダイムにおける研究成果の探索と整理を行う。 入力xを取り込んで出力yをP(y|x)として予測するようにモデルを訓練する従来の教師付き学習とは異なり、プロンプトベースの学習は直接テキストの確率をモデル化する言語モデルに基づいている。
  論文  参考訳（メタデータ） (2021-07-28T18:09:46Z)
• Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm [0.0]
  自然言語のレンズを通してプロンプトを考えることの有用性を強調しながら,プロンプトプログラミングの手法について論じる。 モデルに種を付けて、さまざまなタスクのための独自の自然言語プロンプトを生成するメタプロンプトのアイデアを紹介します。
  論文  参考訳（メタデータ） (2021-02-15T05:27:55Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。