論文の概要: Pre-trained Transformer Uncovers Meaningful Patterns in Human Mobility Data

• arxiv url: http://arxiv.org/abs/2406.04029v2
• Date: Thu, 12 Dec 2024 03:19:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:30:27.897789
• Title: Pre-trained Transformer Uncovers Meaningful Patterns in Human Mobility Data
• Title（参考訳）: トレーニング済みのトランスフォーマーが人間の移動データに意味のあるパターンを発見
• Authors: Alameen Najjar,
• Abstract要約: 本研究では、国規模の未ラベルの人体移動データに基づいて事前訓練されたトランスフォーマーが、対象の地理の深い理解を深めることのできる埋め込みを学習することを示す。 我々は,人間の移動性に関する幅広い概念をカプセル化するために,事前学習した埋め込みの性能を評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We empirically demonstrate that a transformer pre-trained on country-scale unlabeled human mobility data learns embeddings capable, through fine-tuning, of developing a deep understanding of the target geography and its corresponding mobility patterns. Utilizing an adaptation framework, we evaluate the performance of our pre-trained embeddings in encapsulating a broad spectrum of concepts directly and indirectly related to human mobility. This includes basic notions, such as geographic location and distance, and extends to more complex constructs, such as administrative divisions and land cover. Our extensive empirical analysis reveals a substantial performance boost gained from pre-training, reaching up to 38% in tasks such as tree-cover regression. We attribute this result to the ability of the pre-training to uncover meaningful patterns hidden in the raw data, beneficial for modeling relevant high-level concepts. The pre-trained embeddings emerge as robust representations of regions and trajectories, potentially valuable for a wide range of downstream applications.
• Abstract（参考訳）: 国規模の未ラベルの人体移動データに基づいて事前訓練されたトランスフォーマーは、微調整により、対象の地理とその対応する移動パターンの深い理解を深めることのできる埋め込みを学習することを実証的に実証した。 適応フレームワークを用いることで,人間の移動性に直接的かつ間接的に関連する概念をカプセル化する上で,事前学習した埋め込みの性能を評価する。 これには地理的な位置や距離といった基本的な概念が含まれており、行政区画や土地被覆のようなより複雑な構成にまで拡張されている。 広範囲にわたる実証分析の結果,プレトレーニングによって得られたパフォーマンスが,木被覆回帰などのタスクで最大38%向上したことが明らかとなった。 この結果は、事前学習が生データに隠された意味あるパターンを明らかにする能力に起因しており、関連する高レベルの概念をモデル化するのに有益である。 事前訓練された埋め込みは、領域や軌道の堅牢な表現として現れ、幅広い下流アプリケーションに有用である可能性がある。

関連論文リスト

• Features are fate: a theory of transfer learning in high-dimensional regression [23.840251319669907]
  対象タスクが事前学習されたモデルの特徴空間で適切に表現されている場合、転送学習はスクラッチからトレーニングに優れることを示す。 本モデルでは, 音源と目標タスクの重なり合う特徴空間が十分に強い場合, 線形転送と微調整の両方で性能が向上することを確認した。
  論文  参考訳（メタデータ） (2024-10-10T17:58:26Z)
• Efficient Transferability Assessment for Selection of Pre-trained Detectors [63.21514888618542]
  本稿では,事前学習対象検出器の効率的な伝達性評価について検討する。 我々は、事前訓練された検出器の大規模で多様な動物園を含む検出器転送性ベンチマークを構築した。 実験により,本手法は伝達性の評価において,他の最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-14T14:23:23Z)
• Which Model to Transfer? A Survey on Transferability Estimation [43.93666569439436]
  トランスファーラーニングメソッドは、既存のソーストレーニング済みモデルやデータセットから関連する知識を活用して、下流のターゲットタスクを解決する。 モデル伝達可能性の推定は関心が高まりつつある領域であり、個別にトレーニングすることなく、この適合性を定量化する指標を提案することを目的としている。 本稿では、この領域における既存の進歩を初めてレビューし、これらを2つの異なる領域に分類する: ソースフリーモデル転送可能性推定とソース依存モデル転送可能性推定である。
  論文  参考訳（メタデータ） (2024-02-23T09:47:27Z)
• SPOT: Scalable 3D Pre-training via Occupancy Prediction for Learning Transferable 3D Representations [76.45009891152178]
  トレーニング-ファインタニングアプローチは、さまざまな下流データセットとタスクをまたいだトレーニング済みのバックボーンを微調整することで、ラベル付けの負担を軽減することができる。 本稿では, 一般表現学習が, 占領予測のタスクを通じて達成できることを, 初めて示す。 本研究は,LiDAR 点の理解を促進するとともに,LiDAR の事前訓練における今後の進歩の道を開くことを目的とする。
  論文  参考訳（メタデータ） (2023-09-19T11:13:01Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• An Empirical Study on Distribution Shift Robustness From the Perspective of Pre-Training and Data Augmentation [91.62129090006745]
  本稿では,事前学習とデータ拡張の観点から分布シフト問題を考察する。 我々は,事前学習とデータ拡張に焦点を当てた,最初の総合的な実証的研究を行った。
  論文  参考訳（メタデータ） (2022-05-25T13:04:53Z)
• Self-supervised Audiovisual Representation Learning for Remote Sensing Data [96.23611272637943]
  遠隔センシングにおける深層ニューラルネットワークの事前学習のための自己教師型アプローチを提案する。 ジオタグ付きオーディオ記録とリモートセンシングの対応を利用して、これは完全にラベルなしの方法で行われる。 提案手法は,既存のリモートセンシング画像の事前学習方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-02T07:50:50Z)
• Adversarial Training Helps Transfer Learning via Better Representations [17.497590668804055]
  Transfer Learningは、ソースデータに事前トレーニングされたモデルを活用して、ターゲット設定に効率的に適応することを目的としている。 最近の研究は、情報源データにおける敵対的訓練が、新しいドメインへのモデル転送能力を向上させることを実証的に実証している。 本研究は, 情報源データにおける対角的学習により, より優れた表現が生成されることを示し, この表現を微調整することで, 対象データのより正確な予測が可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-18T15:41:07Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。