論文の概要: SeisMoLLM: Advancing Seismic Monitoring via Cross-modal Transfer with Pre-trained Large Language Model

• arxiv url: http://arxiv.org/abs/2502.19960v1
• Date: Thu, 27 Feb 2025 10:35:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:56:39.159905
• Title: SeisMoLLM: Advancing Seismic Monitoring via Cross-modal Transfer with Pre-trained Large Language Model
• Title（参考訳）: SeisMoLLM:事前学習大言語モデルを用いたクロスモーダルトランスファーによる地震モニタリングの強化
• Authors: Xinghao Wang, Feng Liu, Rui Su, Zhihui Wang, Lei Bai, Wanli Ouyang,
• Abstract要約: 本研究は,地震モニタリングにクロスモーダル転送を利用する最初の基礎モデルであるSeesMoLLMを提示する。 5つの重要なタスクでDiTingとSTEADデータセットの最先端のパフォーマンスを実現する。 優れたパフォーマンスに加えて、SeesMoLLMはトレーニングと推論の両方において軽量モデルに匹敵する効率を維持している。
• 参考スコア（独自算出の注目度）: 69.74609763584449
• License:
• Abstract: Recent advances in deep learning have revolutionized seismic monitoring, yet developing a foundation model that performs well across multiple complex tasks remains challenging, particularly when dealing with degraded signals or data scarcity. This work presents SeisMoLLM, the first foundation model that utilizes cross-modal transfer for seismic monitoring, to unleash the power of large-scale pre-training from a large language model without requiring direct pre-training on seismic datasets. Through elaborate waveform tokenization and fine-tuning of pre-trained GPT-2 model, SeisMoLLM achieves state-of-the-art performance on the DiTing and STEAD datasets across five critical tasks: back-azimuth estimation, epicentral distance estimation, magnitude estimation, phase picking, and first-motion polarity classification. It attains 36 best results out of 43 task metrics and 12 top scores out of 16 few-shot generalization metrics, with many relative improvements ranging from 10% to 50%. In addition to its superior performance, SeisMoLLM maintains efficiency comparable to or even better than lightweight models in both training and inference. These findings establish SeisMoLLM as a promising foundation model for practical seismic monitoring and highlight cross-modal transfer as an exciting new direction for earthquake studies, showcasing the potential of advanced deep learning techniques to propel seismology research forward.
• Abstract（参考訳）: ディープラーニングの最近の進歩は、地震モニタリングに革命をもたらしたが、特に劣化した信号やデータ不足に対処する上で、複数の複雑なタスクにわたってうまく機能する基盤モデルの開発は、依然として困難なままである。 本研究では,地震観測にクロスモーダル・トランスファーを利用する最初の基礎モデルであるSeesMoLLMを提案し,大規模言語モデルから大規模事前学習のパワーを,地震データセットの直接事前学習を必要とせずに解放する。 事前訓練したGPT-2モデルの詳細な波形トークン化と微調整により、SeesMoLLMは、バックアジマス推定(back-azimuth Estimation)、エピカレント距離推定( Epicentral distance Estimation)、マグニチュード推定( magnitude Estimation)、フェーズピッキング(phase Pick)、ファーストモーション極性分類(first-motion polarity classification)という5つの重要なタスクにおいて、DiTingとSTEADデータセットの最先端性能を達成する。 43のタスクメトリクスから36のベストスコアを獲得し、16の数ショットの一般化メトリクスから12のトップスコアを獲得し、多くの相対的な改善は10%から50%に及んでいる。 優れたパフォーマンスに加えて、SeesMoLLMはトレーニングと推論の両方において軽量モデルに匹敵する効率を維持している。 これらの結果から,SeisMoLLMは地震観測のための有望な基礎モデルとして確立され,地震研究の新たな方向性としてクロスモーダル・トランスファーが強調され,地震学研究を前進させる先進的な深層学習技術の可能性が示された。

関連論文リスト

• SMPLest-X: Ultimate Scaling for Expressive Human Pose and Shape Estimation [81.36747103102459]
  表現的人間のポーズと形状推定(EHPS)は、身体、手、顔の動きを多数の応用で統合する。 現在の最先端の手法は、限定されたデータセット上で革新的なアーキテクチャ設計を訓練することに焦点を当てている。 本稿では,EHPSのスケールアップが一般基盤モデルのファミリに与える影響について検討する。
  論文  参考訳（メタデータ） (2025-01-16T18:59:46Z)
• Building 6G Radio Foundation Models with Transformer Architectures [6.70088826174291]
  基礎深層学習(DL)モデルは、対象とするモダリティの一般的な、堅牢で適応可能な表現を学習するために設計されている。 これらのモデルは、自己教師付き学習(SSL)を使用して、大規模でラベルのないデータセットで事前訓練される スペクトログラム学習のための無線基礎モデルとして視覚変換器(ViT)を提案する。
  論文  参考訳（メタデータ） (2024-11-15T07:01:44Z)
• Self-Supervised Radio Pre-training: Toward Foundational Models for Spectrogram Learning [6.1339395157466425]
  Foundational Deep Learning(DL)モデルは、多種多様で多様なデータセットに基づいてトレーニングされた一般的なモデルである。 本稿では,無線信号を用いた基礎DLモデルの事前学習のための,新しい自己教師型学習手法であるMasked Spectrogram Modelingを紹介する。
  論文  参考訳（メタデータ） (2024-11-14T23:56:57Z)
• Seismic Fault SAM: Adapting SAM with Lightweight Modules and 2.5D Strategy for Fault Detection [11.868792440783054]
  本稿では,一般的な事前学習基盤モデルであるSAM(Segment Anything Model)を地震断層解釈に適用した地震断層SAMを提案する。 私たちの革新的なポイントは、軽量なAdapterモジュールの設計、トレーニング済みの重量のほとんどを凍結し、少数のパラメータのみを更新することです。 その結果,OISとODSの双方で既存の3次元モデルを上回る結果が得られた。
  論文  参考訳（メタデータ） (2024-07-19T08:38:48Z)
• SeisT: A foundational deep learning model for earthquake monitoring tasks [11.798801355369044]
  本稿では,地震モニタリングタスクのための基礎的深層学習モデルである地震計変換器(SeisT)を提案する。 SeisTは、異なるタスクに適した複数のモジュールを組み合わせて、配布外一般化性能を示す。 本研究は,厳密な実験と評価を通じて,地震信号処理と地震研究の発展に寄与する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-10-02T09:28:31Z)
• SMPLer-X: Scaling Up Expressive Human Pose and Shape Estimation [83.18930314027254]
  表現的人間のポーズと形状推定(EHPS)は、身体、手、顔の動きを多数の応用で統合する。 本研究では,VT-Huge をバックボーンとする第1次一般基礎モデル (SMPLer-X) に向けた EHPS のスケールアップについて検討する。 ビッグデータと大規模モデルにより、SMPLer-Xは、さまざまなテストベンチマークにまたがる強力なパフォーマンスと、目に見えない環境への優れた転送性を示す。
  論文  参考訳（メタデータ） (2023-09-29T17:58:06Z)
• GEO-Bench: Toward Foundation Models for Earth Monitoring [139.77907168809085]
  6つの分類と6つのセグメンテーションタスクからなるベンチマークを提案する。 このベンチマークは、さまざまな地球観測タスクの進行の原動力となる。
  論文  参考訳（メタデータ） (2023-06-06T16:16:05Z)
• An Empirical Study on Distribution Shift Robustness From the Perspective of Pre-Training and Data Augmentation [91.62129090006745]
  本稿では,事前学習とデータ拡張の観点から分布シフト問題を考察する。 我々は,事前学習とデータ拡張に焦点を当てた,最初の総合的な実証的研究を行った。
  論文  参考訳（メタデータ） (2022-05-25T13:04:53Z)
• PreTraM: Self-Supervised Pre-training via Connecting Trajectory and Map [58.53373202647576]
  軌道予測のための自己教師付き事前学習方式であるPreTraMを提案する。 1) トラジェクティブ・マップ・コントラクティブ・ラーニング(トラジェクティブ・コントラクティブ・ラーニング)、(2) トラジェクティブ・ラーニング(トラジェクティブ・コントラクティブ・ラーニング)、(2) トラジェクティブ・ラーニング(トラジェクティブ・ラーニング)、(2) トラジェクティブ・コントラクティブ・ラーニング(トラジェクティブ・ラーニング)、(2) トラジェクティブ・コントラクティブ・ラーニング(トラジェクティブ・ラーニング)の2つのパートから構成される。 AgentFormerやTrajectron++といった一般的なベースラインに加えて、PreTraMは、挑戦的なnuScenesデータセット上で、FDE-10でパフォーマンスを5.5%と6.9%向上させる。
  論文  参考訳（メタデータ） (2022-04-21T23:01:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。