論文の概要: Synergizing Multigrid Algorithms with Vision Transformer: A Novel Approach to Enhance the Seismic Foundation Model
- arxiv url: http://arxiv.org/abs/2511.13800v1
- Date: Mon, 17 Nov 2025 08:37:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-19 16:23:52.735481
- Title: Synergizing Multigrid Algorithms with Vision Transformer: A Novel Approach to Enhance the Seismic Foundation Model
- Title（参考訳）: 視覚変換器を用いたマルチグリッドアルゴリズムの総合化:地震基礎モデル構築のための新しいアプローチ
- Authors: Huiwen Wu, Shuo Zhang, Yi Liu, Hongbin Ye,
- Abstract要約: シーケンシャルトークン化による既存の視覚変換器(ViT)は、固有パターンを無視し、高周波数と低周波の両方の地震情報を効果的に把握できない。
本研究では,Hilbertエンコーディングを用いた新しい2グリッド基礎モデルトレーニング戦略(ADATG)を導入する。
- 参考スコア（独自算出の注目度）: 8.86328796040398
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Due to the emergency and homogenization of Artificial Intelligence (AI) technology development, transformer-based foundation models have revolutionized scientific applications, such as drug discovery, materials research, and astronomy. However, seismic data presents unique characteristics that require specialized processing techniques for pretraining foundation models in seismic contexts with high- and low-frequency features playing crucial roles. Existing vision transformers (ViTs) with sequential tokenization ignore the intrinsic pattern and fail to grasp both the high- and low-frequency seismic information efficiently and effectively. This work introduces a novel adaptive two-grid foundation model training strategy (ADATG) with Hilbert encoding specifically tailored for seismogram data, leveraging the hierarchical structures inherent in seismic data. Specifically, our approach employs spectrum decomposition to separate high- and low-frequency components and utilizes hierarchical Hilbert encoding to represent the data effectively. Moreover, observing the frequency principle observed in ViTs, we propose an adaptive training strategy that initially emphasizes coarse-level information and then progressively refines the model's focus on fine-level features. Our extensive experiments demonstrate the effectiveness and efficiency of our training methods. This research highlights the importance of data encoding and training strategies informed by the distinct characteristics of high- and low-frequency features in seismic images, ultimately contributing to the enhancement of visual seismic foundation models pretraining.
- Abstract（参考訳）: 人工知能(AI)技術の緊急・均質化により、トランスフォーマーベースの基礎モデルは、薬物発見、材料研究、天文学などの科学的応用に革命をもたらした。
しかし, 強震・低周波特性が重要な役割を担っている地震環境下で基礎モデルの事前訓練を行うために, 特別な処理技術を必要とする特異な特徴を提示する。
シーケンシャルトークン化による既存の視覚変換器(ViT)は、固有パターンを無視し、高周波数と低周波の両方の地震情報を効果的に把握できない。
本研究は, 地震データに特有の階層構造を利用して, Hilbertエンコーディングによる適応型2グリッド基礎モデルトレーニング戦略(ADATG)を導入する。
具体的には、スペクトル分解を用いて高周波数成分と低周波数成分を分離し、階層的ヒルベルト符号化を用いてデータを効果的に表現する。
さらに,ViTで観測される周波数原理を観察し,まずは粗い情報を重視し,さらに細かな特徴に対するモデルの焦点を徐々に洗練する適応的トレーニング戦略を提案する。
本研究では,トレーニング手法の有効性と有効性について検討した。
本研究は, 地震画像における高周波数特徴と低周波特徴の相違から得られるデータ符号化とトレーニング戦略の重要性を強調し, 最終的に, 事前トレーニングによる視覚的基盤モデルの強化に寄与する。
関連論文リスト
- High-Fidelity Scientific Simulation Surrogates via Adaptive Implicit Neural Representations [51.90920900332569]
入射神経表現(INR)は空間的に構造化されたデータをモデリングするためのコンパクトで連続的なフレームワークを提供する。
近年のアプローチでは、剛性幾何学的構造に沿った付加的な特徴を導入することでこの問題に対処している。
機能適応型INR(FA-INR)を提案する。
論文 参考訳（メタデータ） (2025-06-07T16:45:17Z) - Large EEG-U-Transformer for Time-Step Level Detection Without Pre-Training [1.3254304182988286]
局所的特徴と大域的特徴の両方を捉えることで表現を効率的に学習する単純なU字モデルを提案する。
他のウィンドウレベルの分類モデルと比較して,本手法は時間段階の予測を直接出力する。
我々のモデルは、てんかんおよび他の神経疾患における人工知能に関する国際会議において、2025年の第1回「青信号検出チャレンジ」で優勝した。
論文 参考訳（メタデータ） (2025-04-01T01:33:42Z) - Foundation Models For Seismic Data Processing: An Extensive Review [7.4728371558557365]
自然画像基礎モデルの3つの地震処理タスクへの適用について検討する。
プレトレーニング技術やニューラルネットワークアーキテクチャなどの異なるモデル特性が性能と効率に与える影響を評価する。
単一の地震モデルを提案するのではなく、様々な自然画像基盤モデルについて批判的に検討し、今後の探査に期待できる候補をいくつか提案する。
論文 参考訳（メタデータ） (2025-03-31T14:48:31Z) - BHViT: Binarized Hybrid Vision Transformer [53.38894971164072]
モデルバイナライゼーションは畳み込みニューラルネットワーク(CNN)のリアルタイムおよびエネルギー効率の計算を可能にした。
本稿では,バイナライズフレンドリーなハイブリッドViTアーキテクチャであるBHViTとそのバイナライズモデルを提案する。
提案アルゴリズムは,バイナリ ViT 手法間でSOTA 性能を実現する。
論文 参考訳（メタデータ） (2025-03-04T08:35:01Z) - Generalized Factor Neural Network Model for High-dimensional Regression [50.554377879576066]
複素・非線形・雑音に隠れた潜在低次元構造を持つ高次元データセットをモデル化する課題に取り組む。
我々のアプローチは、非パラメトリック回帰、因子モデル、高次元回帰のためのニューラルネットワークの概念のシームレスな統合を可能にする。
論文 参考訳（メタデータ） (2025-02-16T23:13:55Z) - A Hybrid Virtual Element Method and Deep Learning Approach for Solving One-Dimensional Euler-Bernoulli Beams [0.0]
深層学習にVirtual Element Method(VEM)を統合するハイブリッドフレームワークを提案する。
主な目的は、様々な物質変位のフィールドを予測できるデータ駆動サロゲートモデルを探索することである。
ニューラルネットワークアーキテクチャを導入して、ノイズと物質固有のデータを別々に処理し、複雑なインタラクションを効果的にキャプチャする。
論文 参考訳（メタデータ） (2025-01-12T20:34:26Z) - Regularization Through Simultaneous Learning: A Case Study on Plant
Classification [0.0]
本稿では,トランスファーラーニングとマルチタスクラーニングの原則に基づく正規化アプローチである同時学習を紹介する。
我々は、ターゲットデータセットであるUFOP-HVDの補助データセットを活用し、カスタマイズされた損失関数でガイドされた同時分類を容易にする。
興味深いことに,本手法は正規化のないモデルよりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-05-22T19:44:57Z) - A transfer learning enhanced the physics-informed neural network model
for vortex-induced vibration [0.0]
本稿では、VIV(2D)を研究するために、物理インフォームドニューラルネットワーク(PINN)モデルを用いたトランスファーラーニングを提案する。
物理インフォームドニューラルネットワークは、転送学習法と併用することにより、学習効率を高め、大量のデータセットを必要とせずに、ソースモデルからの共通特性知識による目標タスクの予測可能性を維持する。
論文 参考訳（メタデータ） (2021-12-29T08:20:23Z) - Improved Speech Emotion Recognition using Transfer Learning and
Spectrogram Augmentation [56.264157127549446]
音声感情認識(SER)は、人間とコンピュータの相互作用において重要な役割を果たす課題である。
SERの主な課題の1つは、データの不足である。
本稿では,スペクトログラム拡張と併用した移動学習戦略を提案する。
論文 参考訳（メタデータ） (2021-08-05T10:39:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。