論文の概要: Optimizing a Transformer-based network for a deep learning seismic processing workflow

• arxiv url: http://arxiv.org/abs/2308.04739v1
• Date: Wed, 9 Aug 2023 07:11:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-10 14:51:38.559086
• Title: Optimizing a Transformer-based network for a deep learning seismic processing workflow
• Title（参考訳）: ディープラーニング地震処理ワークフローのためのTransformerベースのネットワークの最適化
• Authors: Randy Harsuko and Tariq Alkhalifah
• Abstract要約: StorSeismicは、様々な地震処理タスクに対応するためにTransformerをベースとした最近導入されたモデルである。 微調整作業における事前学習と競争の速さを観察し,バニラモデルと比較してトレーニングすべきパラメータを少なくする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: StorSeismic is a recently introduced model based on the Transformer to adapt to various seismic processing tasks through its pretraining and fine-tuning training strategy. In the original implementation, StorSeismic utilized a sinusoidal positional encoding and a conventional self-attention mechanism, both borrowed from the natural language processing (NLP) applications. For seismic processing they admitted good results, but also hinted to limitations in efficiency and expressiveness. We propose modifications to these two key components, by utilizing relative positional encoding and low-rank attention matrices as replacements to the vanilla ones. The proposed changes are tested on processing tasks applied to a realistic Marmousi and offshore field data as a sequential strategy, starting from denoising, direct arrival removal, multiple attenuation, and finally root-mean-squared velocity ($V_{RMS}$) prediction for normal moveout (NMO) correction. We observe faster pretraining and competitive results on the fine-tuning tasks and, additionally, fewer parameters to train compared to the vanilla model.
• Abstract（参考訳）: StorSeismicはTransformerをベースにした最近導入されたモデルで、事前訓練と微調整の訓練戦略を通じて様々な地震処理タスクに適応する。 オリジナルの実装では、StorSeismicは、自然言語処理(NLP)アプリケーションから借用された正弦波位置符号化と従来の自己認識機構を利用していた。 地震処理では良い結果を認めたが、効率と表現性の限界も示唆した。 相対的な位置エンコーディングと低ランクアテンション行列をバニラの代替として利用することにより,これら2つのキーコンポーネントの修正を提案する。 提案手法は現実的なマルムージおよびオフショアのフィールドデータに適用した処理タスクを逐次的戦略として検証し,正規移動(NMO)補正のための復調,直接到着除去,多重減衰,根平均二乗速度(V_{RMS}$)予測から導いた。 微調整タスクの事前トレーニングと競合結果の速さに加えて,バニラモデルと比較してトレーニングすべきパラメータも少ない。

関連論文リスト

• FiRST: Finetuning Router-Selective Transformers for Input-Adaptive Latency Reduction [11.146015814220858]
  FIRSTは、層固有のルータを使用して、各入力シーケンスに適応的にトランスフォーマー層のサブセットを選択することで、推論レイテンシを低減するアルゴリズムである。 私たちのアプローチでは、入力適応性は重要であり、タスクによって異なるタスク固有の中間層が隠れた表現を進化させる上で重要な役割を担っています。
  論文  参考訳（メタデータ） (2024-10-16T12:45:35Z)
• A convolutional neural network approach to deblending seismic data [1.5488464287814563]
  本稿では,高速かつ効率的な地震探査のためのデータ駆動深層学習手法を提案する。 地震データの特徴に応じて畳み込みニューラルネットワーク(CNN)を設計する。 ネットワークのトレーニングと検証を行った後、ほぼリアルタイムで地震波のたわみを行うことができる。
  論文  参考訳（メタデータ） (2024-09-12T10:54:35Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Uncovering mesa-optimization algorithms in Transformers [61.06055590704677]
  いくつかの自己回帰モデルは、入力シーケンスが処理されたときに学習でき、パラメータの変更を受けずに、それを行うように明示的に訓練されていない。 我々は,新しい入力が明らかになったときにモデルを調整するための補助学習アルゴリズムが,標準の次トーケン予測誤差最小化によって生まれることを示す。 本研究は、自己回帰損失最小化の産物としてコンテキスト内学習を説明し、新しい最適化ベースのトランスフォーマー層の設計を通知する。
  論文  参考訳（メタデータ） (2023-09-11T22:42:50Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Deep Preconditioners and their application to seismic wavefield processing [0.0]
  スペーサリティプロモーティング・インバージョンと固定基底スペーサ変換は、多くの処理タスクに対するゴート・アプローチを表している。 本稿では,入力された地震データと代表潜在多様体との直接マッピングを学習するために,オートエンコーダネットワークを訓練することを提案する。 トレーニングされたデコーダはその後、物理駆動逆問題に対する非線形プレコンディショナーとして使用される。
  論文  参考訳（メタデータ） (2022-07-20T14:25:32Z)
• StorSeismic: A new paradigm in deep learning for seismic processing [0.0]
  StorSeismicは地震データ処理のフレームワークである。 我々は, 自己監督段階において, 人工的に生成された地震データとともに, 事前訓練を行った。 そして,ラベル付き合成データを用いて,事前学習したネットワークを教師付き方式で微調整し,各種の耐震処理を行う。
  論文  参考訳（メタデータ） (2022-04-30T09:55:00Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)
• Dynamic Scale Training for Object Detection [111.33112051962514]
  本稿では,オブジェクト検出におけるスケール変動問題を軽減するために,動的スケールトレーニングパラダイム(DST)を提案する。 提案したDSTのスケール変動処理に対する有効性を示す実験結果を得た。 推論オーバーヘッドを導入せず、一般的な検出設定のための無料ランチとして機能する。
  論文  参考訳（メタデータ） (2020-04-26T16:48:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。