論文の概要: Unsupervised construction of representations for oil wells via Transformers

• arxiv url: http://arxiv.org/abs/2212.14246v1
• Date: Thu, 29 Dec 2022 09:56:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 17:07:48.108629
• Title: Unsupervised construction of representations for oil wells via Transformers
• Title（参考訳）: 変圧器による油井表象の教師なし構築
• Authors: Alina Rogulina, Nikita Baramiia, Valerii Kornilov, Sergey Petrakov, Alexey Zaytsev
• Abstract要約: 掘削坑井の貯留層形成特性を決定するため, 坑井内部の類似性について検討した。 Informer や Performer と同様の注意機構を限定的に導入する。 ROC AUC 0.824、ROC AUC 0.934によるリカレントニューラルネットワーク、ROC AUC 0.961によるトランスフォーマーの簡単な使用など、従来のアプローチよりも優れている。
• 参考スコア（独自算出の注目度）: 0.8733767481819791
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Determining and predicting reservoir formation properties for newly drilled wells represents a significant challenge. One of the variations of these properties evaluation is well-interval similarity. Many methodologies for similarity learning exist: from rule-based approaches to deep neural networks. Recently, articles adopted, e.g. recurrent neural networks to build a similarity model as we deal with sequential data. Such an approach suffers from short-term memory, as it pays more attention to the end of a sequence. Neural network with Transformer architecture instead cast their attention over all sequences to make a decision. To make them more efficient in terms of computational time, we introduce a limited attention mechanism similar to Informer and Performer architectures. We conduct experiments on open datasets with more than 20 wells making our experiments reliable and suitable for industrial usage. The best results were obtained with our adaptation of the Informer variant of Transformer with ROC AUC 0.982. It outperforms classical approaches with ROC AUC 0.824, Recurrent neural networks with ROC AUC 0.934 and straightforward usage of Transformers with ROC AUC 0.961.
• Abstract（参考訳）: 新しく掘削した坑井の貯留層形成特性の決定と予測は重要な課題である。 これらの性質評価のバリエーションの1つは、相互間の相似性である。 規則に基づくアプローチからディープニューラルネットワークまで、多くの類似性学習の方法論が存在する。 近年、シーケンシャルデータを扱う際に類似性モデルを構築するために、リカレントニューラルネットワークなどの記事が採用されている。 このようなアプローチは、シーケンスの最後により多くの注意を払うため、短期記憶に悩まされる。 Transformerアーキテクチャを備えたニューラルネットワークは、決定のためにすべてのシーケンスに注意を向けた。 計算時間をより効率的にするために,情報提供者と演奏者アーキテクチャに類似した限定的な注意機構を導入する。 オープンデータセットで20以上の井戸を用いて実験を行い,産業利用に適した信頼性の高い実験を行った。 その結果, ROC AUC 0.982 を用いた Transformer の Informer 版が得られた。 ROC AUC 0.824、ROC AUC 0.934によるリカレントニューラルネットワーク、ROC AUC 0.961によるトランスフォーマーの簡単な使用など、従来のアプローチよりも優れている。

関連論文リスト

• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Rough Transformers: Lightweight Continuous-Time Sequence Modelling with Path Signatures [46.58170057001437]
  本稿では,入力シーケンスの連続時間表現で動作するトランスフォーマーモデルのバリエーションであるRough Transformerを紹介する。 様々な時系列関連タスクにおいて、Rough Transformersはベニラアテンションよりも常に優れています。
  論文  参考訳（メタデータ） (2024-05-31T14:00:44Z)
• Rough Transformers for Continuous and Efficient Time-Series Modelling [46.58170057001437]
  実世界の医療環境における時系列データは、典型的には長距離依存を示し、一様でない間隔で観察される。 本稿では,入力シーケンスの連続時間表現で動作するトランスフォーマーモデルのバリエーションであるRough Transformerを紹介する。 Rough Transformersは、Neural ODEベースのモデルの利点を得ながら、バニラアテンションを一貫して上回ります。
  論文  参考訳（メタデータ） (2024-03-15T13:29:45Z)
• iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
  iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。 iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:44:09Z)
• Are Transformers Effective for Time Series Forecasting? [13.268196448051308]
  近年、時系列予測(TSF)タスクのためのTransformerベースのソリューションが急増している。 本研究は,Transformer-based techniqueが長期時系列予測に適した解であるかどうかを考察する。 変換器をベースとした解の長期予測精度が比較的高いことは,変換器アーキテクチャの時間的関係抽出能力とはほとんど関係がないことがわかった。
  論文  参考訳（メタデータ） (2022-05-26T17:17:08Z)
• Causal Transformer for Estimating Counterfactual Outcomes [18.640006398066188]
  多くのアプリケーションでは、観測データから時間とともに反現実的な結果を予測することが重要となる。 我々は、時間とともに反現実的な結果を予測するための新しい因果変換器を開発した。 私たちのモデルは、時間によって異なる共同設立者間の複雑な長距離依存関係をキャプチャするために特別に設計されています。
  論文  参考訳（メタデータ） (2022-04-14T22:40:09Z)
• Transformers predicting the future. Applying attention in next-frame and time series forecasting [0.0]
  繰り返しニューラルネットワークは、最近まで、シーケンス内のタイムリーな依存関係をキャプチャする最良の方法の1つでした。 トランスフォーマーの導入により、RNNのない注意機構しか持たないアーキテクチャが、様々なシーケンス処理タスクの結果を改善することが証明された。
  論文  参考訳（メタデータ） (2021-08-18T16:17:29Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)
• Long Range Arena: A Benchmark for Efficient Transformers [115.1654897514089]
  ロングレンジアリーナベンチマーク(Long-rangearena benchmark)は、1Kドルから16Kドルまでの一連のタスクからなるスイートである。 我々は,新たに提案したベンチマークスイートを用いて,よく確立された10種類の長距離トランスフォーマーモデルを体系的に評価した。
  論文  参考訳（メタデータ） (2020-11-08T15:53:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。