論文の概要: Unsupervised construction of representations for oil wells via
Transformers
- arxiv url: http://arxiv.org/abs/2212.14246v1
- Date: Thu, 29 Dec 2022 09:56:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 17:07:48.108629
- Title: Unsupervised construction of representations for oil wells via
Transformers
- Title(参考訳): 変圧器による油井表象の教師なし構築
- Authors: Alina Rogulina, Nikita Baramiia, Valerii Kornilov, Sergey Petrakov,
Alexey Zaytsev
- Abstract要約: 掘削坑井の貯留層形成特性を決定するため, 坑井内部の類似性について検討した。
Informer や Performer と同様の注意機構を限定的に導入する。
ROC AUC 0.824、ROC AUC 0.934によるリカレントニューラルネットワーク、ROC AUC 0.961によるトランスフォーマーの簡単な使用など、従来のアプローチよりも優れている。
- 参考スコア(独自算出の注目度): 0.8733767481819791
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Determining and predicting reservoir formation properties for newly drilled
wells represents a significant challenge. One of the variations of these
properties evaluation is well-interval similarity.
Many methodologies for similarity learning exist: from rule-based approaches
to deep neural networks. Recently, articles adopted, e.g. recurrent neural
networks to build a similarity model as we deal with sequential data. Such an
approach suffers from short-term memory, as it pays more attention to the end
of a sequence.
Neural network with Transformer architecture instead cast their attention
over all sequences to make a decision. To make them more efficient in terms of
computational time, we introduce a limited attention mechanism similar to
Informer and Performer architectures.
We conduct experiments on open datasets with more than 20 wells making our
experiments reliable and suitable for industrial usage. The best results were
obtained with our adaptation of the Informer variant of Transformer with ROC
AUC 0.982. It outperforms classical approaches with ROC AUC 0.824, Recurrent
neural networks with ROC AUC 0.934 and straightforward usage of Transformers
with ROC AUC 0.961.
- Abstract(参考訳): 新しく掘削した坑井の貯留層形成特性の決定と予測は重要な課題である。
これらの性質評価のバリエーションの1つは、相互間の相似性である。
規則に基づくアプローチからディープニューラルネットワークまで、多くの類似性学習の方法論が存在する。
近年、シーケンシャルデータを扱う際に類似性モデルを構築するために、リカレントニューラルネットワークなどの記事が採用されている。
このようなアプローチは、シーケンスの最後により多くの注意を払うため、短期記憶に悩まされる。
Transformerアーキテクチャを備えたニューラルネットワークは、決定のためにすべてのシーケンスに注意を向けた。
計算時間をより効率的にするために,情報提供者と演奏者アーキテクチャに類似した限定的な注意機構を導入する。
オープンデータセットで20以上の井戸を用いて実験を行い,産業利用に適した信頼性の高い実験を行った。
その結果, ROC AUC 0.982 を用いた Transformer の Informer 版が得られた。
ROC AUC 0.824、ROC AUC 0.934によるリカレントニューラルネットワーク、ROC AUC 0.961によるトランスフォーマーの簡単な使用など、従来のアプローチよりも優れている。
関連論文リスト
- Correlated Attention in Transformers for Multivariate Time Series [22.542109523780333]
本稿では,特徴量依存を効率的に捕捉し,既存のトランスフォーマーのエンコーダブロックにシームレスに統合できる新しいアテンション機構を提案する。
特に、関連性のある注意は、特徴チャネルを横断して、クエリとキー間の相互共分散行列をラグ値で計算し、サブシリーズレベルで選択的に表現を集約する。
このアーキテクチャは、瞬時だけでなく、ラタグされた相互相関の発見と表現の学習を容易にすると同時に、本質的に時系列の自動相関をキャプチャする。
論文 参考訳(メタデータ) (2023-11-20T17:35:44Z) - iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。
iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
論文 参考訳(メタデータ) (2023-10-10T13:44:09Z) - Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。
単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
論文 参考訳(メタデータ) (2023-05-26T00:43:02Z) - Fourier Transformer: Fast Long Range Modeling by Removing Sequence
Redundancy with FFT Operator [24.690247474891958]
フーリエ変換器は、様々な大きな事前訓練されたモデルから継承する能力を維持しながら、計算コストを大幅に削減することができる。
本モデルは,長距離モデリングベンチマークLRAにおいて,トランスフォーマーベースモデル間の最先端性能を実現する。
CNN/DailyMailやELI5などのシークエンシャルなシークエンスタスクでは、BARTを継承することで、私たちのモデルは標準のBARTよりも優れています。
論文 参考訳(メタデータ) (2023-05-24T12:33:06Z) - FormerTime: Hierarchical Multi-Scale Representations for Multivariate
Time Series Classification [53.55504611255664]
formerTimeは、多変量時系列分類タスクの分類能力を改善する階層的表現モデルである。
1)時系列データから階層的なマルチスケール表現を学習し、(2)トランスフォーマーと畳み込みネットワークの強さを継承し、(3)自己維持メカニズムによって引き起こされる効率の課題に取り組む。
論文 参考訳(メタデータ) (2023-02-20T07:46:14Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳(メタデータ) (2023-01-05T13:59:29Z) - Are Transformers Effective for Time Series Forecasting? [13.268196448051308]
近年、時系列予測(TSF)タスクのためのTransformerベースのソリューションが急増している。
本研究は,Transformer-based techniqueが長期時系列予測に適した解であるかどうかを考察する。
変換器をベースとした解の長期予測精度が比較的高いことは,変換器アーキテクチャの時間的関係抽出能力とはほとんど関係がないことがわかった。
論文 参考訳(メタデータ) (2022-05-26T17:17:08Z) - Causal Transformer for Estimating Counterfactual Outcomes [18.640006398066188]
多くのアプリケーションでは、観測データから時間とともに反現実的な結果を予測することが重要となる。
我々は、時間とともに反現実的な結果を予測するための新しい因果変換器を開発した。
私たちのモデルは、時間によって異なる共同設立者間の複雑な長距離依存関係をキャプチャするために特別に設計されています。
論文 参考訳(メタデータ) (2022-04-14T22:40:09Z) - Transformers predicting the future. Applying attention in next-frame and
time series forecasting [0.0]
繰り返しニューラルネットワークは、最近まで、シーケンス内のタイムリーな依存関係をキャプチャする最良の方法の1つでした。
トランスフォーマーの導入により、RNNのない注意機構しか持たないアーキテクチャが、様々なシーケンス処理タスクの結果を改善することが証明された。
論文 参考訳(メタデータ) (2021-08-18T16:17:29Z) - Transformers Solve the Limited Receptive Field for Monocular Depth
Prediction [82.90445525977904]
畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。
連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
論文 参考訳(メタデータ) (2021-03-22T18:00:13Z) - Long Range Arena: A Benchmark for Efficient Transformers [115.1654897514089]
ロングレンジアリーナベンチマーク(Long-rangearena benchmark)は、1Kドルから16Kドルまでの一連のタスクからなるスイートである。
我々は,新たに提案したベンチマークスイートを用いて,よく確立された10種類の長距離トランスフォーマーモデルを体系的に評価した。
論文 参考訳(メタデータ) (2020-11-08T15:53:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。