論文の概要: Self-Attentive Ensemble Transformer: Representing Ensemble Interactions in Neural Networks for Earth System Models

• arxiv url: http://arxiv.org/abs/2106.13924v1
• Date: Mon, 21 Jun 2021 18:17:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-04 19:44:54.357857
• Title: Self-Attentive Ensemble Transformer: Representing Ensemble Interactions in Neural Networks for Earth System Models
• Title（参考訳）: 自己認識型アンサンブル変換器:地球系モデルのためのニューラルネットワークにおけるアンサンブル相互作用の表現
• Authors: Tobias Sebastian Finn
• Abstract要約: ニューラルネットワークを用いた新しいメンバーバイメンバーポストプロセッシング手法を提案する。 私は、アンサンブルデータ同化と自己アテンションからアイデアをブリッジし、その結果、自己アテンション・アンサンブル・トランスフォーマーとなる。 アンサンブル変換器は、アンサンブル拡散を校正し、アンサンブルから追加情報を抽出できることを実証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ensemble data from Earth system models has to be calibrated and post-processed. I propose a novel member-by-member post-processing approach with neural networks. I bridge ideas from ensemble data assimilation with self-attention, resulting into the self-attentive ensemble transformer. Here, interactions between ensemble members are represented as additive and dynamic self-attentive part. As proof-of-concept, global ECMWF ensemble forecasts are regressed to 2-metre-temperature fields from the ERA5 reanalysis. I demonstrate that the ensemble transformer can calibrate the ensemble spread and extract additional information from the ensemble. Furthermore, the ensemble transformer directly outputs multivariate and spatially-coherent ensemble members. Therefore, self-attention and the transformer technique can be a missing piece for a member-by-member post-processing of ensemble data with neural networks.
• Abstract（参考訳）: 地球系モデルからのデータを校正し、後処理する必要がある。 ニューラルネットワークを用いた新しいメンバーバイメンバーポストプロセッシング手法を提案する。 私は、アンサンブルデータ同化と自己アテンションからアイデアをブリッジし、その結果、自己アテンション型アンサンブルトランスフォーマーとなる。 ここでは、アンサンブル部材間の相互作用を付加物および動的自己着脱部品として表現する。 概念実証として、グローバルECMWFアンサンブル予測は、ERA5の再解析から2m温度場に回帰される。 アンサンブル変換器は、アンサンブル拡散を校正し、アンサンブルから追加情報を抽出できることを実証する。 さらに、アンサンブル変換器は、多変量及び空間コヒーレントアンサンブル部材を直接出力する。 したがって、自己組織化とトランスフォーマー技術は、ニューラルネットワークによるアンサンブルデータのメンバごとの後処理に欠けている部分である。

関連論文リスト

• Scaled and Inter-token Relation Enhanced Transformer for Sample-restricted Residential NILM [0.0]
  そこで本研究では,原型変圧器のアテンション機構を向上し,性能を向上させるための2つの新しい機構を提案する。 第1のメカニズムは、トレーニング中のトークン類似度行列におけるトークン内関係の優先順位付けを低減し、トークン間焦点を増大させる。 第2のメカニズムは、トークン類似性行列の学習可能な温度チューニングを導入し、固定温度値に関連する過度なスムーシング問題を緩和する。
  論文  参考訳（メタデータ） (2024-10-12T18:58:45Z)
• Transformer Fusion with Optimal Transport [25.022849817421964]
  Fusionは、独立に訓練された複数のニューラルネットワークをマージして、それらの能力を組み合わせる技術である。 本稿では, トランスポートを利用した2つ以上のトランスフォーマーネットワークを (ソフト) に融合させる手法を提案する。
  論文  参考訳（メタデータ） (2023-10-09T13:40:31Z)
• Cost Aggregation with 4D Convolutional Swin Transformer for Few-Shot Segmentation [58.4650849317274]
  Volumetric Aggregation with Transformers (VAT)は、数ショットセグメンテーションのためのコスト集約ネットワークである。 VATは、コスト集約が中心的な役割を果たすセマンティック対応のための最先端のパフォーマンスも達成する。
  論文  参考訳（メタデータ） (2022-07-22T04:10:30Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Full Transformer Framework for Robust Point Cloud Registration with Deep Information Interaction [9.431484068349903]
  最近のTransformerベースの手法は、ポイントクラウドの登録において高度なパフォーマンスを実現している。 近年のCNNは、現地の受容によるグローバルな関係のモデル化に失敗している。 トランスフォーマーの幅の浅いアーキテクチャと位置エンコーディングの欠如は、不明瞭な特徴抽出につながる。
  論文  参考訳（メタデータ） (2021-12-17T08:40:52Z)
• nnFormer: Interleaved Transformer for Volumetric Segmentation [50.10441845967601]
  本稿では,自己意図と畳み込みを実証的に組み合わせた,インターリーブアーキテクチャを備えた強力なセグメンテーションモデルであるnnFormerを紹介する。 nnFormerは、SynapseとACDCの2つの一般的なデータセットで、以前のTransformerベースのメソッドよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2021-09-07T17:08:24Z)
• Rethinking Global Context in Crowd Counting [70.54184500538338]
  純粋な変換器は、重なり合う画像パッチからグローバル情報で特徴を抽出するために用いられる。 分類によってインスピレーションを得て、入力シーケンスにコンテキストトークンを追加し、画像パッチに対応するトークンと情報交換を容易にする。
  論文  参考訳（メタデータ） (2021-05-23T12:44:27Z)
• End-to-End Trainable Multi-Instance Pose Estimation with Transformers [68.93512627479197]
  畳み込みニューラルネットワークとトランスを組み合わせることで,マルチインスタンスポーズ推定のための新たなエンドツーエンドトレーニング可能なアプローチを提案する。 変換器を用いたエンドツーエンドのトレーニング可能なオブジェクト検出に関する最近の研究に触発されて、変換器エンコーダデコーダアーキテクチャとバイパーティイトマッチングスキームを併用して、与えられた画像中のすべての個人のポーズを直接回帰する。 提案モデルであるポーズ推定トランスフォーマ(poet)は,キーポイント損失,キーポイント可視性損失,センター損失,クラス損失からなる,新たなセットベースグローバル損失を用いてトレーニングを行う。
  論文  参考訳（メタデータ） (2021-03-22T18:19:22Z)
• Transformers with Competitive Ensembles of Independent Mechanisms [97.93090139318294]
  隠れた表現とパラメータを複数のメカニズムに分割し、注意を通して情報を交換する新しいトランスフォーマー層を提案する。 TIM を大規模 BERT モデル、画像変換器、および音声強調について研究し、意味的に意味のある専門化とパフォーマンスの向上の証拠を見つけます。
  論文  参考訳（メタデータ） (2021-02-27T21:48:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。