論文の概要: Characterization of anomalous diffusion through convolutional
transformers
- arxiv url: http://arxiv.org/abs/2210.04959v1
- Date: Mon, 10 Oct 2022 18:53:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 17:32:28.045157
- Title: Characterization of anomalous diffusion through convolutional
transformers
- Title（参考訳）: 畳み込み変圧器による異常拡散のキャラクタリゼーション
- Authors: Nicol\'as Firbas, \`Oscar Garibo-i-Orts, Miguel \'Angel Garcia-March,
J. Alberto Conejero
- Abstract要約: 本稿では, 異常拡散のキャラクタリゼーションのためのトランスフォーマーに基づくニューラルネットワークアーキテクチャを提案する。
新たなアーキテクチャであるConvTransformer(ConvTransformer)は、二層畳み込みニューラルネットワークを使用して、拡散軌道から特徴を抽出します。
我々は,ConvTransformerが,短い軌跡において,基礎となる拡散状態を決定する上で,従来の技術よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 0.8984888893275713
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The results of the Anomalous Diffusion Challenge (AnDi Challenge) have shown
that machine learning methods can outperform classical statistical methodology
at the characterization of anomalous diffusion in both the inference of the
anomalous diffusion exponent alpha associated with each trajectory (Task 1),
and the determination of the underlying diffusive regime which produced such
trajectories (Task 2). Furthermore, of the five teams that finished in the top
three across both tasks of the AnDi challenge, three of those teams used
recurrent neural networks (RNNs). While RNNs, like the long short-term memory
(LSTM) network, are effective at learning long-term dependencies in sequential
data, their key disadvantage is that they must be trained sequentially. In
order to facilitate training with larger data sets, by training in parallel, we
propose a new transformer based neural network architecture for the
characterization of anomalous diffusion. Our new architecture, the
Convolutional Transformer (ConvTransformer) uses a bi-layered convolutional
neural network to extract features from our diffusive trajectories that can be
thought of as being words in a sentence. These features are then fed to two
transformer encoding blocks that perform either regression or classification.
To our knowledge, this is the first time transformers have been used for
characterizing anomalous diffusion. Moreover, this may be the first time that a
transformer encoding block has been used with a convolutional neural network
and without the need for a transformer decoding block or positional encoding.
Apart from being able to train in parallel, we show that the ConvTransformer is
able to outperform the previous state of the art at determining the underlying
diffusive regime in short trajectories (length 10-50 steps), which are the most
important for experimental researchers.
- Abstract（参考訳）: 異常拡散チャレンジ(andiチャレンジ)の結果は、各軌道に付随する異常拡散指数アルファの推論と、そのような軌道を発生させる拡散機構の決定の両方において、異常拡散の特徴付けにおいて、機械学習手法が古典的統計的方法論を上回ることができることを示した(タスク2)。
さらに、AnDiチャレンジの両タスクでトップ3に入った5つのチームのうち、3つのチームはリカレントニューラルネットワーク(RNN)を使用していた。
長い短期記憶(LSTM)ネットワークのように、RNNはシーケンシャルデータにおける長期的な依存関係を学習するのに効果的であるが、その主な欠点は、シーケンシャルにトレーニングする必要があることである。
大規模データセットによるトレーニングを容易にするために, 並列トレーニングにより, 異常拡散のキャラクタリゼーションのための新しいトランスフォーマーベースニューラルネットワークアーキテクチャを提案する。
我々の新しいアーキテクチャである畳み込みトランスフォーマー(convtransformer)は、二層畳み込みニューラルネットワークを使用して、文中の単語と考えることのできる拡散的軌跡から特徴を抽出する。
これらの特徴は、回帰または分類を行う2つのトランスフォーマーエンコーディングブロックに供給される。
我々の知る限り、異常拡散を特徴づけるためにトランスフォーマーが使われるのはこれが初めてである。
さらに、変換ブロックを符号化するトランスフォーマーが畳み込みニューラルネットワークで使われ、トランスフォーマーデコードブロックや位置符号化を必要としないのは、これが初めてかもしれない。
並列に訓練できることとは別に、convtransformerは、実験研究者にとって最も重要な、短い軌跡(長さ10〜50歩)において、基礎となる拡散的レジームを決定する際に、前回の状態を上回ることができることを示した。
関連論文リスト
- In-Context Convergence of Transformers [63.04956160537308]
勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。
不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
論文 参考訳（メタデータ） (2023-10-08T17:55:33Z) - Sparsifying Bayesian neural networks with latent binary variables and
normalizing flows [10.865434331546126]
潜伏二元系ベイズニューラルネットワーク(LBBNN)の2つの拡張について検討する。
まず、隠れたユニットを直接サンプリングするためにLRT(Local Reparametrization trick)を用いることで、より計算効率の良いアルゴリズムが得られる。
さらに, LBBNNパラメータの変動後分布の正規化フローを用いて, 平均体ガウス分布よりも柔軟な変動後分布を学習する。
論文 参考訳（メタデータ） (2023-05-05T09:40:28Z) - Deep Transformers without Shortcuts: Modifying Self-attention for
Faithful Signal Propagation [105.22961467028234]
ディープニューラルネットワーク(DNN)のトレーニングにおいて,スキップ接続と正規化レイヤはユビキタスである
Deep Kernel Shapingのような最近のアプローチは、それらへの依存を減らすために進歩しました。
しかし、これらのアプローチは変換器に存在する自己注意層とは相容れない。
論文 参考訳（メタデータ） (2023-02-20T21:26:25Z) - DeMT: Deformable Mixer Transformer for Multi-Task Learning of Dense
Prediction [40.447092963041236]
変形可能なCNNとクエリベースのTransformerの利点を組み合わせた新しいMTLモデルを提案する。
提案手法は, 単純かつ効率的なエンコーダ・デコーダアーキテクチャに基づいている。
我々のモデルはGFLOPを少なくし、現在のTransformerやCNNベースの競合モデルよりも大幅に優れています。
論文 参考訳（メタデータ） (2023-01-09T16:00:15Z) - Error Correction Code Transformer [92.10654749898927]
本稿では,トランスフォーマーアーキテクチャを任意のブロック長で線形符号のソフトデコードに拡張することを提案する。
我々は,各チャネルの出力次元を高次元に符号化し,個別に処理すべきビット情報のより良い表現を行う。
提案手法は、トランスフォーマーの極端なパワーと柔軟性を示し、既存の最先端のニューラルデコーダを、その時間的複雑さのごく一部で大きなマージンで上回る。
論文 参考訳（メタデータ） (2022-03-27T15:25:58Z) - Redesigning the Transformer Architecture with Insights from
Multi-particle Dynamical Systems [32.86421107987556]
我々は,従来の微分方程式の数値解法として,ディープニューラルネットワークを解析する最近の発展の上に構築する。
時間的進化計画であるTransEvolveを定式化し、複数の積層層にコストのかかるドット積の注意をバイパスする。
我々は、よく知られたエンコーダデコーダとエンコーダのみのタスクでTransEvolveで徹底的な実験を行う。
論文 参考訳（メタデータ） (2021-09-30T14:01:06Z) - nnFormer: Interleaved Transformer for Volumetric Segmentation [50.10441845967601]
本稿では,自己意図と畳み込みを実証的に組み合わせた,インターリーブアーキテクチャを備えた強力なセグメンテーションモデルであるnnFormerを紹介する。
nnFormerは、SynapseとACDCの2つの一般的なデータセットで、以前のTransformerベースのメソッドよりも大幅に改善されている。
論文 参考訳（メタデータ） (2021-09-07T17:08:24Z) - Video Super-Resolution Transformer [85.11270760456826]
ビデオ超解像(VSR)は、高解像度映像を対応する低解像度バージョンから復元することを目的としており、時空間シーケンス予測問題である。
近年,シークエンス・ツー・シーケンス・モデリングの並列計算能力により,Transformerが人気を集めている。
本稿では,空間的・時間的畳み込み型自己認識層を理論的に理解し,局所性情報を活用する。
論文 参考訳（メタデータ） (2021-06-12T20:00:32Z) - Transformers Solve the Limited Receptive Field for Monocular Depth
Prediction [82.90445525977904]
畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。
連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
論文 参考訳（メタデータ） (2021-03-22T18:00:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。