論文の概要: Finding Strong Gravitational Lenses Through Self-Attention
- arxiv url: http://arxiv.org/abs/2110.09202v1
- Date: Mon, 18 Oct 2021 11:40:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-20 00:17:17.758618
- Title: Finding Strong Gravitational Lenses Through Self-Attention
- Title（参考訳）: 自己注意による強い重力レンズの発見
- Authors: Hareesh Thuruthipilly, Adam Zadrozny, and Agnieszka Pollo
- Abstract要約: 本稿では,強い重力レンズを見つけるための自己アテンションの原理に基づく新しい自動アーキテクチャを提案する。
ボローニャレンズチャレンジから重力レンズを識別するために,21個の自己注意型エンコーダモデルと4つの畳み込みニューラルネットワークを構築した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The upcoming large scale surveys are expected to find approximately $10^5$
strong gravitational systems by analyzing data of many orders of magnitude than
the current era. In this scenario, non-automated techniques will be highly
challenging and time-consuming. We propose a new automated architecture based
on the principle of self-attention to find strong gravitational lensing. The
advantages of self-attention based encoder models over convolution neural
networks are investigated and encoder models are analyzed to optimize
performance. We constructed 21 self-attention based encoder models and four
convolution neural networks trained to identify gravitational lenses from the
Bologna Lens Challenge. Each model is trained separately using 18,000 simulated
images, cross-validated using 2 000 images, and then applied to a test set with
100 000 images. We used four different metrics for evaluation: classification
accuracy, the area under the receiver operating characteristic curve (AUROC),
the $TPR_0$ score and the $TPR_{10}$ score. The performance of the
self-attention based encoder models and CNN's participated in the challenge are
compared. The encoder models performed better than the CNNs and surpassed the
CNN models that participated in the bologna lens challenge by a high margin for
the $TPR_0$ and $TPR_{10}$. In terms of the AUROC, the encoder models scored
equivalent to the top CNN model by only using one-sixth parameters to that of
the CNN. Self-Attention based models have a clear advantage compared to simpler
CNNs. A low computational cost and complexity make it a highly competing
architecture to currently used residual neural networks. Moreover, introducing
the encoder layers can also tackle the over-fitting problem present in the
CNN's by acting as effective filters.
- Abstract（参考訳）: 今後の大規模調査では、現在よりも多くのオーダーのデータを分析することで、約10^5$の強い重力系が見つかると予想されている。
このシナリオでは、非自動化技術は非常に困難で時間がかかります。
我々は,強い重力レンズを求めるために,自己着眼原理に基づく新しい自動化アーキテクチャを提案する。
畳み込みニューラルネットワークに対する自己アテンションに基づくエンコーダモデルの利点を調査し,エンコーダモデルを解析して性能を最適化する。
ボローニャレンズチャレンジから重力レンズを識別するために,21個の自己注意型エンコーダモデルと4つの畳み込みニューラルネットワークを構築した。
各モデルは、18,000のシミュレートされたイメージを使用して個別にトレーニングされ、20000のイメージを使用してクロスバリデーションされ、100000のイメージを持つテストセットに適用される。
評価には,分類精度,受信機動作特性曲線(AUROC)以下の面積,TPR_0$スコア,TPR_{10}$スコアの4つの指標を用いた。
この課題に参加した自己注意型エンコーダモデルとCNNのパフォーマンスを比較した。
エンコーダモデルはCNNより優れており、ボローニャレンズチャレンジに参加したCNNモデルよりも高いマージンで$TPR_0$と$TPR_{10}$を上回りました。
AUROCでは、エンコーダモデルが上位のCNNモデルと等価であり、CNNの6分の1のパラメータしか使用していない。
セルフアテンションベースのモデルは、単純なcnnと比較して明らかな利点がある。
計算コストと複雑さが低く、現在使われている残留ニューラルネットワークと非常に競合するアーキテクチャとなっている。
さらに, エンコーダ層の導入により, CNN が持つ過度に適合する問題にも, 効果的なフィルタとして機能させることで対処できる。
関連論文リスト
- Graph Neural Network for Accurate and Low-complexity SAR ATR [2.9766397696234996]
高精度かつ低レイテンシなSAR ATRを実現するために,グラフニューラルネットワーク(GNN)モデルを提案する。
提案したGNNモデルは計算複雑性が低く,高い精度を実現する。
現状のCNNと比較して、提案したGNNモデルは、計算コストが1/3000、モデルサイズが1/80である。
論文 参考訳（メタデータ） (2023-05-11T20:17:41Z) - InternImage: Exploring Large-Scale Vision Foundation Models with
Deformable Convolutions [95.94629864981091]
この研究は、パラメータの増加やViTsのようなトレーニングデータから得られるインターンイメージと呼ばれる、CNNベースの新しい大規模ファンデーションモデルを提案する。
提案されたInternImageは、従来のCNNの厳格な帰納バイアスを低減し、ViTのような大規模データから、より強く堅牢なパターンを学習できるようにする。
論文 参考訳（メタデータ） (2022-11-10T18:59:04Z) - Verifiable and Energy Efficient Medical Image Analysis with Quantised
Self-attentive Deep Neural Networks [7.751856268560217]
本稿では,従来のCNNの代替として,スタンドアローンの自己アテンションモデルを提案する。
分類タスクとセグメント化タスクにおいて,本手法の有効性を実験的に検証した。
論文 参考訳（メタデータ） (2022-09-30T07:51:29Z) - Deep Learning based Coverage and Rate Manifold Estimation in Cellular
Networks [34.83409329913271]
CNN-AEはインド、ブラジル、ドイツ、アメリカの位置情報を用いて訓練されている。
CNN-AEは、カバレッジとレート予測エラーを、それぞれ40%$と25%$のマージンで改善している。
論文 参考訳（メタデータ） (2022-02-13T19:26:44Z) - Exploiting Hybrid Models of Tensor-Train Networks for Spoken Command
Recognition [9.262289183808035]
本研究の目的は,低複雑性音声コマンド認識(SCR)システムの設計である。
我々は、テンソルトレイン(TT)ネットワークの深いハイブリッドアーキテクチャを利用して、エンドツーエンドのSRCパイプラインを構築する。
提案したCNN+(TT-DNN)モデルでは,CNNモデルより4倍少ないモデルパラメータで96.31%の競争精度が得られる。
論文 参考訳（メタデータ） (2022-01-11T05:57:38Z) - BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by
Adversarial Attacks [65.2021953284622]
CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。
結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
論文 参考訳（メタデータ） (2021-03-14T20:43:19Z) - The Mind's Eye: Visualizing Class-Agnostic Features of CNNs [92.39082696657874]
本稿では,特定のレイヤの最も情報性の高い特徴を表現した対応する画像を作成することにより,画像の集合を視覚的に解釈する手法を提案する。
本手法では, 生成ネットワークを必要とせず, 元のモデルに変更を加えることなく, デュアルオブジェクトのアクティベーションと距離損失を利用する。
論文 参考訳（メタデータ） (2021-01-29T07:46:39Z) - On the Performance of Convolutional Neural Networks under High and Low
Frequency Information [13.778851745408133]
画像の高周波・低周波情報に対するCNNモデルの性能について検討する。
トレーニング中のフィルタリングに基づくデータ拡張を提案する。
堅牢性と低周波の一般化の観点から,良好な性能向上が観察されている。
論文 参考訳（メタデータ） (2020-10-30T17:54:45Z) - Deep learning for gravitational-wave data analysis: A resampling
white-box approach [62.997667081978825]
我々は、LIGO検出器からの単一干渉計データを用いて、畳み込みニューラルネットワーク(CNN)を用いて、コンパクトなバイナリコレッセンスにおける重力波(GW)信号を検出する。
CNNはノイズを検出するのに非常に正確だが、GW信号のリコールに十分な感度がないため、CNNはGWトリガの生成よりもノイズ低減に適している。
論文 参考訳（メタデータ） (2020-09-09T03:28:57Z) - Exploring Deep Hybrid Tensor-to-Vector Network Architectures for
Regression Based Speech Enhancement [53.47564132861866]
我々は、CNN-TTというハイブリッドアーキテクチャが、モデルパラメータを小さくして高品質な性能を維持することができることを見出した。
CNN-TTは、音声品質を改善するために、特徴抽出のために下部に複数の畳み込み層で構成されている。
論文 参考訳（メタデータ） (2020-07-25T22:21:05Z) - Approximation and Non-parametric Estimation of ResNet-type Convolutional
Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。
Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文 参考訳（メタデータ） (2019-03-24T19:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。