論文の概要: Astroformer: More Data Might not be all you need for Classification
- arxiv url: http://arxiv.org/abs/2304.05350v2
- Date: Wed, 26 Apr 2023 20:33:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-28 16:19:22.544317
- Title: Astroformer: More Data Might not be all you need for Classification
- Title（参考訳）: Astroformer: 分類に必要なのはデータ量だけではない
- Authors: Rishit Dagli
- Abstract要約: 少ないデータ量から学習する方法であるAstroformerを紹介する。
提案手法は,Galaxy10 DECalsデータセットの画像から銀河形態を予測するための新たな最先端技術である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancements in areas such as natural language processing and computer
vision rely on intricate and massive models that have been trained using vast
amounts of unlabelled or partly labeled data and training or deploying these
state-of-the-art methods to resource constraint environments has been a
challenge. Galaxy morphologies are crucial to understanding the processes by
which galaxies form and evolve. Efficient methods to classify galaxy
morphologies are required to extract physical information from modern-day
astronomy surveys. In this paper, we introduce Astroformer, a method to learn
from less amount of data. We propose using a hybrid transformer-convolutional
architecture drawing much inspiration from the success of CoAtNet and MaxViT.
Concretely, we use the transformer-convolutional hybrid with a new stack design
for the network, a different way of creating a relative self-attention layer,
and pair it with a careful selection of data augmentation and regularization
techniques. Our approach sets a new state-of-the-art on predicting galaxy
morphologies from images on the Galaxy10 DECals dataset, a science objective,
which consists of 17736 labeled images achieving 94.86% top-$1$ accuracy,
beating the current state-of-the-art for this task by 4.62%. Furthermore, this
approach also sets a new state-of-the-art on CIFAR-100 and Tiny ImageNet. We
also find that models and training methods used for larger datasets would often
not work very well in the low-data regime.
- Abstract（参考訳）: 自然言語処理やコンピュータビジョンなどの分野の最近の進歩は、膨大な量の未ラベルまたは部分的にラベル付けされたデータを用いて訓練された複雑で大規模なモデルに依存しており、これらの最先端の手法をリソース制約環境にデプロイすることは困難である。
銀河形態学は銀河の形成と進化の過程を理解するために重要である。
銀河の形態を分類する効率的な方法は、現代の天文学調査から物理情報を抽出するために必要である。
本稿では,少ないデータ量から学習するastroformerを提案する。
我々はCoAtNetとMaxViTの成功から多くのインスピレーションを得たハイブリッドトランスフォーマー・畳み込みアーキテクチャを提案する。
具体的には、トランスフォーマー-畳み込みハイブリッドと、ネットワークのための新しいスタック設計、相対的な自己アテンション層を作成する異なる方法、およびデータ拡張と正規化の慎重な選択と組み合わせる。
提案手法では,Galaxy10 DECalsデータセット上の画像から銀河形態を予測するための新たな最先端技術が設定されている。これは17736個のラベル付き画像からなり,94.86%の精度でこのタスクの現在の状態を4.62%上回っている。
さらに、このアプローチはCIFAR-100とTiny ImageNetの新たな最先端も設定する。
また、大きなデータセットに使用するモデルやトレーニング手法は、低データ環境ではうまく動作しないことが多いことが分かりました。
関連論文リスト
- Large-Scale Data-Free Knowledge Distillation for ImageNet via Multi-Resolution Data Generation [53.95204595640208]
Data-Free Knowledge Distillation (DFKD)は、教師モデルから生徒モデルへの知識伝達を可能にする高度な技術である。
従来のアプローチでは、実際の画像の情報を活用することなく、高解像度で合成画像を生成してきた。
MUSEは、クラスアクティベーションマップ(CAM)を使用して、低い解像度で画像を生成し、生成された画像が重要なクラス固有の特徴を保持することを保証する。
論文 参考訳（メタデータ） (2024-11-26T02:23:31Z) - Diff-Mosaic: Augmenting Realistic Representations in Infrared Small Target Detection via Diffusion Prior [63.64088590653005]
本稿では拡散モデルに基づくデータ拡張手法であるDiff-Mosaicを提案する。
我々は,モザイク画像を高度に調整し,リアルな画像を生成するPixel-Priorという拡張ネットワークを導入する。
第2段階では,Diff-Prior という画像強調戦略を提案する。
論文 参考訳（メタデータ） (2024-06-02T06:23:05Z) - A Versatile Framework for Analyzing Galaxy Image Data by Implanting Human-in-the-loop on a Large Vision Model [14.609681101463334]
大型ビジョンモデル(LVM)と下流タスク(DST)に基づく銀河画像の一般解析のためのフレームワークを提案する。
銀河画像の低信号-雑音比を考えると、我々は大きな視覚モデルにHuman-in-the-loop (HITL)モジュールを組み込んだ。
1000のデータポイントでトレーニングされたオブジェクト検出では、DSTが96.7%、ResNet50とMask R-CNNが93.1%である。
論文 参考訳（メタデータ） (2024-05-17T16:29:27Z) - Discovering Galaxy Features via Dataset Distillation [7.121183597915665]
多くのアプリケーションにおいて、ニューラルネット(NN)は、人間の能力以上の分類性能を持つ。
ここでは、このアイデアを銀河分類の非常に難しい課題に適用する。
ニューラルネットワークのレンズを通して原型銀河形態を要約し視覚化する新しい方法を提案する。
論文 参考訳（メタデータ） (2023-11-29T12:39:31Z) - A Simple and Efficient Baseline for Data Attribution on Images [107.12337511216228]
現在の最先端のアプローチでは、モデル予測を正確に評価するために、最大30万のモデルの大規模なアンサンブルが必要となる。
本研究では、自己教師付き学習によって事前訓練されたバックボーンの特徴空間を利用して、データ帰属を行うミニマリストベースラインに焦点を当てる。
提案手法はモデルに依存しず,大規模データセットに容易にスケールできる。
論文 参考訳（メタデータ） (2023-11-03T17:29:46Z) - Spiral-Elliptical automated galaxy morphology classification from
telescope images [0.40792653193642503]
我々は、望遠鏡の銀河画像から効率的に抽出できる2つの新しい銀河形態統計、降下平均と降下分散を開発した。
我々は,Sloan Digital Sky Surveyの銀河画像データを用いて,提案した画像統計の有効性能を実証した。
論文 参考訳（メタデータ） (2023-10-10T22:36:52Z) - AMIGO: Sparse Multi-Modal Graph Transformer with Shared-Context
Processing for Representation Learning of Giga-pixel Images [53.29794593104923]
本稿では,スライド病理像全体に対する共有コンテキスト処理の新たな概念を提案する。
AMIGOは、組織内のセルラーグラフを使用して、患者に単一の表現を提供する。
我々のモデルは、データの20%以下で同じ性能を達成できる程度に、欠落した情報に対して強い堅牢性を示す。
論文 参考訳（メタデータ） (2023-03-01T23:37:45Z) - Semi-Supervised Domain Adaptation for Cross-Survey Galaxy Morphology
Classification and Anomaly Detection [57.85347204640585]
We developed a Universal Domain Adaptation method DeepAstroUDA。
異なるタイプのクラスオーバーラップしたデータセットに適用することができる。
初めて、我々は2つの非常に異なる観測データセットに対するドメイン適応の有効利用を実演した。
論文 参考訳（メタデータ） (2022-11-01T18:07:21Z) - InvGAN: Invertible GANs [88.58338626299837]
InvGANはInvertible GANの略で、高品質な生成モデルの潜在空間に実際の画像を埋め込むことに成功した。
これにより、画像のインペイント、マージ、オンラインデータ拡張を実行できます。
論文 参考訳（メタデータ） (2021-12-08T21:39:00Z) - Morphological classification of astronomical images with limited
labelling [0.0]
本稿では, 対向オートエンコーダ(AAE)モデルの能動的学習に基づく, 銀河形態分類の効果的な半教師付き手法を提案する。
2値分類問題(Galaxy Zoo 2決定木のトップレベル問題)では、わずか0.86万のマークアップアクションで、テスト部分で93.1%の精度を達成した。
マークアップ精度が95.5%のベストモデルです。
論文 参考訳（メタデータ） (2021-04-27T19:26:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。