論文の概要: AstroCLIP: A Cross-Modal Foundation Model for Galaxies

• arxiv url: http://arxiv.org/abs/2310.03024v2
• Date: Fri, 14 Jun 2024 17:19:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 19:53:15.383932
• Title: AstroCLIP: A Cross-Modal Foundation Model for Galaxies
• Title（参考訳）: AstroCLIP: 銀河のクロスモーダル基礎モデル
• Authors: Liam Parker, Francois Lanusse, Siavash Golkar, Leopoldo Sarra, Miles Cranmer, Alberto Bietti, Michael Eickenberg, Geraud Krawezik, Michael McCabe, Ruben Ohana, Mariel Pettee, Bruno Regaldo-Saint Blancard, Tiberiu Tesileanu, Kyunghyun Cho, Shirley Ho,
• Abstract要約: AstroCLIPは、銀河の画像とスペクトルを個別に埋め込むため、トランスフォーマーベースの画像とスペクトルエンコーダを自己監督設定で事前訓練する。 教師付きベースラインと比較しても、下流のタスクで顕著なパフォーマンスが得られます。 提案手法は、銀河の画像とスペクトルの自己教師型変換器に基づく最初のアーキテクチャである。
• 参考スコア（独自算出の注目度）: 40.43521617393482
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present AstroCLIP, a single, versatile model that can embed both galaxy images and spectra into a shared, physically meaningful latent space. These embeddings can then be used - without any model fine-tuning - for a variety of downstream tasks including (1) accurate in-modality and cross-modality semantic similarity search, (2) photometric redshift estimation, (3) galaxy property estimation from both images and spectra, and (4) morphology classification. Our approach to implementing AstroCLIP consists of two parts. First, we embed galaxy images and spectra separately by pretraining separate transformer-based image and spectrum encoders in self-supervised settings. We then align the encoders using a contrastive loss. We apply our method to spectra from the Dark Energy Spectroscopic Instrument and images from its corresponding Legacy Imaging Survey. Overall, we find remarkable performance on all downstream tasks, even relative to supervised baselines. For example, for a task like photometric redshift prediction, we find similar performance to a specifically-trained ResNet18, and for additional tasks like physical property estimation (stellar mass, age, metallicity, and sSFR), we beat this supervised baseline by 19\% in terms of $R^2$. We also compare our results to a state-of-the-art self-supervised single-modal model for galaxy images, and find that our approach outperforms this benchmark by roughly a factor of two on photometric redshift estimation and physical property prediction in terms of $R^2$, while remaining roughly in-line in terms of morphology classification. Ultimately, our approach represents the first cross-modal self-supervised model for galaxies, and the first self-supervised transformer-based architectures for galaxy images and spectra.
• Abstract（参考訳）: AstroCLIPは、銀河画像とスペクトルの両方を共有で物理的に意味のある潜在空間に埋め込むことのできる、単一の汎用モデルである。 これらの埋め込みは、(1)正確なインモダリティとクロスモダリティのセマンティック類似性探索、(2)光度赤方偏移推定、(3)画像とスペクトルからの銀河特性推定、(4)形態素分類など、様々な下流タスクに -モデル微調整なしで - 使用できる。 AstroCLIPの実装への我々のアプローチは2つの部分から構成される。 まず、銀河の画像とスペクトルを個別に埋め込むため、トランスフォーマーベースの画像とスペクトルエンコーダを自己監督設定で事前訓練する。 次に、コントラスト損失を使ってエンコーダをアライメントします。 我々はダークエネルギー分光器のスペクトルとそれに対応するレガシーイメージングサーベイの画像に本手法を適用した。 全体としては、教師付きベースラインと比較しても、ダウンストリームタスクで顕著なパフォーマンスが得られます。 例えば、光度赤方偏移予測のようなタスクでは、特定の訓練されたResNet18と同じような性能を示し、物理的特性推定(恒星質量、年齢、金属度、sSFR)では、R^2$という観点で、この教師付きベースラインを19\%上回る。 我々はまた、この結果と、銀河画像に対する最先端の自己教師型単一モードモデルとの比較を行い、この手法は、約2倍の光度赤方偏移推定と物理的特性予測において、R^2$の点で、ほぼ直線的でありながら、このベンチマークよりも優れていることを発見した。 最終的に、我々のアプローチは銀河の画像とスペクトルのための初めての自己監督型トランスフォーマーアーキテクチャである。

関連論文リスト

• AstroSpy: On detecting Fake Images in Astronomy via Joint Image-Spectral Representations [31.75799061059914]
  AI生成画像の普及により、天文学的画像の真正性に対する懸念が高まっている。 本稿では、スペクトル特徴と画像特徴を統合したハイブリッドモデルAstroSpyについて述べる。
  論文  参考訳（メタデータ） (2024-07-09T12:49:44Z)
• Galaxy spectroscopy without spectra: Galaxy properties from photometric images with conditional diffusion models [3.556281115019309]
  我々は、測光広帯域画像のみから光銀河スペクトルを予測できる生成AI法を開発した。 この研究は、測光画像から速度分散を推定するための文献における最初の試みである。 活動銀河核の存在を82%の精度で予測できる。
  論文  参考訳（メタデータ） (2024-06-26T08:49:51Z)
• SpectralGPT: Spectral Remote Sensing Foundation Model [60.023956954916414]
  SpectralGPTという名前のユニバーサルRS基盤モデルは、新しい3D生成事前学習変換器(GPT)を用いてスペクトルRS画像を処理するために構築されている。 既存の基礎モデルと比較して、SpectralGPTは、様々なサイズ、解像度、時系列、領域をプログレッシブトレーニング形式で対応し、広範なRSビッグデータのフル活用を可能にする。 我々の評価では、事前訓練されたスペクトルGPTモデルによる顕著な性能向上が強調され、地球科学分野におけるスペクトルRSビッグデータ応用の進展に有意な可能性を示唆している。
  論文  参考訳（メタデータ） (2023-11-13T07:09:30Z)
• SSG2: A new modelling paradigm for semantic segmentation [0.0]
  セグメンテーションにおける最先端モデルは、単一の静的イメージで動作し、対応するセグメンテーションマスクを生成する。 セマンティック・チェンジ検出の研究から着想を得て,各静的な入力画像に対して生成した可観測物のシーケンスを活用する手法を提案する。 この「時間的」次元を追加することで、シーケンス内の連続した観測間の強い信号相関を利用してエラー率を減少させる。 オーストラリア・ダーウィンのUrbanMonitorは5つのスペクトルバンドと0.2mの空間解像度を持つ正像タイルを特徴とし、ISPRS Potsdamは複数のスペクトルバンドと5cmの地中サンプリングを含む真の正像画像を含む。
  論文  参考訳（メタデータ） (2023-10-12T19:08:03Z)
• Using a Conditional Generative Adversarial Network to Control the Statistical Characteristics of Generated Images for IACT Data Analysis [55.41644538483948]
  画像のプロパティの値に応じて、画像を複数のクラスに分割し、新しい画像を生成する際に必要なクラスを指定する。 大気圧チェレンコフ望遠鏡(IACT)の画像の場合、重要な点は全画像ピクセル(画像サイズ)の明るさである。 我々は,TAIGA-IACT実験で得られた画像と類似した画像を生成するために,cGAN技術を使用した。
  論文  参考訳（メタデータ） (2022-11-28T22:30:33Z)
• Multitask AET with Orthogonal Tangent Regularity for Dark Object Detection [84.52197307286681]
  暗黒環境下でのオブジェクト検出を強化するために,新しいマルチタスク自動符号化変換(MAET)モデルを提案する。 自己超越的な方法で、MAETは、現実的な照明劣化変換を符号化して復号することで、本質的な視覚構造を学習する。 我々は,合成および実世界のデータセットを用いて最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2022-05-06T16:27:14Z)
• ViTAEv2: Vision Transformer Advanced by Exploring Inductive Bias for Image Recognition and Beyond [76.35955924137986]
  我々は、内在性IBを畳み込み、すなわちViTAEから探索するビジョントランスフォーマーを提案する。 ViTAEはいくつかの空間ピラミッド縮小モジュールを備えており、入力イメージをリッチなマルチスケールコンテキストでトークンに埋め込む。 我々は、ImageNet検証セット上で88.5%のTop-1分類精度と、ImageNet実検証セット上で最高の91.2%のTop-1分類精度を得る。
  論文  参考訳（メタデータ） (2022-02-21T10:40:05Z)
• Realistic galaxy image simulation via score-based generative models [0.0]
  本研究では,銀河の観測を模倣した現実的かつ偽のイメージを生成するために,スコアベースの生成モデルが利用できることを示す。 主観的には、生成された銀河は実際のデータセットのサンプルと比較すると非常に現実的である。
  論文  参考訳（メタデータ） (2021-11-02T16:27:08Z)
• There and Back Again: Self-supervised Multispectral Correspondence Estimation [13.56924750612194]
  自己監督が可能な新しいサイクル一貫性指標を紹介します。 これにより、スペクトルに依存しない損失関数と組み合わせることで、同じネットワークを複数のスペクトルにわたってトレーニングできます。 本研究では,高密度RGB-FIR対応推定の課題に対するアプローチを示す。
  論文  参考訳（メタデータ） (2021-03-19T12:33:56Z)
• Cross-Spectral Periocular Recognition with Conditional Adversarial Networks [59.17685450892182]
  本研究では,近赤外・近赤外スペクトル間の近赤外画像の変換を訓練した条件付き生成逆相関ネットワークを提案する。 EER=1%, GAR>99% @ FAR=1%, ポリUデータベースの最先端技術に匹敵するスペクトル近視性能を得た。
  論文  参考訳（メタデータ） (2020-08-26T15:02:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。