論文の概要: AstroCLIP: Cross-Modal Pre-Training for Astronomical Foundation Models

• arxiv url: http://arxiv.org/abs/2310.03024v1
• Date: Wed, 4 Oct 2023 17:59:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 13:20:40.829782
• Title: AstroCLIP: Cross-Modal Pre-Training for Astronomical Foundation Models
• Title（参考訳）: AstroCLIP:天文基礎モデルのためのクロスモーダル事前訓練
• Authors: Francois Lanusse, Liam Parker, Siavash Golkar, Miles Cranmer, Alberto Bietti, Michael Eickenberg, Geraud Krawezik, Michael McCabe, Ruben Ohana, Mariel Pettee, Bruno Regaldo-Saint Blancard, Tiberiu Tesileanu, Kyunghyun Cho, Shirley Ho
• Abstract要約: 本稿では、天文学基盤モデルの構築を促進するための戦略であるAstroCLIPを紹介する。 我々は,銀河の光学スペクトルと画像の相互比較学習手法が,高い情報的埋め込みをもたらすことを実証した。
• 参考スコア（独自算出の注目度）: 42.19323262199993
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present AstroCLIP, a strategy to facilitate the construction of astronomical foundation models that bridge the gap between diverse observational modalities. We demonstrate that a cross-modal contrastive learning approach between images and optical spectra of galaxies yields highly informative embeddings of both modalities. In particular, we apply our method on multi-band images and optical spectra from the Dark Energy Spectroscopic Instrument (DESI), and show that: (1) these embeddings are well-aligned between modalities and can be used for accurate cross-modal searches, and (2) these embeddings encode valuable physical information about the galaxies -- in particular redshift and stellar mass -- that can be used to achieve competitive zero- and few- shot predictions without further finetuning. Additionally, in the process of developing our approach, we also construct a novel, transformer-based model and pretraining approach for processing galaxy spectra.
• Abstract（参考訳）: 多様な観測モード間のギャップを埋める天体基盤モデルの構築を容易にするための戦略であるAstroCLIPを提示する。 我々は、画像と銀河の光学スペクトルの相互比較学習アプローチが、両モードの高度に情報的埋め込みをもたらすことを示した。 特に, 暗エネルギー分光器 (desi) からのマルチバンド画像と光学スペクトルに適用し, (1) これらの埋め込みはモーダリティの間によく一致し, 正確なクロスモーダル探索に使用できること, (2) これらの埋め込みは銀河の貴重な物理情報(特に赤方偏移と恒星質量)をエンコードし, さらなる微調整をすることなく, 競争力のあるゼロショットと少数ショットの予測を達成することができることを示した。 さらに、このアプローチの開発過程では、銀河スペクトルを処理するための新しいトランスフォーマベースのモデルとプリトレーニングアプローチも構築する。

関連論文リスト

• AstroSpy: On detecting Fake Images in Astronomy via Joint Image-Spectral Representations [31.75799061059914]
  AI生成画像の普及により、天文学的画像の真正性に対する懸念が高まっている。 本稿では、スペクトル特徴と画像特徴を統合したハイブリッドモデルAstroSpyについて述べる。
  論文  参考訳（メタデータ） (2024-07-09T12:49:44Z)
• Galaxy spectroscopy without spectra: Galaxy properties from photometric images with conditional diffusion models [3.556281115019309]
  我々は、測光広帯域画像のみから光銀河スペクトルを予測できる生成AI法を開発した。 この研究は、測光画像から速度分散を推定するための文献における最初の試みである。 活動銀河核の存在を82%の精度で予測できる。
  論文  参考訳（メタデータ） (2024-06-26T08:49:51Z)
• SpectralGPT: Spectral Remote Sensing Foundation Model [60.023956954916414]
  SpectralGPTという名前のユニバーサルRS基盤モデルは、新しい3D生成事前学習変換器(GPT)を用いてスペクトルRS画像を処理するために構築されている。 既存の基礎モデルと比較して、SpectralGPTは、様々なサイズ、解像度、時系列、領域をプログレッシブトレーニング形式で対応し、広範なRSビッグデータのフル活用を可能にする。 我々の評価では、事前訓練されたスペクトルGPTモデルによる顕著な性能向上が強調され、地球科学分野におけるスペクトルRSビッグデータ応用の進展に有意な可能性を示唆している。
  論文  参考訳（メタデータ） (2023-11-13T07:09:30Z)
• SSG2: A new modelling paradigm for semantic segmentation [0.0]
  セグメンテーションにおける最先端モデルは、単一の静的イメージで動作し、対応するセグメンテーションマスクを生成する。 セマンティック・チェンジ検出の研究から着想を得て,各静的な入力画像に対して生成した可観測物のシーケンスを活用する手法を提案する。 この「時間的」次元を追加することで、シーケンス内の連続した観測間の強い信号相関を利用してエラー率を減少させる。 オーストラリア・ダーウィンのUrbanMonitorは5つのスペクトルバンドと0.2mの空間解像度を持つ正像タイルを特徴とし、ISPRS Potsdamは複数のスペクトルバンドと5cmの地中サンプリングを含む真の正像画像を含む。
  論文  参考訳（メタデータ） (2023-10-12T19:08:03Z)
• Using a Conditional Generative Adversarial Network to Control the Statistical Characteristics of Generated Images for IACT Data Analysis [55.41644538483948]
  画像のプロパティの値に応じて、画像を複数のクラスに分割し、新しい画像を生成する際に必要なクラスを指定する。 大気圧チェレンコフ望遠鏡(IACT)の画像の場合、重要な点は全画像ピクセル(画像サイズ)の明るさである。 我々は,TAIGA-IACT実験で得られた画像と類似した画像を生成するために,cGAN技術を使用した。
  論文  参考訳（メタデータ） (2022-11-28T22:30:33Z)
• Multitask AET with Orthogonal Tangent Regularity for Dark Object Detection [84.52197307286681]
  暗黒環境下でのオブジェクト検出を強化するために,新しいマルチタスク自動符号化変換(MAET)モデルを提案する。 自己超越的な方法で、MAETは、現実的な照明劣化変換を符号化して復号することで、本質的な視覚構造を学習する。 我々は,合成および実世界のデータセットを用いて最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2022-05-06T16:27:14Z)
• ViTAEv2: Vision Transformer Advanced by Exploring Inductive Bias for Image Recognition and Beyond [76.35955924137986]
  我々は、内在性IBを畳み込み、すなわちViTAEから探索するビジョントランスフォーマーを提案する。 ViTAEはいくつかの空間ピラミッド縮小モジュールを備えており、入力イメージをリッチなマルチスケールコンテキストでトークンに埋め込む。 我々は、ImageNet検証セット上で88.5%のTop-1分類精度と、ImageNet実検証セット上で最高の91.2%のTop-1分類精度を得る。
  論文  参考訳（メタデータ） (2022-02-21T10:40:05Z)
• Realistic galaxy image simulation via score-based generative models [0.0]
  本研究では,銀河の観測を模倣した現実的かつ偽のイメージを生成するために,スコアベースの生成モデルが利用できることを示す。 主観的には、生成された銀河は実際のデータセットのサンプルと比較すると非常に現実的である。
  論文  参考訳（メタデータ） (2021-11-02T16:27:08Z)
• There and Back Again: Self-supervised Multispectral Correspondence Estimation [13.56924750612194]
  自己監督が可能な新しいサイクル一貫性指標を紹介します。 これにより、スペクトルに依存しない損失関数と組み合わせることで、同じネットワークを複数のスペクトルにわたってトレーニングできます。 本研究では,高密度RGB-FIR対応推定の課題に対するアプローチを示す。
  論文  参考訳（メタデータ） (2021-03-19T12:33:56Z)
• Cross-Spectral Periocular Recognition with Conditional Adversarial Networks [59.17685450892182]
  本研究では,近赤外・近赤外スペクトル間の近赤外画像の変換を訓練した条件付き生成逆相関ネットワークを提案する。 EER=1%, GAR>99% @ FAR=1%, ポリUデータベースの最先端技術に匹敵するスペクトル近視性能を得た。
  論文  参考訳（メタデータ） (2020-08-26T15:02:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。