論文の概要: AstroM$^3$: A self-supervised multimodal model for astronomy

• arxiv url: http://arxiv.org/abs/2411.08842v1
• Date: Wed, 13 Nov 2024 18:20:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:10:36.193963
• Title: AstroM$^3$: A self-supervised multimodal model for astronomy
• Title（参考訳）: AstroM$^3$:天文学の自己教師型マルチモーダルモデル
• Authors: Mariia Rizhko, Joshua S. Bloom,
• Abstract要約: 本稿では,モデルが複数のモーダルから同時に学習できる自己教師型事前学習手法AstroM$3$を提案する。 具体的には、CLIP(Contrastive Language- Image Pretraining)モデルをトリモーダル設定に拡張し、時系列測光データ、スペクトル、天体物理メタデータの統合を可能にする。 以上の結果から,CLIP事前学習により時系列光度測定の分類性能が向上し,精度が84.6%から91.5%に向上した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: While machine-learned models are now routinely employed to facilitate astronomical inquiry, model inputs tend to be limited to a primary data source (namely images or time series) and, in the more advanced approaches, some metadata. Yet with the growing use of wide-field, multiplexed observational resources, individual sources of interest often have a broad range of observational modes available. Here we construct an astronomical multimodal dataset and propose AstroM$^3$, a self-supervised pre-training approach that enables a model to learn from multiple modalities simultaneously. Specifically, we extend the CLIP (Contrastive Language-Image Pretraining) model to a trimodal setting, allowing the integration of time-series photometry data, spectra, and astrophysical metadata. In a fine-tuning supervised setting, our results demonstrate that CLIP pre-training improves classification performance for time-series photometry, where accuracy increases from 84.6% to 91.5%. Furthermore, CLIP boosts classification accuracy by up to 12.6% when the availability of labeled data is limited, showing the effectiveness of leveraging larger corpora of unlabeled data. In addition to fine-tuned classification, we can use the trained model in other downstream tasks that are not explicitly contemplated during the construction of the self-supervised model. In particular we show the efficacy of using the learned embeddings for misclassifications identification, similarity search, and anomaly detection. One surprising highlight is the "rediscovery" of Mira subtypes and two Rotational variable subclasses using manifold learning and dimension reduction algorithm. To our knowledge this is the first construction of an $n>2$ mode model in astronomy. Extensions to $n>3$ modes is naturally anticipated with this approach.
• Abstract（参考訳）: 機械学習モデルは現在、天文学的な調査を容易にするために日常的に使用されているが、モデル入力は一次データソース(画像や時系列)に限られる傾向にあり、より高度なアプローチでは、いくつかのメタデータがある。 しかし、広視野で多重化された観測資源の利用の増加に伴い、個々の観測源は広い範囲の観測モードを利用できることが多い。 ここでは、天文マルチモーダルデータセットを構築し、モデルが複数のモーダルから同時に学習できる自己教師付き事前学習アプローチであるAstroM$^3$を提案する。 具体的には、CLIP(Contrastive Language- Image Pretraining)モデルをトリモーダル設定に拡張し、時系列測光データ、スペクトル、天体物理メタデータの統合を可能にする。 微調整による教師付き環境では,CLIP事前学習により時系列光度測定の分類性能が向上し,精度が84.6%から91.5%に向上することを示した。 さらに、ラベル付きデータの可用性が制限された場合、CLIPは分類精度を最大12.6%向上させ、ラベルなしデータのより大きなコーパスを活用する効果を示す。 微調整された分類に加えて、訓練されたモデルを、自己教師付きモデルの構築中に明示的に考慮されていない他の下流タスクに使用することができる。 特に, 誤分類識別, 類似性探索, 異常検出において, 学習した埋め込みの有効性を示す。 1つの驚くべきハイライトは、多様体学習と次元減少アルゴリズムを用いて、ミラ部分型と2つの回転変数サブクラスの「再検討」である。 我々の知る限り、これは天文学における最初の$n>2$モードモデルの構築である。 このアプローチでは、$n>3$モードへの拡張が自然に期待できる。

関連論文リスト

• Maven: A Multimodal Foundation Model for Supernova Science [40.20166238855543]
  超新星科学の最初の基盤モデルであるMavenを紹介します。 まず、0.5Mの合成超新星からの光度測定と分光を合わせるために、我々のモデルを事前訓練する。 そして、Zwicky Transient Facilityから観測された4,702個の超新星の模型を微調整した。
  論文  参考訳（メタデータ） (2024-08-29T18:00:05Z)
• Data-Centric Machine Learning for Earth Observation: Necessary and Sufficient Features [5.143097874851516]
  モデル記述法を利用して、モデルが最適な性能に達するために必要な特徴を特定する。 一部のデータセットは、時間的なインスタンスの20%未満で最適な精度に達することができるが、他のデータセットでは、1つのモダリティから1つのバンドの時系列が十分である。
  論文  参考訳（メタデータ） (2024-08-21T07:26:43Z)
• Deciphering Movement: Unified Trajectory Generation Model for Multi-Agent [53.637837706712794]
  任意の軌道をマスク入力として処理する統一軌道生成モデルUniTrajを提案する。 具体的には,空間特徴抽出のためのトランスフォーマーエンコーダ内に埋め込まれたゴースト空間マスキング(GSM)モジュールを導入する。 バスケットボール-U,サッカー-U,サッカー-Uの3つの実用的なスポーツゲームデータセットをベンチマークして評価を行った。
  論文  参考訳（メタデータ） (2024-05-27T22:15:23Z)
• Weak-to-Strong Extrapolation Expedites Alignment [135.12769233630362]
  モデルと人間の嗜好との整合性を高めるために,ExPOと呼ばれる手法を提案する。 ExPOは市販のDPO/RLHFモデルを一貫して改善することを示した。 我々は、アライメントトレーニング中に学んだ報酬信号を増幅するExPOの本質に光を当てた。
  論文  参考訳（メタデータ） (2024-04-25T17:39:50Z)
• Deep Learning and LLM-based Methods Applied to Stellar Lightcurve Classification [7.592813175419603]
  本稿では,変光度曲線の自動分類のための深層学習・大規模言語モデル(LLM)の総合評価を行う。 特にCepheids, RR Lyrae, and eclipsing binariesに重点を置いて, 観測周期と位相分布が分類精度に及ぼす影響について検討した。 LLM, マルチモーダル大言語モデル(MLLM), 大規模音声言語モデル(LALM)の3モデルからなる革新的なシリーズであるStarWhisper LightCurve (LC)を発表した。
  論文  参考訳（メタデータ） (2024-04-16T17:35:25Z)
• Identifying Light-curve Signals with a Deep Learning Based Object Detection Algorithm. II. A General Light Curve Classification Framework [0.0]
  弱教師付き物体検出モデルを用いて光曲線を分類するための新しいディープラーニングフレームワークを提案する。 本フレームワークは,光曲線とパワースペクトルの両方に最適なウィンドウを自動同定し,対応するデータにズームインする。 我々は、変動星と過渡星の宇宙と地上の両方のマルチバンド観測から得られたデータセットに基づいてモデルを訓練する。
  論文  参考訳（メタデータ） (2023-11-14T11:08:34Z)
• LARA: A Light and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection [49.52429991848581]
  深部変分自動エンコーダに基づく時系列異常検出手法(VAE)のための光・反オーバーフィット学習手法(LARA)を提案する。 本研究の目的は,1) 再学習過程を凸問題として定式化し, 過度に収束できること,2) 履歴データを保存せずに活用するルミネートブロックを設計すること,3) 潜在ベクトルと再構成データの微調整を行うと, 線形形成が基底真実と微調整されたブロックとの誤りを最小に調整できることを数学的に証明することである。
  論文  参考訳（メタデータ） (2023-10-09T12:36:16Z)
• StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
  本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。 このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。 本研究は,各種データセットを対象とした総合的な実験を含む。
  論文  参考訳（メタデータ） (2023-08-20T12:43:52Z)
• OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive Learning [67.07363529640784]
  提案するOpenSTLは,一般的なアプローチを再帰的モデルと再帰的モデルに分類する。 我々は, 合成移動物体軌道, 人間の動き, 運転シーン, 交通流, 天気予報など, さまざまな領域にわたるデータセットの標準評価を行う。 リカレントフリーモデルは、リカレントモデルよりも効率と性能のバランスが良いことがわかった。
  論文  参考訳（メタデータ） (2023-06-20T03:02:14Z)
• Anomaly Detection via Multi-Scale Contrasted Memory [3.0170109896527086]
  マルチスケールの標準プロトタイプをトレーニング中に記憶し,異常偏差値を計算する2段階の異常検出器を新たに導入する。 CIFAR-10の誤差相対改善率を最大35%とすることにより,多種多様なオブジェクト,スタイル,局所異常に対する最先端性能を高い精度で向上させる。
  論文  参考訳（メタデータ） (2022-11-16T16:58:04Z)
• Semi-Supervised Domain Adaptation for Cross-Survey Galaxy Morphology Classification and Anomaly Detection [57.85347204640585]
  We developed a Universal Domain Adaptation method DeepAstroUDA。 異なるタイプのクラスオーバーラップしたデータセットに適用することができる。 初めて、我々は2つの非常に異なる観測データセットに対するドメイン適応の有効利用を実演した。
  論文  参考訳（メタデータ） (2022-11-01T18:07:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。