論文の概要: Astromer 2

• arxiv url: http://arxiv.org/abs/2502.02717v1
• Date: Tue, 04 Feb 2025 20:56:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:28:02.928819
• Title: Astromer 2
• Title（参考訳）: アストロマー2
• Authors: Cristobal Donoso-Oliva, Ignacio Becker, Pavlos Protopapas, Guillermo Cabrera-Vives, Martina Cádiz-Leyton, Daniel Moreno-Cartagena,
• Abstract要約: Astromer 2は光曲線解析のための自己教師付きモデルの拡張版として導入する。 Astromer 2 は、MACHO 調査から150万個の単バンド光曲線上で、自己教師付き学習タスクを用いて事前訓練される。 以上の結果から,Astromer 2はすべての評価シナリオでAstromer 1を著しく上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 1.236974227340167
• License:
• Abstract: Foundational models have emerged as a powerful paradigm in deep learning field, leveraging their capacity to learn robust representations from large-scale datasets and effectively to diverse downstream applications such as classification. In this paper, we present Astromer 2 a foundational model specifically designed for extracting light curve embeddings. We introduce Astromer 2 as an enhanced iteration of our self-supervised model for light curve analysis. This paper highlights the advantages of its pre-trained embeddings, compares its performance with that of its predecessor, Astromer 1, and provides a detailed empirical analysis of its capabilities, offering deeper insights into the model's representations. Astromer 2 is pretrained on 1.5 million single-band light curves from the MACHO survey using a self-supervised learning task that predicts randomly masked observations within sequences. Fine-tuning on a smaller labeled dataset allows us to assess its performance in classification tasks. The quality of the embeddings is measured by the F1 score of an MLP classifier trained on Astromer-generated embeddings. Our results demonstrate that Astromer 2 significantly outperforms Astromer 1 across all evaluated scenarios, including limited datasets of 20, 100, and 500 samples per class. The use of weighted per-sample embeddings, which integrate intermediate representations from Astromer's attention blocks, is particularly impactful. Notably, Astromer 2 achieves a 15% improvement in F1 score on the ATLAS dataset compared to prior models, showcasing robust generalization to new datasets. This enhanced performance, especially with minimal labeled data, underscores the potential of Astromer 2 for more efficient and scalable light curve analysis.
• Abstract（参考訳）: 基礎モデルは、ディープラーニング分野における強力なパラダイムとして現れ、その能力を活用して、大規模データセットから堅牢な表現を学習し、分類のような多様な下流アプリケーションに効果的に適応している。 本稿では,光曲線埋め込みを抽出するための基礎モデルとして,Astromer 2を提案する。 Astromer 2は光曲線解析のための自己教師付きモデルの拡張版として導入する。 本稿では、事前学習した埋め込みの利点を強調し、その性能を前任者のAstromer 1と比較し、その能力に関する詳細な実証分析を行い、モデル表現に関する深い洞察を提供する。 アストロマー2はMACHOの調査から150万個の単バンド光曲線で事前訓練され、ランダムにマスクされた観測をシーケンス内で予測する自己教師付き学習タスクを使用する。 ラベル付きデータセットの微調整により、分類タスクのパフォーマンスを評価することができる。 埋め込みの質は、アストロマー生成した埋め込みに基づいて訓練されたMLP分類器のF1スコアで測定される。 以上の結果から,Astromer 2は,クラス毎に20,100,500の限られたデータセットを含むすべての評価シナリオにおいて,Astromer 1を著しく上回る結果となった。 アストロマーの注目ブロックから中間表現を統合するサンプルごとの重み付き埋め込みの使用は、特に影響が大きい。 特に、Astromer 2は、以前のモデルと比較してATLASデータセットのF1スコアが15%改善され、新しいデータセットへの堅牢な一般化が示される。 この性能向上、特に最小ラベル付きデータでは、より効率的でスケーラブルな光曲線解析のためのAstromer 2の可能性を強調している。

関連論文リスト

• Analysis of Zero Day Attack Detection Using MLP and XAI [0.0]
  本稿では、侵入検知システム(IDS)を構築するための機械学習(ML)とディープラーニング(DL)に基づくアプローチについて分析する。 KDD99データセットは、ゼロデイ攻撃を検出するために、すべてのデータセットの中で最も研究されている。 ベースラインMLモデル,重み付きMLモデル,重み付きMLモデル,重み付きMLモデルを含む,KDD99データセット上でトレーニングされた4層パーセプトロン(MLP)の性能を評価する。
  論文  参考訳（メタデータ） (2025-01-28T02:20:34Z)
• SMPLest-X: Ultimate Scaling for Expressive Human Pose and Shape Estimation [81.36747103102459]
  表現的人間のポーズと形状推定(EHPS)は、身体、手、顔の動きを多数の応用で統合する。 現在の最先端の手法は、限定されたデータセット上で革新的なアーキテクチャ設計を訓練することに焦点を当てている。 本稿では,EHPSのスケールアップが一般基盤モデルのファミリに与える影響について検討する。
  論文  参考訳（メタデータ） (2025-01-16T18:59:46Z)
• DreamMask: Boosting Open-vocabulary Panoptic Segmentation with Synthetic Data [61.62554324594797]
  オープンな語彙設定でトレーニングデータを生成する方法と、実データと合成データの両方でモデルをトレーニングする方法を探索するDreamMaskを提案する。 一般的に、DreamMaskは大規模なトレーニングデータの収集を著しく単純化し、既存のメソッドのプラグイン・アンド・プレイ・エンハンスメントとして機能する。 例えば、COCOで訓練しADE20Kで試験すると、ドリームマスクを装備したモデルは以前の最先端の2.1% mIoUよりも優れていた。
  論文  参考訳（メタデータ） (2025-01-03T19:00:00Z)
• AstroM$^3$: A self-supervised multimodal model for astronomy [0.0]
  本稿では,モデルが複数のモーダルから同時に学習できる自己教師型事前学習手法AstroM$3$を提案する。 具体的には、CLIP(Contrastive Language- Image Pretraining)モデルをトリモーダル設定に拡張し、時系列測光データ、スペクトル、天体物理メタデータの統合を可能にする。 以上の結果から,CLIP事前学習により時系列光度測定の分類性能が向上し,精度が84.6%から91.5%に向上した。
  論文  参考訳（メタデータ） (2024-11-13T18:20:29Z)
• AstroMLab 2: AstroLLaMA-2-70B Model and Benchmarking Specialised LLMs for Astronomy [4.729846733874557]
  本研究は天文学における特殊なLSMを定量的に評価することを目的とする。 LLaMA-2-7BをベースとしたAstroLLaMAシリーズは,ベースモデルと比較して性能が低かった。 その結果,70Bモデル上での連続的事前訓練は大きな改善をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-09-29T16:02:22Z)
• AutoScale: Automatic Prediction of Compute-optimal Data Composition for Training LLMs [61.13296177652599]
  本稿では,異なる領域からのトレーニングデータの最適構成がスケール依存であることを示す。 我々は、潜在的に大規模なトレーニングデータスケールでデータ合成を最適化するための、新しい実用的なアプローチである*AutoScale*を紹介します。 GPT-2Large and BERT pre-training の評価は,トレーニング収束性および下流性能向上における *AutoScale* の有効性を示す。
  論文  参考訳（メタデータ） (2024-07-29T17:06:30Z)
• The Scaling Law in Stellar Light Curves [3.090476527764192]
  本稿では,天文時系列データから学習する際の法則のスケーリングについて,自己監督的手法を用いて検討する。 自己教師付きトランスフォーマーモデルは,最先端の教師付き学習モデルと比較して,サンプル効率を3～10倍に向上させる。 本研究は,大規模自己回帰生成モデルを用いて恒星の光度曲線を解析するための基礎研究である。
  論文  参考訳（メタデータ） (2024-05-27T13:31:03Z)
• Deep Learning and LLM-based Methods Applied to Stellar Lightcurve Classification [7.592813175419603]
  本稿では,変光度曲線の自動分類のための深層学習・大規模言語モデル(LLM)の総合評価を行う。 特にCepheids, RR Lyrae, and eclipsing binariesに重点を置いて, 観測周期と位相分布が分類精度に及ぼす影響について検討した。 LLM, マルチモーダル大言語モデル(MLLM), 大規模音声言語モデル(LALM)の3モデルからなる革新的なシリーズであるStarWhisper LightCurve (LC)を発表した。
  論文  参考訳（メタデータ） (2024-04-16T17:35:25Z)
• Convolutional Neural Networks for the classification of glitches in gravitational-wave data streams [52.77024349608834]
  我々は、高度LIGO検出器のデータから過渡ノイズ信号(グリッチ)と重力波を分類する。 どちらも、Gravity Spyデータセットを使用して、スクラッチからトレーニングされた、教師付き学習アプローチのモデルを使用します。 また、擬似ラベルの自動生成による事前学習モデルの自己教師型アプローチについても検討する。
  論文  参考訳（メタデータ） (2023-03-24T11:12:37Z)
• FairIF: Boosting Fairness in Deep Learning via Influence Functions with Validation Set Sensitive Attributes [51.02407217197623]
  本稿では,FAIRIFという2段階の学習アルゴリズムを提案する。 サンプル重みが計算される再重み付きデータセットの損失を最小限に抑える。 FAIRIFは、様々な種類のバイアスに対して、フェアネスとユーティリティのトレードオフを良くしたモデルが得られることを示す。
  論文  参考訳（メタデータ） (2022-01-15T05:14:48Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。