論文の概要: Deep Learning and LLM-based Methods Applied to Stellar Lightcurve Classification

• arxiv url: http://arxiv.org/abs/2404.10757v1
• Date: Tue, 16 Apr 2024 17:35:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-17 15:45:38.719630
• Title: Deep Learning and LLM-based Methods Applied to Stellar Lightcurve Classification
• Title（参考訳）: ステレオ光曲線分類への深層学習とLCM法の適用
• Authors: Yu-Yang Li, Yu Bai, Cunshi Wang, Mengwei Qu, Ziteng Lu, Roberto Soria, Jifeng Liu,
• Abstract要約: 本稿では,変光度曲線の自動分類のための深層学習・大規模言語モデル(LLM)の総合評価を行う。 特にCepheids, RR Lyrae, and eclipsing binariesに重点を置いて, 観測周期と位相分布が分類精度に及ぼす影響について検討した。 LLM, マルチモーダル大言語モデル(MLLM), 大規模音声言語モデル(LALM)の3モデルからなる革新的なシリーズであるStarWhisper LightCurve (LC)を発表した。
• 参考スコア（独自算出の注目度）: 7.592813175419603
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Light curves serve as a valuable source of information on stellar formation and evolution. With the rapid advancement of machine learning techniques, it can be effectively processed to extract astronomical patterns and information. In this study, we present a comprehensive evaluation of deep-learning and large language model (LLM) based models for the automatic classification of variable star light curves, based on large datasets from the Kepler and K2 missions. Special emphasis is placed on Cepheids, RR Lyrae, and eclipsing binaries, examining the influence of observational cadence and phase distribution on classification precision. Employing AutoDL optimization, we achieve striking performance with the 1D-Convolution+BiLSTM architecture and the Swin Transformer, hitting accuracies of 94\% and 99\% correspondingly, with the latter demonstrating a notable 83\% accuracy in discerning the elusive Type II Cepheids-comprising merely 0.02\% of the total dataset.We unveil StarWhisper LightCurve (LC), an innovative Series comprising three LLM-based models: LLM, multimodal large language model (MLLM), and Large Audio Language Model (LALM). Each model is fine-tuned with strategic prompt engineering and customized training methods to explore the emergent abilities of these models for astronomical data. Remarkably, StarWhisper LC Series exhibit high accuracies around 90\%, significantly reducing the need for explicit feature engineering, thereby paving the way for streamlined parallel data processing and the progression of multifaceted multimodal models in astronomical applications. The study furnishes two detailed catalogs illustrating the impacts of phase and sampling intervals on deep learning classification accuracy, showing that a substantial decrease of up to 14\% in observation duration and 21\% in sampling points can be realized without compromising accuracy by more than 10\%.
• Abstract（参考訳）: 光の曲線は恒星の形成と進化に関する貴重な情報源となっている。 機械学習技術の急速な進歩により、天文パターンや情報の抽出を効果的に行うことができる。 本研究では、ケプラーとK2ミッションの大規模データセットに基づいて、可変星光曲線の自動分類のためのディープラーニング・大規模言語モデル(LLM)の総合評価を行う。 特にCepheids, RR Lyrae, and eclipsing binariesに重点を置いて, 観測周期と位相分布が分類精度に及ぼす影響について検討した。 AutoDL最適化を用いることで、1D-Convolution+BiLSTMアーキテクチャとSwin Transformerで顕著な性能を達成し、それに応じて94\%と99\%の精度を達成し、後者では、全データセットの0.02\%に留まらず、Elusive Type II Cepheids-comprising just 0.02\%を識別する顕著な83%の精度を示し、LLMベースの3つのモデルであるLLM、マルチモーダル大言語モデル(MLLM)、Large Audio Language Model(LALM)の3つの革新的シリーズを披露する。 各モデルは、天文学的なデータのために、これらのモデルの創発的能力を調べるために、戦略的急進的なエンジニアリングとカスタマイズされたトレーニング手法で微調整される。 注目すべきは、StarWhisper LCシリーズは90%程度の精度を示し、明示的な特徴工学の必要性を大幅に低減し、これにより、並列データ処理の合理化と、天文学的な応用における多面的マルチモーダルモデルの進歩の道を開いたことである。 本研究は、位相とサンプリング間隔が深層学習の分類精度に与える影響を詳述した2つの詳細なカタログを作成し、観察期間の最大14倍、サンプリングポイントの21倍の大幅な減少を10倍以上の精度で達成できることを示した。

関連論文リスト

• AstroM$^3$: A self-supervised multimodal model for astronomy [0.0]
  本稿では,モデルが複数のモーダルから同時に学習できる自己教師型事前学習手法AstroM$3$を提案する。 具体的には、CLIP(Contrastive Language- Image Pretraining)モデルをトリモーダル設定に拡張し、時系列測光データ、スペクトル、天体物理メタデータの統合を可能にする。 以上の結果から,CLIP事前学習により時系列光度測定の分類性能が向上し,精度が84.6%から91.5%に向上した。
  論文  参考訳（メタデータ） (2024-11-13T18:20:29Z)
• LLAVADI: What Matters For Multimodal Large Language Models Distillation [77.73964744238519]
  本研究では,新しい効率的なモデル構造を提案するのではなく,スクラッチから小規模MLLMを訓練する。 本研究は, 知識蒸留プロセスにおける学習戦略, モデル選択, 蒸留アルゴリズムに関するものである。 異なるベンチマークと適切な戦略を評価することで、2.7Bの小型モデルでも7Bまたは13Bのパラメータを持つ大型モデルと同等に動作することができる。
  論文  参考訳（メタデータ） (2024-07-28T06:10:47Z)
• Detecting and Classifying Flares in High-Resolution Solar Spectra with Supervised Machine Learning [0.0]
  本稿では,太陽フレアを教師あり機械学習の助けを借りて分類する標準化手法を提案する。 RHESSIミッションのフレアデータと、HARPS-N機器の太陽光スペクトルを用いて、いくつかの教師付き機械学習モデルを訓練した。 最も訓練されたモデルでは、平均集計精度スコアが0.65であり、非フレアクラスと弱フレアクラスではカテゴリ精度スコアが0.70以上である。
  論文  参考訳（メタデータ） (2024-06-21T18:52:03Z)
• The Scaling Law in Stellar Light Curves [3.090476527764192]
  本稿では,天文時系列データから学習する際の法則のスケーリングについて,自己監督的手法を用いて検討する。 自己教師付きトランスフォーマーモデルは,最先端の教師付き学習モデルと比較して,サンプル効率を3～10倍に向上させる。 本研究は,大規模自己回帰生成モデルを用いて恒星の光度曲線を解析するための基礎研究である。
  論文  参考訳（メタデータ） (2024-05-27T13:31:03Z)
• MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies [85.57899012821211]
  SLM(Small Language Models)は、LLM(Large Language Models)に代わるリソース効率の高いモデルである。 我々はMiniCPM、特に1.2Bと2.4Bの非埋め込みパラメータの変種を紹介する。 また、MiniCPM-DPO、MiniCPM-MoE、MiniCPM-128Kを含むMiniCPMファミリーについても紹介する。
  論文  参考訳（メタデータ） (2024-04-09T15:36:50Z)
• Identifying Light-curve Signals with a Deep Learning Based Object Detection Algorithm. II. A General Light Curve Classification Framework [0.0]
  弱教師付き物体検出モデルを用いて光曲線を分類するための新しいディープラーニングフレームワークを提案する。 本フレームワークは,光曲線とパワースペクトルの両方に最適なウィンドウを自動同定し,対応するデータにズームインする。 我々は、変動星と過渡星の宇宙と地上の両方のマルチバンド観測から得られたデータセットに基づいてモデルを訓練する。
  論文  参考訳（メタデータ） (2023-11-14T11:08:34Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• Supernova Light Curves Approximation based on Neural Network Models [53.180678723280145]
  光度データによる超新星の分類は、天文学におけるビッグデータのリアルタイム処理の出現によって課題となる。 近年の研究では、様々な機械学習モデルに基づく解の優れた品質が実証されている。 我々は,多層パーセプトロン(MLP),ベイジアンニューラルネットワーク(BNN),正規化フロー(NF)の単一光曲線観測への応用について検討した。
  論文  参考訳（メタデータ） (2022-06-27T13:46:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。