論文の概要: The Scaling Law in Stellar Light Curves

• arxiv url: http://arxiv.org/abs/2405.17156v1
• Date: Mon, 27 May 2024 13:31:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 15:13:09.303807
• Title: The Scaling Law in Stellar Light Curves
• Title（参考訳）: ステラー光曲線のスケーリング法則
• Authors: Jia-Shu Pan, Yuan-Sen Ting, Yang Huang, Jie Yu, Ji-Feng Liu,
• Abstract要約: 本稿では,天文時系列データから学習する際の法則のスケーリングについて,自己監督的手法を用いて検討する。 自己教師付きトランスフォーマーモデルは,最先端の教師付き学習モデルと比較して,サンプル効率を3～10倍に向上させる。 本研究は,大規模自己回帰生成モデルを用いて恒星の光度曲線を解析するための基礎研究である。
• 参考スコア（独自算出の注目度）: 3.090476527764192
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Analyzing time series of fluxes from stars, known as stellar light curves, can reveal valuable information about stellar properties. However, most current methods rely on extracting summary statistics, and studies using deep learning have been limited to supervised approaches. In this research, we investigate the scaling law properties that emerge when learning from astronomical time series data using self-supervised techniques. By employing the GPT-2 architecture, we show the learned representation improves as the number of parameters increases from $10^4$ to $10^9$, with no signs of performance plateauing. We demonstrate that a self-supervised Transformer model achieves 3-10 times the sample efficiency compared to the state-of-the-art supervised learning model when inferring the surface gravity of stars as a downstream task. Our research lays the groundwork for analyzing stellar light curves by examining them through large-scale auto-regressive generative models.
• Abstract（参考訳）: 恒星の光曲線として知られる恒星からの一連のフラックスを分析することで、恒星の性質に関する貴重な情報を明らかにすることができる。 しかし、現在のほとんどの手法は要約統計の抽出に依存しており、ディープラーニングを用いた研究は教師付きアプローチに限られている。 本研究では、天文時系列データから学習するときに現れるスケーリング法則について、自己監督技術を用いて検討する。 GPT-2アーキテクチャを用いることで,パラメータ数が10^4$から10^9$に増加するにつれて,性能の低下の兆候がなく,学習表現が向上することを示す。 本研究では, 自監督トランスフォーマーモデルを用いて, 恒星の表面重力を下流の課題として推定した場合の, 最先端の教師付き学習モデルと比較して, サンプル効率を310倍に向上させることを示した。 本研究は,大規模自己回帰生成モデルを用いて恒星の光度曲線を解析するための基礎研究である。

関連論文リスト

• 4D Contrastive Superflows are Dense 3D Representation Learners [62.433137130087445]
  我々は,LiDARとカメラのペアを連続的に利用して事前学習の目的を確立するための,新しいフレームワークであるSuperFlowを紹介する。 学習効率をさらに向上するため,カメラビューから抽出した知識の整合性を高めるプラグイン・アンド・プレイ・ビュー・一貫性モジュールを組み込んだ。
  論文  参考訳（メタデータ） (2024-07-08T17:59:54Z)
• AstroPT: Scaling Large Observation Models for Astronomy [0.0]
  我々は、100万から210億のパラメータに増大する基盤モデルをトレーニングし、AstroPTがテキストモデルに類似した飽和ログスケーリング法に従うことを発見した。 私たちは、共同コミュニティ開発がオープンソースの大規模観測モデルの実現への最良の道のりだと信じています。
  論文  参考訳（メタデータ） (2024-05-23T18:00:00Z)
• Deep Learning and LLM-based Methods Applied to Stellar Lightcurve Classification [7.592813175419603]
  本稿では,変光度曲線の自動分類のための深層学習・大規模言語モデル(LLM)の総合評価を行う。 特にCepheids, RR Lyrae, and eclipsing binariesに重点を置いて, 観測周期と位相分布が分類精度に及ぼす影響について検討した。 LLM, マルチモーダル大言語モデル(MLLM), 大規模音声言語モデル(LALM)の3モデルからなる革新的なシリーズであるStarWhisper LightCurve (LC)を発表した。
  論文  参考訳（メタデータ） (2024-04-16T17:35:25Z)
• Astroconformer: The Prospects of Analyzing Stellar Light Curves with Transformer-Based Deep Learning Models [2.9203802343391057]
  我々は、Transformerベースのディープラーニングフレームワークである$textitAstroconformer$を紹介した。 $textitAstroconformer$は優れたパフォーマンスを示し、データリッチなレシエーションで$log gapprox3$で0.017 dexのroot-mean-square-error(RMSE)を達成する。 $textitAstroconformer$は、高い精度で$nu_max$を抽出することにも長けている。
  論文  参考訳（メタデータ） (2023-09-28T10:13:23Z)
• OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive Learning [67.07363529640784]
  提案するOpenSTLは,一般的なアプローチを再帰的モデルと再帰的モデルに分類する。 我々は, 合成移動物体軌道, 人間の動き, 運転シーン, 交通流, 天気予報など, さまざまな領域にわたるデータセットの標準評価を行う。 リカレントフリーモデルは、リカレントモデルよりも効率と性能のバランスが良いことがわかった。
  論文  参考訳（メタデータ） (2023-06-20T03:02:14Z)
• Particle-Based Score Estimation for State Space Model Learning in Autonomous Driving [62.053071723903834]
  マルチオブジェクト状態推定はロボットアプリケーションの基本的な問題である。 粒子法を用いて最大形パラメータを学習することを検討する。 自動運転車から収集した実データに本手法を適用した。
  論文  参考訳（メタデータ） (2022-12-14T01:21:05Z)
• Astroconformer: Inferring Surface Gravity of Stars from Stellar Light Curves with Transformer [1.122225892380515]
  我々は、ケプラーミッションから恒星の光曲線を分析するトランスフォーマーベースのモデルであるAstroconformerを紹介する。 我々はアストラコンフォーマーが恒星表面重力を教師付きタスクとして強く推測できることを実証した。 また, この手法は, ルービン天文台からのカデンス光曲線の分離に応用可能であることを示す。
  論文  参考訳（メタデータ） (2022-07-06T16:22:37Z)
• Supernova Light Curves Approximation based on Neural Network Models [53.180678723280145]
  光度データによる超新星の分類は、天文学におけるビッグデータのリアルタイム処理の出現によって課題となる。 近年の研究では、様々な機械学習モデルに基づく解の優れた品質が実証されている。 我々は,多層パーセプトロン(MLP),ベイジアンニューラルネットワーク(BNN),正規化フロー(NF)の単一光曲線観測への応用について検討した。
  論文  参考訳（メタデータ） (2022-06-27T13:46:51Z)
• RotNet: Fast and Scalable Estimation of Stellar Rotation Periods Using Convolutional Neural Networks [0.903415485511869]
  深層学習の力を利用して、ケプラー光曲線から恒星の自転周期を遅らせる。 我々は、回転周期を推定する現在の標準である、ランダムな森林回帰器、1D CNN、自動相関関数(ACF)に対して、我々の手法をベンチマークする。
  論文  参考訳（メタデータ） (2020-12-02T07:14:11Z)
• DeepShadows: Separating Low Surface Brightness Galaxies from Artifacts using Deep Learning [70.80563014913676]
  本研究では,低地光度銀河と人工物とを分離する問題に対する畳み込みニューラルネットワーク(CNN)の利用について検討する。 我々は、CNNが低地光度宇宙の研究に非常に有望な道を提供することを示した。
  論文  参考訳（メタデータ） (2020-11-24T22:51:08Z)
• Value-driven Hindsight Modelling [68.658900923595]
  値推定は強化学習(RL)パラダイムの重要な構成要素である。 モデル学習は、観測系列に存在する豊富な遷移構造を利用することができるが、このアプローチは通常、報酬関数に敏感ではない。 この2つの極点の間に位置するRLにおける表現学習のアプローチを開発する。 これにより、タスクに直接関連し、値関数の学習を加速できる、抽出可能な予測ターゲットが提供される。
  論文  参考訳（メタデータ） (2020-02-19T18:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。