論文の概要: Generalization from Low- to Moderate-Resolution Spectra with Neural Networks for Stellar Parameter Estimation: A Case Study with DESI
- arxiv url: http://arxiv.org/abs/2602.15021v1
- Date: Mon, 16 Feb 2026 18:58:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-17 16:22:50.646361
- Title: Generalization from Low- to Moderate-Resolution Spectra with Neural Networks for Stellar Parameter Estimation: A Case Study with DESI
- Title(参考訳): ステラーパラメータ推定のためのニューラルネットワークを用いた低-高分解能スペクトルからの一般化:DESIを用いたケーススタディ
- Authors: Xiaosheng Zhao, Yuan-Sen Ting, Rosemary F. G. Wyse, Alexander S. Szalay, Yang Huang, László Dobos, Tamás Budavári, Viska Wei,
- Abstract要約: クロスサーベイの一般化は恒星スペクトル分析において重要な課題であり、特に低分解能から中分解能のサーベイへの移行のような場合である。
多層パーセプトロン(MLP)のような単純なニューラルネットワークに着目し,事前学習モデルを用いてこの問題を考察する。
具体的には、LESまたはそれらの埋め込みを事前トレーニングし、DESI恒星スペクトルに適用するためにそれらを微調整する。
LAMOST LRSの事前学習により,微調整がなくても高い性能が得られ,DESIスペクトルによる微調整がさらに改善されることが判明した。
- 参考スコア(独自算出の注目度): 33.83813864639123
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cross-survey generalization is a critical challenge in stellar spectral analysis, particularly in cases such as transferring from low- to moderate-resolution surveys. We investigate this problem using pre-trained models, focusing on simple neural networks such as multilayer perceptrons (MLPs), with a case study transferring from LAMOST low-resolution spectra (LRS) to DESI medium-resolution spectra (MRS). Specifically, we pre-train MLPs on either LRS or their embeddings and fine-tune them for application to DESI stellar spectra. We compare MLPs trained directly on spectra with those trained on embeddings derived from transformer-based models (self-supervised foundation models pre-trained for multiple downstream tasks). We also evaluate different fine-tuning strategies, including residual-head adapters, LoRA, and full fine-tuning. We find that MLPs pre-trained on LAMOST LRS achieve strong performance, even without fine-tuning, and that modest fine-tuning with DESI spectra further improves the results. For iron abundance, embeddings from a transformer-based model yield advantages in the metal-rich ([Fe/H] > -1.0) regime, but underperform in the metal-poor regime compared to MLPs trained directly on LRS. We also show that the optimal fine-tuning strategy depends on the specific stellar parameter under consideration. These results highlight that simple pre-trained MLPs can provide competitive cross-survey generalization, while the role of spectral foundation models for cross-survey stellar parameter estimation requires further exploration.
- Abstract(参考訳): クロスサーベイの一般化は恒星スペクトル分析において重要な課題であり、特に低分解能から中分解能のサーベイへの移行のような場合である。
本稿では, LAMOST低分解能スペクトル(LRS)からDES中分解能スペクトル(MRS)への移行を事例として, 多層パーセプトロン(MLP)などの単純なニューラルネットワークに着目した事前学習モデルを用いてこの問題を考察する。
具体的には, LRS またはそれらの埋め込み上で MLP を事前訓練し, DESI 恒星スペクトルに適用するための微調整を行う。
我々は、スペクトルを直接トレーニングしたMLPと、トランスフォーマーベースモデル(複数の下流タスクのために事前訓練された自己教師型基礎モデル)から派生した埋め込みを訓練したMLPを比較した。
また, 残差ヘッドアダプタ, LoRA, フル微調整など, 各種微調整戦略の評価を行った。
LAMOST LRS 上で事前学習した MLP は,微調整がなくても高い性能を達成し,DESI スペクトルを用いた微調整により,さらなる性能向上が期待できる。
鉄の豊富な場合, 変圧器をベースとしたモデルによる埋込みは, 金属量の多い([Fe/H]>-1.0)系では有利であるが, LRSで直接訓練したMLPに比べて, 金属量が少ない。
また、最適微調整戦略は、検討中の特定の恒星パラメータに依存することを示す。
これらの結果は、単純な事前学習されたMLPは、競合するクロスサーベイの一般化を提供する一方で、クロスサーベイの恒星パラメータ推定におけるスペクトル基盤モデルの役割は、さらなる探索を必要とすることを示している。
関連論文リスト
- Data Distribution as a Lever for Guiding Optimizers Toward Superior Generalization in LLMs [60.68927774057402]
はじめに、単純さのバイアスが小さくなれば、より良い一般化がもたらされることを示す。
この知見に触発されて、訓練後のサンプルのアップサンプリングや強化によるトレーニングデータ分布がSBを減少させ、一般化の改善につながることを示す。
我々はPhi2-2.7B, Llama3.2-1B, Gemma3-1B-PT, Qwen3-0.6B-Base など複数の言語モデルの性能向上を図る。
論文 参考訳(メタデータ) (2026-01-31T07:40:36Z) - How and Why LLMs Generalize: A Fine-Grained Analysis of LLM Reasoning from Cognitive Behaviors to Low-Level Patterns [51.02752099869218]
大きな言語モデル(LLM)は、非常に異なる一般化の振る舞いを示す。
推論を原子核スキルに分解する新しいベンチマークを導入する。
SFTモデルはよりシャープなドリフトと表面パターンへの過度な適合を示すのに対し、RL型モデルはより安定した行動プロファイルを維持し、推論スキルの崩壊に抵抗することを示す。
論文 参考訳(メタデータ) (2025-12-30T08:16:20Z) - Self-supervised and Multi-fidelity Learning for Extended Predictive Soil Spectroscopy [2.8830677829565894]
本稿では,潜在空間埋め込みに基づく多要素学習と拡張予測土壌分光のためのフレームワークを提案する。
自己教師付き表現は、大規模なMIRスペクトルライブラリとVari Autoencoderアルゴリズムで事前訓練された。
スペクトル変換(NIR から MIR への変換)タスクからの予測は、元の MIR スペクトルの性能と一致しなかったが、NIR のみのモデルの予測性能と似ているか、優れている。
論文 参考訳(メタデータ) (2025-11-20T01:36:33Z) - Spectral Thresholds in Correlated Spiked Models and Fundamental Limits of Partial Least Squares [15.163541835643635]
本稿では,PLS(Partial Least Squares)が原理的に検出可能であるにもかかわらず,信号の回復に失敗したことを示す。
これらの結果はPLSの理論的限界を明らかにし、高次元の信頼性マルチモーダル推論手法の設計のためのガイダンスを提供する。
論文 参考訳(メタデータ) (2025-10-20T14:08:58Z) - deep-REMAP: Probabilistic Parameterization of Stellar Spectra Using Regularized Multi-Task Learning [0.0]
Deep-REMAPは、観測されたスペクトルから恒星の大気パラメータを予測するために、正規化されたマルチタスクアプローチを利用する新しいディープラーニングフレームワークである。
我々は、PHOENIX合成スペクトルライブラリ上で深層畳み込みニューラルネットワークを訓練し、転送学習を用いて、観測されたFGK準スペクトルの小さなサブセットでモデルを微調整する。
Deep-REMAPは有効温度(T_rmeff$)、表面重力(log rmg$)、金属性([Fe/H])を正確に回復し、例えば約75KのTの精度を達成する。
論文 参考訳(メタデータ) (2025-10-10T13:20:06Z) - Inductive Gradient Adjustment For Spectral Bias In Implicit Neural Representations [17.832898905413877]
Inlicit Neural Representations (INR)は様々なコンピュータビジョンタスクで成功している。
バニラ多層パーセプトロン(MLP)のスペクトルバイアスのため、既存の手法は洗練されたアーキテクチャによる設計に焦点を当てている。
本稿では,スペクトルバイアスを意図的に改善できる実用的なインダクティブ・グラディエント・アジャイメント(IGA)法を提案する。
論文 参考訳(メタデータ) (2024-10-17T06:51:10Z) - Scaling Laws for Predicting Downstream Performance in LLMs [75.28559015477137]
この研究は、性能推定のためのより計算効率のよい指標として、事前学習損失に焦点を当てている。
FLP-Mは、事前トレーニング中に複数のソースからのデータセットを統合する実践的なニーズに対処する、パフォーマンス予測の基本的なアプローチである。
論文 参考訳(メタデータ) (2024-10-11T04:57:48Z) - Take the Bull by the Horns: Hard Sample-Reweighted Continual Training
Improves LLM Generalization [165.98557106089777]
大きな言語モデル(LLM)の能力を高めることが大きな課題だ。
本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。
次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
論文 参考訳(メタデータ) (2024-02-22T04:10:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。