論文の概要: LUMOS: Democratizing SciML Workflows with L0-Regularized Learning for Unified Feature and Parameter Adaptation

• arxiv url: http://arxiv.org/abs/2602.22537v1
• Date: Thu, 26 Feb 2026 02:26:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-27 18:41:22.481306
• Title: LUMOS: Democratizing SciML Workflows with L0-Regularized Learning for Unified Feature and Parameter Adaptation
• Title（参考訳）: LUMOS: 統一特徴とパラメータ適応のためのL0正規化学習によるSciMLワークフローの民主化
• Authors: Shouwei Gao, Xu Zheng, Dongsheng Luo, Sheng Di, Wenqian Dong,
• Abstract要約: LUMOSは科学的な機械学習モデルを設計するためのエンドツーエンドフレームワークである。 SciMLモデル設計を民主化するために、機能選択とモデルプルーニングを統一する。 71.45%のパラメータ削減と6.4倍の推論高速化を実現している。
• 参考スコア（独自算出の注目度）: 24.564366290722532
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid growth of scientific machine learning (SciML) has accelerated discovery across diverse domains, yet designing effective SciML models remains a challenging task. In practice, building such models often requires substantial prior knowledge and manual expertise, particularly in determining which input features to use and how large the model should be. We introduce LUMOS, an end-to-end framework based on L0-regularized learning that unifies feature selection and model pruning to democratize SciML model design. By employing semi-stochastic gating and reparameterization techniques, LUMOS dynamically selects informative features and prunes redundant parameters during training, reducing the reliance on manual tuning while maintaining predictive accuracy. We evaluate LUMOS across 13 diverse SciML workloads, including cosmology and molecular sciences, and demonstrate its effectiveness and generalizability. Experiments on 13 SciML models show that LUMOS achieves 71.45% parameter reduction and a 6.4x inference speedup on average. Furthermore, Distributed Data Parallel (DDP) training on up to eight GPUs confirms the scalability of
• Abstract（参考訳）: 科学機械学習(SciML)の急速な成長は、さまざまな領域での発見を加速しているが、効果的なSciMLモデルを設計することは難しい課題である。 実際にそのようなモデルを構築するには、特にどの入力機能を使うべきか、モデルのサイズを判断する際に、かなりの事前の知識とマニュアルの専門知識が必要です。 我々は,SciMLモデル設計を民主化するために,機能選択とモデルプルーニングを統合するL0正規化学習に基づくエンドツーエンドフレームワークであるLUMOSを紹介する。 半確率的ゲーティングと再パラメータ化技術を用いることで、LUMOSは情報的特徴を動的に選択し、トレーニング中に冗長なパラメータをプーンし、予測精度を維持しながら手動チューニングへの依存を減らす。 我々は、宇宙科学や分子科学を含む13のSciMLワークロードにわたるLUMOSを評価し、その有効性と一般化性を実証した。 13のSciMLモデルでの実験では、LUMOSは平均で71.45%のパラメータ削減と6.4倍の推論スピードアップを達成した。 さらに、最大8つのGPU上での分散データ並列(DDP)トレーニングは、スケーラビリティを確認する。

関連論文リスト

• Tool Zero: Training Tool-Augmented LLMs via Pure RL from Scratch [63.40752011615843]
  ツール強化言語モデルのトレーニングは、複雑なタスクの能力を高めるための有望なアプローチとして登場した。 規則に基づく強化学習のための動的一般化誘導型報酬設計を提案する。 本研究では,SFTモデルとRL-with-SFTモデルと比較して7%以上の性能向上を実現していることを示す。
  論文  参考訳（メタデータ） (2025-11-02T16:33:45Z)
• LENSLLM: Unveiling Fine-Tuning Dynamics for LLM Selection [11.353302879735862]
  オープンソースのLarge Language Models (LLM) と様々な下流タスクは効率的なモデル選択を必要とする。 LLMの一般化能力を評価するための適切なレンズを提供する新しい理論フレームワークを提案する。 特に, LLMの微調整ダイナミクスを明らかにするPAC-Bayesian Generalization Boundを導出する。 次に,ニューラルタンジェントカーネル(NTK)をベースとしたRectified Scaling ModelであるLENSLLMを紹介し,正確な性能予測を実現する。
  論文  参考訳（メタデータ） (2025-05-01T15:07:32Z)
• MOFHEI: Model Optimizing Framework for Fast and Efficient Homomorphically Encrypted Neural Network Inference [0.8388591755871735]
  ホモモルフィック暗号化(HE)により、暗号化データ上で機械学習タスクを実行できる。 HEに基づくニューラルネットワーク推論を高速かつ効率的にするためのモデルを最適化するフレームワークであるMOFHEIを提案する。 このフレームワークはLeNet上で最大98%のプルーニング比を実現し,PI実行に必要なHE操作の最大93%を排除した。
  論文  参考訳（メタデータ） (2024-12-10T22:44:54Z)
• Verbalized Machine Learning: Revisiting Machine Learning with Language Models [63.10391314749408]
  言語化機械学習(VML)の枠組みを紹介する。 VMLはパラメータ空間を人間の解釈可能な自然言語に制限する。 我々は,VMLの有効性を実証的に検証し,VMLがより強力な解釈可能性を実現するためのステップストーンとして機能することを期待する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:56Z)
• GEVO-ML: Optimizing Machine Learning Code with Evolutionary Computation [6.525197444717069]
  GEVO-MLは、最適化の機会を発見し、機械学習カーネルのパフォーマンスをチューニングするためのツールである。 モデルトレーニングと予測の両方のために、GEVO-MLを2つの異なるMLワークロードでデモする。 GEVO-MLはこれらのモデルに大きな改善を加え、モデル精度が2%の緩和で90.43%の性能向上を達成した。
  論文  参考訳（メタデータ） (2023-10-16T09:24:20Z)
• Towards Foundation Models for Scientific Machine Learning: Characterizing Scaling and Transfer Behavior [32.74388989649232]
  我々は、科学機械学習(SciML)の応用において、事前学習をどのように利用できるかを研究する。 これらのモデルを微調整すると、モデルのサイズが大きくなるにつれてパフォーマンスが向上することがわかった。
  論文  参考訳（メタデータ） (2023-06-01T00:32:59Z)
• Evaluating Deep Learning in SystemML using Layer-wise Adaptive Rate Scaling(LARS) Optimizer [0.3857494091717916]
  LARSをSystemMLを用いて実装したディープラーニングモデルに適用する。 各種バッチサイズで実験を行い、LARSの性能を分散機械学習フレームワークと比較する。
  論文  参考訳（メタデータ） (2021-02-05T06:23:56Z)
• Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources [78.72922528736011]
  そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。 ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。 BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
  論文  参考訳（メタデータ） (2020-07-17T01:52:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。