論文の概要: LUMOS: Democratizing SciML Workflows with L0-Regularized Learning for Unified Feature and Parameter Adaptation

• arxiv url: http://arxiv.org/abs/2602.22537v1
• Date: Thu, 26 Feb 2026 02:26:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-27 18:41:22.481306
• Title: LUMOS: Democratizing SciML Workflows with L0-Regularized Learning for Unified Feature and Parameter Adaptation
• Title（参考訳）: LUMOS: 統一特徴とパラメータ適応のためのL0正規化学習によるSciMLワークフローの民主化
• Authors: Shouwei Gao, Xu Zheng, Dongsheng Luo, Sheng Di, Wenqian Dong,
• Abstract要約: LUMOSは科学的な機械学習モデルを設計するためのエンドツーエンドフレームワークである。 SciMLモデル設計を民主化するために、機能選択とモデルプルーニングを統一する。 71.45%のパラメータ削減と6.4倍の推論高速化を実現している。
• 参考スコア（独自算出の注目度）: 24.564366290722532
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid growth of scientific machine learning (SciML) has accelerated discovery across diverse domains, yet designing effective SciML models remains a challenging task. In practice, building such models often requires substantial prior knowledge and manual expertise, particularly in determining which input features to use and how large the model should be. We introduce LUMOS, an end-to-end framework based on L0-regularized learning that unifies feature selection and model pruning to democratize SciML model design. By employing semi-stochastic gating and reparameterization techniques, LUMOS dynamically selects informative features and prunes redundant parameters during training, reducing the reliance on manual tuning while maintaining predictive accuracy. We evaluate LUMOS across 13 diverse SciML workloads, including cosmology and molecular sciences, and demonstrate its effectiveness and generalizability. Experiments on 13 SciML models show that LUMOS achieves 71.45% parameter reduction and a 6.4x inference speedup on average. Furthermore, Distributed Data Parallel (DDP) training on up to eight GPUs confirms the scalability of
• Abstract（参考訳）: 科学機械学習(SciML)の急速な成長は、さまざまな領域での発見を加速しているが、効果的なSciMLモデルを設計することは難しい課題である。 実際にそのようなモデルを構築するには、特にどの入力機能を使うべきか、モデルのサイズを判断する際に、かなりの事前の知識とマニュアルの専門知識が必要です。 我々は,SciMLモデル設計を民主化するために,機能選択とモデルプルーニングを統合するL0正規化学習に基づくエンドツーエンドフレームワークであるLUMOSを紹介する。 半確率的ゲーティングと再パラメータ化技術を用いることで、LUMOSは情報的特徴を動的に選択し、トレーニング中に冗長なパラメータをプーンし、予測精度を維持しながら手動チューニングへの依存を減らす。 我々は、宇宙科学や分子科学を含む13のSciMLワークロードにわたるLUMOSを評価し、その有効性と一般化性を実証した。 13のSciMLモデルでの実験では、LUMOSは平均で71.45%のパラメータ削減と6.4倍の推論スピードアップを達成した。 さらに、最大8つのGPU上での分散データ並列(DDP)トレーニングは、スケーラビリティを確認する。

関連論文リスト

• Tool Zero: Training Tool-Augmented LLMs via Pure RL from Scratch [63.40752011615843]
  ツール強化言語モデルのトレーニングは、複雑なタスクの能力を高めるための有望なアプローチとして登場した。 規則に基づく強化学習のための動的一般化誘導型報酬設計を提案する。 本研究では,SFTモデルとRL-with-SFTモデルと比較して7%以上の性能向上を実現していることを示す。
  論文  参考訳（メタデータ） (2025-11-02T16:33:45Z)
• LENSLLM: Unveiling Fine-Tuning Dynamics for LLM Selection [11.353302879735862]
  オープンソースのLarge Language Models (LLM) と様々な下流タスクは効率的なモデル選択を必要とする。 LLMの一般化能力を評価するための適切なレンズを提供する新しい理論フレームワークを提案する。 特に, LLMの微調整ダイナミクスを明らかにするPAC-Bayesian Generalization Boundを導出する。 次に,ニューラルタンジェントカーネル(NTK)をベースとしたRectified Scaling ModelであるLENSLLMを紹介し,正確な性能予測を実現する。
  論文  参考訳（メタデータ） (2025-05-01T15:07:32Z)
• Catastrophic Forgetting in LLMs: A Comparative Analysis Across Language Tasks [0.0]
  大規模言語モデル(LLM)は、かなり高度な自然言語処理(NLP)を持つ 本研究では,主要なNLUタスクに対する各種オープンソースLLMの連続的な微調整について検討する。 以上の結果から,Phi-3.5-miniのようなモデルでは,強い学習能力を維持しつつ,最小限の忘れを生じさせることが示唆された。
  論文  参考訳（メタデータ） (2025-04-01T23:06:55Z)
• MOFHEI: Model Optimizing Framework for Fast and Efficient Homomorphically Encrypted Neural Network Inference [0.8388591755871735]
  ホモモルフィック暗号化(HE)により、暗号化データ上で機械学習タスクを実行できる。 HEに基づくニューラルネットワーク推論を高速かつ効率的にするためのモデルを最適化するフレームワークであるMOFHEIを提案する。 このフレームワークはLeNet上で最大98%のプルーニング比を実現し,PI実行に必要なHE操作の最大93%を排除した。
  論文  参考訳（メタデータ） (2024-12-10T22:44:54Z)
• Verbalized Machine Learning: Revisiting Machine Learning with Language Models [63.10391314749408]
  言語化機械学習(VML)の枠組みを紹介する。 VMLはパラメータ空間を人間の解釈可能な自然言語に制限する。 我々は,VMLの有効性を実証的に検証し,VMLがより強力な解釈可能性を実現するためのステップストーンとして機能することを期待する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:56Z)
• Seeking Neural Nuggets: Knowledge Transfer in Large Language Models from a Parametric Perspective [106.92016199403042]
  パラメトリック・パースペクティブを用いて,大規模モデルから小規模モデルへの知識伝達を実証的に検討する。 感性に基づく手法を用いて、異なる大言語モデル間で知識固有のパラメータを抽出・調整する。 本研究は,パラメトリックな知識伝達の過程に寄与する重要な要因を明らかにする。
  論文  参考訳（メタデータ） (2023-10-17T17:58:34Z)
• GEVO-ML: Optimizing Machine Learning Code with Evolutionary Computation [6.525197444717069]
  GEVO-MLは、最適化の機会を発見し、機械学習カーネルのパフォーマンスをチューニングするためのツールである。 モデルトレーニングと予測の両方のために、GEVO-MLを2つの異なるMLワークロードでデモする。 GEVO-MLはこれらのモデルに大きな改善を加え、モデル精度が2%の緩和で90.43%の性能向上を達成した。
  論文  参考訳（メタデータ） (2023-10-16T09:24:20Z)
• Learning Objective-Specific Active Learning Strategies with Attentive Neural Processes [72.75421975804132]
  学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。 能動学習問題の対称性と独立性を利用した新しい分類法を提案する。 私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
  論文  参考訳（メタデータ） (2023-09-11T14:16:37Z)
• Towards Foundation Models for Scientific Machine Learning: Characterizing Scaling and Transfer Behavior [32.74388989649232]
  我々は、科学機械学習(SciML)の応用において、事前学習をどのように利用できるかを研究する。 これらのモデルを微調整すると、モデルのサイズが大きくなるにつれてパフォーマンスが向上することがわかった。
  論文  参考訳（メタデータ） (2023-06-01T00:32:59Z)
• CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
  我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。 学習方法は,「フリーランチ」仮説の主張を考察する。 データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2023-05-03T17:55:25Z)
• Evaluating Deep Learning in SystemML using Layer-wise Adaptive Rate Scaling(LARS) Optimizer [0.3857494091717916]
  LARSをSystemMLを用いて実装したディープラーニングモデルに適用する。 各種バッチサイズで実験を行い、LARSの性能を分散機械学習フレームワークと比較する。
  論文  参考訳（メタデータ） (2021-02-05T06:23:56Z)
• Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources [78.72922528736011]
  そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。 ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。 BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
  論文  参考訳（メタデータ） (2020-07-17T01:52:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。