論文の概要: Loss Landscape Analysis for Reliable Quantized ML Models for Scientific Sensing

• arxiv url: http://arxiv.org/abs/2502.08355v1
• Date: Wed, 12 Feb 2025 12:30:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:47:42.142006
• Title: Loss Landscape Analysis for Reliable Quantized ML Models for Scientific Sensing
• Title（参考訳）: 科学的センシングのための信頼性の高い量子化MLモデルの損失景観解析
• Authors: Tommaso Baldi, Javier Campos, Olivia Weng, Caleb Geniesse, Nhan Tran, Ryan Kastner, Alessandro Biondi,
• Abstract要約: 機械学習(ML)モデルの損失景観を実証分析する手法を提案する。 本手法は,MLモデルのロバスト性を,量子化精度の関数や異なる正規化手法の下で評価することができる。
• 参考スコア（独自算出の注目度）: 41.89148096989836
• License:
• Abstract: In this paper, we propose a method to perform empirical analysis of the loss landscape of machine learning (ML) models. The method is applied to two ML models for scientific sensing, which necessitates quantization to be deployed and are subject to noise and perturbations due to experimental conditions. Our method allows assessing the robustness of ML models to such effects as a function of quantization precision and under different regularization techniques -- two crucial concerns that remained underexplored so far. By investigating the interplay between performance, efficiency, and robustness by means of loss landscape analysis, we both established a strong correlation between gently-shaped landscapes and robustness to input and weight perturbations and observed other intriguing and non-obvious phenomena. Our method allows a systematic exploration of such trade-offs a priori, i.e., without training and testing multiple models, leading to more efficient development workflows. This work also highlights the importance of incorporating robustness into the Pareto optimization of ML models, enabling more reliable and adaptive scientific sensing systems.
• Abstract（参考訳）: 本稿では機械学習(ML)モデルの損失景観を実証的に解析する手法を提案する。 この方法は、2つのMLモデルに適用され、量子化を展開し、実験条件によりノイズや摂動を受ける必要がある。 本手法では,MLモデルのロバスト性を,量子化精度の関数や異なる正規化手法の下で評価することができる。 ロスランドスケープ解析による性能, 効率, 頑健さの相互関係を調べた結果, 優美な地形と, 入力と重みの摂動に対する頑健さとの間に強い相関関係がみられ, その他の興味深い現象や不愉快な現象が観察された。 提案手法は,複数のモデルのトレーニングやテストを行わず,これらのトレードオフを事前に体系的に探索することを可能にし,より効率的な開発ワークフローを実現する。 この研究は、MLモデルのパレート最適化に堅牢性を取り入れることの重要性を強調し、より信頼性が高く適応的な科学的センシングシステムを実現する。

関連論文リスト

• See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition [56.87609859444084]
  パラメータ効率の細かいチューニング(PEFT)は、パラメータの選択したサブセットを最適化し、残りを固定し、計算とストレージのオーバーヘッドを大幅に削減することに焦点を当てている。 分解の観点からそれらを分離することで、すべてのアプローチを統一する第一歩を踏み出します。 本稿では,PEFT技術の性能向上を目的とした,単純かつ効果的なフレームワークとともに,新しい2つのPEFT手法を提案する。
  論文  参考訳（メタデータ） (2024-07-07T15:44:42Z)
• MS-MANO: Enabling Hand Pose Tracking with Biomechanical Constraints [50.61346764110482]
  筋骨格系と学習可能なパラメトリックハンドモデルMANOを統合し,MS-MANOを作成する。 このモデルは骨格系を駆動する筋肉と腱の力学をエミュレートし、結果として生じるトルク軌跡に生理学的に現実的な制約を与える。 また,マルチ層パーセプトロンネットワークによる初期推定ポーズを改良する,ループ式ポーズ改善フレームワークBioPRを提案する。
  論文  参考訳（メタデータ） (2024-04-16T02:18:18Z)
• What Makes Quantization for Large Language Models Hard? An Empirical Study from the Lens of Perturbation [55.153595212571375]
  量子化は、大規模言語モデル(LLM)のメモリと計算効率を改善する技術である。 本稿では,LLMの重みと活性化に付加される摂動として,量子化の新しい視点を提案する。 各種人工摂動実験を行い,LLMの性能への影響について検討する。
  論文  参考訳（メタデータ） (2024-03-11T03:42:51Z)
• Replication Study: Enhancing Hydrological Modeling with Physics-Guided Machine Learning [0.0]
  現在の水理モデリング手法は、データ駆動機械学習アルゴリズムと従来の物理モデルを組み合わせたものである。 結果予測におけるMLの精度にもかかわらず、科学的知識の統合は信頼性の高い予測には不可欠である。 本研究では,概念的水文モデルのプロセス理解とMLアルゴリズムの予測効率を融合した物理インフォームド機械学習モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-21T16:26:59Z)
• On Task Performance and Model Calibration with Supervised and Self-Ensembled In-Context Learning [71.44986275228747]
  In-context Learning (ICL) は、近年の大規模言語モデル(LLM)の進歩により、効率的なアプローチとなっている。 しかし、両方のパラダイムは、過信の批判的な問題(すなわち、誤校正)に苦しむ傾向にある。
  論文  参考訳（メタデータ） (2023-12-21T11:55:10Z)
• Physics-Guided Adversarial Machine Learning for Aircraft Systems Simulation [9.978961706999833]
  この研究は、物理誘導型逆機械学習(ML)という新しいアプローチを示し、モデルの物理一貫性に対する信頼性を向上させる。 2つの航空機システムの性能モデルに対する実証的な評価は、我々の敵MLアプローチの有効性を示している。
  論文  参考訳（メタデータ） (2022-09-07T19:23:45Z)
• Putting Density Functional Theory to the Test in Machine-Learning-Accelerated Materials Discovery [2.7810723668216575]
  従来のDFTベース機械学習(ML)で典型的なものを超える精度、効率、アプローチに必要な進歩について述べる。 DFTが高スループットのスクリーンで所定のデータポイントを信頼するには、一連のテストに合格しなければならない。 DFTが高スループットのスクリーンで所定のデータポイントを信頼するには、一連のテストに合格しなければならない。
  論文  参考訳（メタデータ） (2022-05-06T00:34:50Z)
• Enhancing predictive skills in physically-consistent way: Physics Informed Machine Learning for Hydrological Processes [1.0635248457021496]
  本研究では,概念的水文モデルのプロセス理解と最先端MLモデルの予測能力を組み合わせた物理インフォームド機械学習(PIML)モデルを開発する。 提案したモデルを用いて,インドのナルマダ川流域における目標(流れ流)と中間変数(実際の蒸発吸引)の月次時間系列を予測する。
  論文  参考訳（メタデータ） (2021-04-22T12:13:42Z)
• Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks [82.33619654835348]
  インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。 散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。 本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-29T08:39:43Z)
• Real-Time Model Calibration with Deep Reinforcement Learning [4.707841918805165]
  本稿では,強化学習に基づくモデルパラメータ推定のための新しいフレームワークを提案する。 提案手法を2つのモデルベース診断試験ケースで実証し, 評価した。
  論文  参考訳（メタデータ） (2020-06-07T00:11:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。