論文の概要: Loss Landscape Analysis for Reliable Quantized ML Models for Scientific Sensing

• arxiv url: http://arxiv.org/abs/2502.08355v1
• Date: Wed, 12 Feb 2025 12:30:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 18:10:00.979457
• Title: Loss Landscape Analysis for Reliable Quantized ML Models for Scientific Sensing
• Title（参考訳）: 科学的センシングのための信頼性の高い量子化MLモデルの損失景観解析
• Authors: Tommaso Baldi, Javier Campos, Olivia Weng, Caleb Geniesse, Nhan Tran, Ryan Kastner, Alessandro Biondi,
• Abstract要約: 機械学習(ML)モデルの損失景観を実証分析する手法を提案する。 本手法は,MLモデルのロバスト性を,量子化精度の関数や異なる正規化手法の下で評価することができる。
• 参考スコア（独自算出の注目度）: 41.89148096989836
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this paper, we propose a method to perform empirical analysis of the loss landscape of machine learning (ML) models. The method is applied to two ML models for scientific sensing, which necessitates quantization to be deployed and are subject to noise and perturbations due to experimental conditions. Our method allows assessing the robustness of ML models to such effects as a function of quantization precision and under different regularization techniques -- two crucial concerns that remained underexplored so far. By investigating the interplay between performance, efficiency, and robustness by means of loss landscape analysis, we both established a strong correlation between gently-shaped landscapes and robustness to input and weight perturbations and observed other intriguing and non-obvious phenomena. Our method allows a systematic exploration of such trade-offs a priori, i.e., without training and testing multiple models, leading to more efficient development workflows. This work also highlights the importance of incorporating robustness into the Pareto optimization of ML models, enabling more reliable and adaptive scientific sensing systems.
• Abstract（参考訳）: 本稿では機械学習(ML)モデルの損失景観を実証的に解析する手法を提案する。 この方法は、2つのMLモデルに適用され、量子化を展開し、実験条件によりノイズや摂動を受ける必要がある。 本手法では,MLモデルのロバスト性を,量子化精度の関数や異なる正規化手法の下で評価することができる。 ロスランドスケープ解析による性能, 効率, 頑健さの相互関係を調べた結果, 優美な地形と, 入力と重みの摂動に対する頑健さとの間に強い相関関係がみられ, その他の興味深い現象や不愉快な現象が観察された。 提案手法は,複数のモデルのトレーニングやテストを行わず,これらのトレードオフを事前に体系的に探索することを可能にし,より効率的な開発ワークフローを実現する。 この研究は、MLモデルのパレート最適化に堅牢性を取り入れることの重要性を強調し、より信頼性が高く適応的な科学的センシングシステムを実現する。

関連論文リスト

• Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
  大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。 この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
  論文  参考訳（メタデータ） (2025-03-31T10:16:03Z)
• Error-controlled non-additive interaction discovery in machine learning models [8.248260569247595]
  信頼性の高い特徴相互作用発見のための新しい手法であるDiamondを紹介する。 Diamondは、偽発見率(FDR)を制御するためにModel-Xノックオフフレームワークを独自に統合する シミュレーションと実データの両方に対する実験的な評価は、より信頼性の高いデータ駆動科学的な発見を可能にするダイアモンドの有用性を示している。
  論文  参考訳（メタデータ） (2024-08-30T05:13:11Z)
• MS-MANO: Enabling Hand Pose Tracking with Biomechanical Constraints [50.61346764110482]
  筋骨格系と学習可能なパラメトリックハンドモデルMANOを統合し,MS-MANOを作成する。 このモデルは骨格系を駆動する筋肉と腱の力学をエミュレートし、結果として生じるトルク軌跡に生理学的に現実的な制約を与える。 また,マルチ層パーセプトロンネットワークによる初期推定ポーズを改良する,ループ式ポーズ改善フレームワークBioPRを提案する。
  論文  参考訳（メタデータ） (2024-04-16T02:18:18Z)
• What Makes Quantization for Large Language Models Hard? An Empirical Study from the Lens of Perturbation [55.153595212571375]
  量子化は、大規模言語モデル(LLM)のメモリと計算効率を改善する技術である。 本稿では,LLMの重みと活性化に付加される摂動として,量子化の新しい視点を提案する。 各種人工摂動実験を行い,LLMの性能への影響について検討する。
  論文  参考訳（メタデータ） (2024-03-11T03:42:51Z)
• Replication Study: Enhancing Hydrological Modeling with Physics-Guided Machine Learning [0.0]
  現在の水理モデリング手法は、データ駆動機械学習アルゴリズムと従来の物理モデルを組み合わせたものである。 結果予測におけるMLの精度にもかかわらず、科学的知識の統合は信頼性の高い予測には不可欠である。 本研究では,概念的水文モデルのプロセス理解とMLアルゴリズムの予測効率を融合した物理インフォームド機械学習モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-21T16:26:59Z)
• On Task Performance and Model Calibration with Supervised and Self-Ensembled In-Context Learning [71.44986275228747]
  In-context Learning (ICL) は、近年の大規模言語モデル(LLM)の進歩により、効率的なアプローチとなっている。 しかし、両方のパラダイムは、過信の批判的な問題(すなわち、誤校正)に苦しむ傾向にある。
  論文  参考訳（メタデータ） (2023-12-21T11:55:10Z)
• Differentiable modeling to unify machine learning and physical models and advance Geosciences [38.92849886903847]
  微分可能地科学モデリング(DG)の概念,適用性,意義について概説する。 微分可能(differentiable)とは、モデル変数に関する勾配を正確かつ効率的に計算すること。 予備的な証拠は、DGが機械学習よりも優れた解釈可能性と因果性を提供することを示している。
  論文  参考訳（メタデータ） (2023-01-10T15:24:14Z)
• Physics-Guided Adversarial Machine Learning for Aircraft Systems Simulation [9.978961706999833]
  この研究は、物理誘導型逆機械学習(ML)という新しいアプローチを示し、モデルの物理一貫性に対する信頼性を向上させる。 2つの航空機システムの性能モデルに対する実証的な評価は、我々の敵MLアプローチの有効性を示している。
  論文  参考訳（メタデータ） (2022-09-07T19:23:45Z)
• Putting Density Functional Theory to the Test in Machine-Learning-Accelerated Materials Discovery [2.7810723668216575]
  従来のDFTベース機械学習(ML)で典型的なものを超える精度、効率、アプローチに必要な進歩について述べる。 DFTが高スループットのスクリーンで所定のデータポイントを信頼するには、一連のテストに合格しなければならない。 DFTが高スループットのスクリーンで所定のデータポイントを信頼するには、一連のテストに合格しなければならない。
  論文  参考訳（メタデータ） (2022-05-06T00:34:50Z)
• Learning continuous models for continuous physics [94.42705784823997]
  本研究では,科学技術応用のための機械学習モデルを検証する数値解析理論に基づくテストを開発する。 本研究は,従来のMLトレーニング/テスト手法と一体化して,科学・工学分野におけるモデルの検証を行う方法である。
  論文  参考訳（メタデータ） (2022-02-17T07:56:46Z)
• Enhancing predictive skills in physically-consistent way: Physics Informed Machine Learning for Hydrological Processes [1.0635248457021496]
  本研究では,概念的水文モデルのプロセス理解と最先端MLモデルの予測能力を組み合わせた物理インフォームド機械学習(PIML)モデルを開発する。 提案したモデルを用いて,インドのナルマダ川流域における目標(流れ流)と中間変数(実際の蒸発吸引)の月次時間系列を予測する。
  論文  参考訳（メタデータ） (2021-04-22T12:13:42Z)
• Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks [82.33619654835348]
  インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。 散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。 本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-29T08:39:43Z)
• Real-Time Model Calibration with Deep Reinforcement Learning [4.707841918805165]
  本稿では,強化学習に基づくモデルパラメータ推定のための新しいフレームワークを提案する。 提案手法を2つのモデルベース診断試験ケースで実証し, 評価した。
  論文  参考訳（メタデータ） (2020-06-07T00:11:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。