論文の概要: Learning Deep Hybrid Models with Sharpness-Aware Minimization

• arxiv url: http://arxiv.org/abs/2602.06837v1
• Date: Fri, 06 Feb 2026 16:27:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 22:18:26.480122
• Title: Learning Deep Hybrid Models with Sharpness-Aware Minimization
• Title（参考訳）: シャープネス認識最小化による深層ハイブリッドモデルの学習
• Authors: Naoya Takeishi,
• Abstract要約: 本稿では,ハイブリッドモデル学習における損失最小化の平坦性に着目し,モデルを可能な限りシンプルにすることを目的とする。 我々は、シャープネスを意識した最小化の概念を採用し、それをハイブリッド・モデリング・セッティングに適用する。 数値実験により、SAM法はモデルとデータセットの異なる選択に対してうまく機能することが示された。
• 参考スコア（独自算出の注目度）: 4.8941886361557625
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hybrid modeling, the combination of machine learning models and scientific mathematical models, enables flexible and robust data-driven prediction with partial interpretability. However, effectively the scientific models may be ignored in prediction due to the flexibility of the machine learning model, making the idea of hybrid modeling pointless. Typically some regularization is applied to hybrid model learning to avoid such a failure case, but the formulation of the regularizer strongly depends on model architectures and domain knowledge. In this paper, we propose to focus on the flatness of loss minima in learning hybrid models, aiming to make the model as simple as possible. We employ the idea of sharpness-aware minimization and adapt it to the hybrid modeling setting. Numerical experiments show that the SAM-based method works well across different choices of models and datasets.
• Abstract（参考訳）: ハイブリッドモデリングは、機械学習モデルと科学的数学的モデルを組み合わせたもので、部分的解釈可能性を備えた柔軟で堅牢なデータ駆動予測を可能にする。 しかし、機械学習モデルの柔軟性のために予測において科学的モデルは無視され、ハイブリッドモデリングの概念は無意味である。 通常、ある種の正規化はそのような失敗を避けるためにハイブリッドモデル学習に適用されるが、正規化の定式化はモデルアーキテクチャやドメイン知識に強く依存する。 本稿では,ハイブリッドモデル学習における損失最小値の平坦性に着目し,モデルを可能な限りシンプルにすることを目的とする。 我々は、シャープネスを意識した最小化の概念を採用し、それをハイブリッドモデリング環境に適用する。 数値実験により、SAM法はモデルとデータセットの異なる選択に対してうまく機能することが示された。

関連論文リスト

• Supervised Score-Based Modeling by Gradient Boosting [49.556736252628745]
  本稿では,スコアマッチングを組み合わせた勾配向上アルゴリズムとして,SSM(Supervised Score-based Model)を提案する。 推測時間と予測精度のバランスをとるため,SSMの学習とサンプリングに関する理論的解析を行った。 我々のモデルは、精度と推測時間の両方で既存のモデルより優れています。
  論文  参考訳（メタデータ） (2024-11-02T07:06:53Z)
• Learnable & Interpretable Model Combination in Dynamical Systems Modeling [0.0]
  この研究は、動的システムモデリングにおいて、どのタイプのモデルが通常結合されるかを簡単に議論する。 本稿では,混合代数的,離散的,微分方程式に基づくモデルを表現可能なモデルのクラスを提案する。 最後に,モデルの任意の組み合わせを,容易に解釈可能な方法で記述できる新しいワイルドカードアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-06-12T11:17:11Z)
• Hybrid$^2$ Neural ODE Causal Modeling and an Application to Glycemic Response [5.754225700181611]
  我々は、最先端の予測性能の早期因果正性を達成する方法を示す。 1型糖尿病患者の運動後の血糖動態をモデル化する難しい課題において、最先端の予測性能を早期に達成する能力を示す。
  論文  参考訳（メタデータ） (2024-02-27T06:01:56Z)
• Online Calibration of Deep Learning Sub-Models for Hybrid Numerical Modeling Systems [34.50407690251862]
  本稿では,ハイブリッドシステムのための効率的かつ実用的なオンライン学習手法を提案する。 オイラー勾配近似(Euler Gradient Approximation)のEGA(Euler Gradient Approximation)と呼ばれる手法は、無限に小さな時間ステップの極限における正確な勾配に収束することを示した。 その結果、オフライン学習よりも大幅に改善され、ハイブリッドモデリングにおけるエンド・ツー・エンドのオンライン学習の可能性を強調した。
  論文  参考訳（メタデータ） (2023-11-17T17:36:26Z)
• Online simulator-based experimental design for cognitive model selection [74.76661199843284]
  本稿では,抽出可能な確率を伴わない計算モデルを選択する実験設計手法BOSMOSを提案する。 シミュレーション実験では,提案手法により,既存のLFI手法に比べて最大2桁の精度でモデルを選択することができることを示した。
  論文  参考訳（メタデータ） (2023-03-03T21:41:01Z)
• Minimal Value-Equivalent Partial Models for Scalable and Robust Planning in Lifelong Reinforcement Learning [56.50123642237106]
  モデルに基づく強化学習における一般的な実践は、エージェントの環境のあらゆる側面をモデル化するモデルを学ぶことである。 このようなモデルは、生涯にわたる強化学習シナリオにおいて、スケーラブルで堅牢な計画を実行するのに特に適していない、と我々は主張する。 我々は,「最小値部分モデル」と呼ぶ,環境の関連する側面のみをモデル化する新しい種類のモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-24T16:40:01Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [47.432215933099016]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Integrating Physics-Based Modeling with Machine Learning for Lithium-Ion Batteries [4.946066838162504]
  本稿では,LiBの高精度モデリングを実現するために,物理モデルと機械学習を統合する2つの新しいフレームワークを提案する。 これらのフレームワークは、物理モデルの状態情報の機械学習モデルに通知することで特徴付けられる。 この研究はさらに、老化を意識したハイブリッドモデリングの実施へと拡張され、予測を行うために健康状態に意識したハイブリッドモデルの設計につながった。
  論文  参考訳（メタデータ） (2021-12-24T07:39:02Z)
• Hybrid modeling of the human cardiovascular system using NeuralFMUs [0.0]
  ハイブリッドなモデリングプロセスは、より快適で、システム知識を必要とせず、第一原理に基づくモデリングに比べてエラーの少ないことが示される。 結果として得られたハイブリッドモデルは、純粋な第一原理のホワイトボックスモデルに比べて計算性能が向上した。 考慮されたユースケースは、医療領域内外における他のモデリングおよびシミュレーションアプリケーションの例として機能する。
  論文  参考訳（メタデータ） (2021-09-10T13:48:43Z)
• Model-agnostic multi-objective approach for the evolutionary discovery of mathematical models [55.41644538483948]
  現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。 合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
  論文  参考訳（メタデータ） (2021-07-07T11:17:09Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Hybrid modeling: Applications in real-time diagnosis [64.5040763067757]
  我々は、機械学習にインスパイアされたモデルと物理モデルを組み合わせた、新しいハイブリッドモデリングアプローチの概要を述べる。 このようなモデルをリアルタイム診断に利用しています。
  論文  参考訳（メタデータ） (2020-03-04T00:44:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。