論文の概要: Beyond Convergence: Identifiability of Machine Learning and Deep
Learning Models
- arxiv url: http://arxiv.org/abs/2307.11332v1
- Date: Fri, 21 Jul 2023 03:40:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-24 13:53:20.850086
- Title: Beyond Convergence: Identifiability of Machine Learning and Deep
Learning Models
- Title（参考訳）: 収束を超えて:機械学習とディープラーニングモデルの識別可能性
- Authors: Reza Sameni
- Abstract要約: 本研究では,モデルパラメータ識別可能性の概念を,モーションセンサデータからのパラメータ推定に焦点をあてたケーススタディにより検討する。
我々は、質量、剛性、平衡脚長などの主観的パラメータを推定するために、ディープニューラルネットワークを用いる。
その結果、観測データから特定のパラメータを特定できるが、他のパラメータは未同定のままであることがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Machine learning (ML) and deep learning models are extensively used for
parameter optimization and regression problems. However, not all inverse
problems in ML are ``identifiable,'' indicating that model parameters may not
be uniquely determined from the available data and the data model's
input-output relationship. In this study, we investigate the notion of model
parameter identifiability through a case study focused on parameter estimation
from motion sensor data. Utilizing a bipedal-spring mass human walk dynamics
model, we generate synthetic data representing diverse gait patterns and
conditions. Employing a deep neural network, we attempt to estimate
subject-wise parameters, including mass, stiffness, and equilibrium leg length.
The results show that while certain parameters can be identified from the
observation data, others remain unidentifiable, highlighting that
unidentifiability is an intrinsic limitation of the experimental setup,
necessitating a change in data collection and experimental scenarios. Beyond
this specific case study, the concept of identifiability has broader
implications in ML and deep learning. Addressing unidentifiability requires
proven identifiable models (with theoretical support), multimodal data fusion
techniques, and advancements in model-based machine learning. Understanding and
resolving unidentifiability challenges will lead to more reliable and accurate
applications across diverse domains, transcending mere model convergence and
enhancing the reliability of machine learning models.
- Abstract（参考訳）: 機械学習(ML)とディープラーニングモデルはパラメータ最適化や回帰問題に広く利用されている。
しかし、MLにおけるすべての逆問題「特定可能」は、モデルパラメータが利用可能なデータとデータモデルの入出力関係から一意に決定されないことを示すものではない。
本研究では,運動センサデータからのパラメータ推定に着目したケーススタディにより,モデルパラメータ識別可能性の概念を検討する。
2足歩行-バネ集団歩行ダイナミクスモデルを用いて,多様な歩行パターンと条件を表す合成データを生成する。
深層ニューラルネットワークを用いて, 質量, 剛性, 平衡脚長などの主観的パラメータを推定する。
その結果、特定のパラメータは観測データから識別できるが、他のパラメータは識別不能であり、識別不能は実験セットアップの固有の制限であり、データ収集と実験シナリオの変更が必要であることを強調する。
この特定のケーススタディの他に、識別可能性の概念はMLとディープラーニングに幅広い意味を持つ。
識別不能に対処するには、(理論的サポート付き)証明可能なモデル、マルチモーダルデータ融合技術、モデルベース機械学習の進歩が必要である。
識別不能な課題の理解と解決は、さまざまなドメインにまたがる信頼性と正確性の向上、単なるモデルの収束、マシンラーニングモデルの信頼性向上につながる。
関連論文リスト
- SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。
SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。
画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文 参考訳（メタデータ） (2024-08-19T17:32:15Z) - Latent Variable Sequence Identification for Cognitive Models with Neural Bayes Estimation [7.7227297059345466]
本稿では,ニューラルベイズ推定を拡張して,実験データと対象変数空間との直接マッピングを学習する手法を提案する。
我々の研究は、リカレントニューラルネットワークとシミュレーションベースの推論を組み合わせることで、潜在変数配列を特定することで、研究者がより広範な認知モデルにアクセスできるようになることを強調している。
論文 参考訳（メタデータ） (2024-06-20T21:13:39Z) - MergeNet: Knowledge Migration across Heterogeneous Models, Tasks, and Modalities [72.68829963458408]
異種モデルのパラメータ空間のギャップを埋めることを学ぶMergeNetを提案する。
MergeNetの中核となるメカニズムはパラメータアダプタにあり、ソースモデルの低ランクパラメータをクエリすることで動作する。
MergeNetは両方のモデルと共に学習され、我々のフレームワークは、現在のステージに関する知識を動的に転送し、適応することができます。
論文 参考訳（メタデータ） (2024-04-20T08:34:39Z) - Latent variable model for high-dimensional point process with structured missingness [4.451479907610764]
縦断データは医療、社会学、地震学など多くの分野で重要である。
実世界のデータセットは高次元であり、構造化された欠陥パターンを含み、測定時間ポイントは未知のプロセスによって管理される。
これらの制限に対処可能な、柔軟で効率的な潜在変数モデルを提案する。
論文 参考訳（メタデータ） (2024-02-08T15:41:48Z) - Seeking Neural Nuggets: Knowledge Transfer in Large Language Models from a Parametric Perspective [106.92016199403042]
パラメトリック・パースペクティブを用いて,大規模モデルから小規模モデルへの知識伝達を実証的に検討する。
感性に基づく手法を用いて、異なる大言語モデル間で知識固有のパラメータを抽出・調整する。
本研究は,パラメトリックな知識伝達の過程に寄与する重要な要因を明らかにする。
論文 参考訳（メタデータ） (2023-10-17T17:58:34Z) - A prediction and behavioural analysis of machine learning methods for
modelling travel mode choice [0.26249027950824505]
我々は、モデル選択に影響を及ぼす可能性のある重要な要因の観点から、複数のモデリング問題に対して異なるモデリングアプローチを体系的に比較する。
その結果,非凝集性予測性能が最も高いモデルでは,行動指標やアグリゲーションモードのシェアが低下することが示唆された。
MNLモデルは様々な状況において堅牢に機能するが、ML手法はWillingness to Payのような行動指標の推定を改善することができる。
論文 参考訳（メタデータ） (2023-01-11T11:10:32Z) - Dynamic Latent Separation for Deep Learning [67.62190501599176]
機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。
本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
論文 参考訳（メタデータ） (2022-10-07T17:56:53Z) - On the Influence of Enforcing Model Identifiability on Learning dynamics
of Gaussian Mixture Models [14.759688428864159]
特異モデルからサブモデルを抽出する手法を提案する。
本手法はトレーニング中のモデルの識別性を強制する。
この手法がディープニューラルネットワークのようなより複雑なモデルにどのように適用できるかを示す。
論文 参考訳（メタデータ） (2022-06-17T07:50:22Z) - Bayesian Active Learning for Discrete Latent Variable Models [19.852463786440122]
アクティブラーニングは、モデルのパラメータに適合するために必要なデータ量を削減しようとする。
潜在変数モデルは神経科学、心理学、その他の様々な工学、科学分野において重要な役割を果たす。
論文 参考訳（メタデータ） (2022-02-27T19:07:12Z) - Mixed Effects Neural ODE: A Variational Approximation for Analyzing the
Dynamics of Panel Data [50.23363975709122]
パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。
我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。
次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
論文 参考訳（メタデータ） (2022-02-18T22:41:51Z) - Model-agnostic multi-objective approach for the evolutionary discovery
of mathematical models [55.41644538483948]
現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。
合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
論文 参考訳（メタデータ） (2021-07-07T11:17:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。