論文の概要: Explainable data-driven modeling via mixture of experts: towards
effective blending of grey and black-box models
- arxiv url: http://arxiv.org/abs/2401.17118v1
- Date: Tue, 30 Jan 2024 15:53:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-31 14:17:43.722824
- Title: Explainable data-driven modeling via mixture of experts: towards
effective blending of grey and black-box models
- Title（参考訳）: 専門家の混合による説明可能なデータ駆動モデリング:グレーとブラックボックスモデルの効果的なブレンディングに向けて
- Authors: Jessica Leoni, Valentina Breschi, Simone Formentin, Mara Tanelli
- Abstract要約: 専門家の混成」の理論的根拠に基づく包括的枠組みを提案する。
このアプローチは、多様なローカルモデルのデータベースの融合を可能にする。
我々は,解釈可能性を高めるために,専門家の組み合わせの急激な変化を罰する。
- 参考スコア（独自算出の注目度）: 6.331947318187792
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traditional models grounded in first principles often struggle with accuracy
as the system's complexity increases. Conversely, machine learning approaches,
while powerful, face challenges in interpretability and in handling physical
constraints. Efforts to combine these models often often stumble upon
difficulties in finding a balance between accuracy and complexity. To address
these issues, we propose a comprehensive framework based on a "mixture of
experts" rationale. This approach enables the data-based fusion of diverse
local models, leveraging the full potential of first-principle-based priors.
Our solution allows independent training of experts, drawing on techniques from
both machine learning and system identification, and it supports both
collaborative and competitive learning paradigms. To enhance interpretability,
we penalize abrupt variations in the expert's combination. Experimental results
validate the effectiveness of our approach in producing an interpretable
combination of models closely resembling the target phenomena.
- Abstract（参考訳）: 第一原理に基づく伝統的なモデルは、システムの複雑さが増すにつれて精度に苦慮することが多い。
逆に、機械学習のアプローチは強力だが、解釈可能性や物理的制約の扱いにおいて課題に直面している。
これらのモデルを組み合わせる努力は、しばしば精度と複雑さのバランスを見つけるのに困難に悩まされる。
これらの課題に対処するため,我々は「専門家の混成」に基づく包括的枠組みを提案する。
このアプローチは、データに基づく様々なローカルモデルの融合を可能にし、第一原理に基づく事前の可能性を最大限活用する。
このソリューションは、機械学習とシステム識別の両方から技術を駆使して、専門家の独立したトレーニングを可能にし、協調的および競争的な学習パラダイムの両方をサポートする。
解釈性を高めるため、専門家の組合せの突然の変動を罰する。
実験結果は,対象現象によく似たモデルの解釈可能な組み合わせを作成できる手法の有効性を検証した。
関連論文リスト
- Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。
低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。
このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
論文 参考訳（メタデータ） (2024-10-06T15:25:39Z) - Generalizing Machine Learning Evaluation through the Integration of Shannon Entropy and Rough Set Theory [0.0]
我々は、粗集合論の粒度とシャノンエントロピーの不確かさの定量化を相乗化する包括的枠組みを導入する。
我々の手法は様々なデータセットで厳密にテストされており、予測性能を評価するだけでなく、基礎となるデータの複雑さとモデルロバスト性を照らす能力を示している。
論文 参考訳（メタデータ） (2024-04-18T21:22:42Z) - Model-Agnostic Interpretation Framework in Machine Learning: A
Comparative Study in NBA Sports [0.2937071029942259]
本稿では,モデル性能と解釈可能性のトレードオフを整理する,革新的な枠組みを提案する。
我々のアプローチは高次元データに対するモジュラー操作を中心とし、解釈可能性を維持しながらエンドツーエンドの処理を可能にする。
我々は、我々のフレームワークを広範囲にテストし、計算効率と解釈可能性のバランスをとる上で、その優れた効果を検証した。
論文 参考訳（メタデータ） (2024-01-05T04:25:21Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-10-26T17:59:46Z) - Diversifying the Mixture-of-Experts Representation for Language Models with Orthogonal Optimizer [59.43462055143123]
The Mixture of Experts (MoE)は、ディープラーニングにおいて非常に成功したテクニックとして登場した。
本研究では,MoEの専門家が多様性の専門化や欠如に失敗した同質表現問題に光を当てた。
我々は,各専門家が他の専門家に分散された部分空間への方向を更新するように促す訓練戦略を交互に提案する。
論文 参考訳（メタデータ） (2023-10-15T07:20:28Z) - A Competitive Learning Approach for Specialized Models: A Solution for
Complex Physical Systems with Distinct Functional Regimes [0.0]
本稿では,物理システムのデータ駆動モデルを得るための新たな競合学習手法を提案する。
提案手法の背景にある基本的な考え方は、データに基づいて同時にトレーニングされたモデルの集合に対して、動的損失関数を使用することである。
論文 参考訳（メタデータ） (2023-07-19T23:29:40Z) - On Robust Numerical Solver for ODE via Self-Attention Mechanism [82.95493796476767]
我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。
まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
論文 参考訳（メタデータ） (2023-02-05T01:39:21Z) - Joint Training of Deep Ensembles Fails Due to Learner Collusion [61.557412796012535]
機械学習モデルのアンサンブルは、単一のモデルよりもパフォーマンスを改善する強力な方法として確立されている。
伝統的に、アンサンブルアルゴリズムは、ジョイントパフォーマンスの最適化を目標として、ベースラーナーを独立または逐次訓練する。
アンサンブルの損失を最小化することは、実際にはほとんど適用されないことを示す。
論文 参考訳（メタデータ） (2023-01-26T18:58:07Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳（メタデータ） (2022-06-05T01:14:46Z) - Ensemble Learning-Based Approach for Improving Generalization Capability
of Machine Reading Comprehension Systems [0.7614628596146599]
機械読み取り(MRC)は、近年、多くの開発が成功した自然言語処理の活発な分野である。
分布精度が高いにもかかわらず、これらのモデルには2つの問題がある。
本稿では,大規模モデルを再学習することなく,MCCシステムの一般化を改善するためのアンサンブル学習手法の効果について検討する。
論文 参考訳（メタデータ） (2021-07-01T11:11:17Z) - A non-cooperative meta-modeling game for automated third-party
calibrating, validating, and falsifying constitutive laws with parallelized
adversarial attacks [6.113400683524824]
特に高リスク・高レグリート工学的応用におけるモデルの評価には、効率的で厳格な第三者の校正、検証、ファルシフィケーションが必要である。
本研究は,ゲーム理論と機械学習技術の概念を導入し,これらの課題の多くを克服しようとするものである。
2つの競合するAIエージェントが実験データを生成し、与えられたモデルを校正し、その弱点を探り、競争を通じて実験設計を改善し、堅牢性をモデル化する自動メタモデリングゲームを導入する。
論文 参考訳（メタデータ） (2020-04-13T18:43:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。