論文の概要: Prediction Sets for High-Dimensional Mixture of Experts Models
- arxiv url: http://arxiv.org/abs/2210.16710v1
- Date: Sun, 30 Oct 2022 00:27:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-01 19:03:34.911601
- Title: Prediction Sets for High-Dimensional Mixture of Experts Models
- Title（参考訳）: 専門家モデルの高次元混合に対する予測セット
- Authors: Adel Javanmard, Simeng Shao, Jacob Bien
- Abstract要約: 高次元設定におけるエキスパートモデルの$ell_$-penalizedmixに対して有効な予測セットを構築する方法を示す。
本稿では, 罰則による偏見を考慮に入れた脱バイアス法を応用し, 間隔を組み合わさって予測セットを形成する新しい戦略を提案する。
- 参考スコア（独自算出の注目度）: 9.195729979000404
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large datasets make it possible to build predictive models that can capture
heterogenous relationships between the response variable and features. The
mixture of high-dimensional linear experts model posits that observations come
from a mixture of high-dimensional linear regression models, where the mixture
weights are themselves feature-dependent. In this paper, we show how to
construct valid prediction sets for an $\ell_1$-penalized mixture of experts
model in the high-dimensional setting. We make use of a debiasing procedure to
account for the bias induced by the penalization and propose a novel strategy
for combining intervals to form a prediction set with coverage guarantees in
the mixture setting. Synthetic examples and an application to the prediction of
critical temperatures of superconducting materials show our method to have
reliable practical performance.
- Abstract（参考訳）: 大規模なデータセットは、応答変数と機能の間の異種関係を捉えることができる予測モデルを構築することができる。
高次元線形回帰モデルと高次元線形回帰モデルとの混合は、混合重み自体が特徴に依存している高次元線形回帰モデルから生じる。
本稿では,高次元設定におけるエキスパートモデルの$\ell_1$-penalizedmixに対して有効な予測セットを構築する方法について述べる。
ペナリゼーションによって引き起こされるバイアスを考慮したデバイアス手順を用い,混合設定におけるカバレッジ保証付き予測セットを形成するための間隔を結合する新しい手法を提案する。
超伝導材料の臨界温度予測への合成例と応用は, 信頼性の高い実用性能を有することを示す。
関連論文リスト
- Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。
本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。
提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
論文 参考訳（メタデータ） (2024-04-11T09:23:36Z) - Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance [55.872926690722714]
本研究では,関数形式の混合比に関するモデル性能の予測可能性について検討する。
トレーニングステップのスケーリング法則,モデルサイズ,データ混合法則のネスト利用を提案する。
提案手法は,RedPajamaにおける100Bトークンをトレーニングした1Bモデルのトレーニング混合物を効果的に最適化する。
論文 参考訳（メタデータ） (2024-03-25T17:14:00Z) - Fusion of Gaussian Processes Predictions with Monte Carlo Sampling [61.31380086717422]
科学と工学において、私たちはしばしば興味のある変数の正確な予測のために設計されたモデルで作業します。
これらのモデルが現実の近似であることを認識し、複数のモデルを同じデータに適用し、結果を統合することが望ましい。
論文 参考訳（メタデータ） (2024-03-03T04:21:21Z) - Predictive Churn with the Set of Good Models [64.05949860750235]
近似機械学習モデルの集合に対する競合予測の効果について検討する。
ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。
当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
論文 参考訳（メタデータ） (2024-02-12T16:15:25Z) - Local Bayesian Dirichlet mixing of imperfect models [0.0]
ベイズモデルの平均化および混合技術による核質量の採掘能力について検討した。
予測精度と不確実性定量化の両方において,グローバルモデルと局所モデルの混合が優れた性能を発揮することを示す。
論文 参考訳（メタデータ） (2023-11-02T21:02:40Z) - Sharing Information Between Machine Tools to Improve Surface Finish
Forecasting [0.0]
筆者らは旋回加工過程における表面粗さの測定を予測するためのベイズ階層モデルを提案する。
階層モデルは、複数の独立ベイズ線形回帰モデルと比較され、加工環境における部分プールの利点を示す。
論文 参考訳（メタデータ） (2023-10-09T15:44:35Z) - Differentiating Metropolis-Hastings to Optimize Intractable Densities [51.16801956665228]
我々はメトロポリス・ハスティングス検層の自動識別アルゴリズムを開発した。
難解な対象密度に対する期待値として表現された目的に対して勾配に基づく最適化を適用する。
論文 参考訳（メタデータ） (2023-06-13T17:56:02Z) - Bayesian Sparse Regression for Mixed Multi-Responses with Application to
Runtime Metrics Prediction in Fog Manufacturing [6.288767115532775]
フォッグ製造は、分散計算Fogユニットを通じて従来の製造システムを大幅に強化することができる。
予測オフロード手法は,実行時のパフォーマンス指標の正確な予測と不確かさの定量化に大きく依存していることが知られている。
本稿では,多変量混合応答に対するベイジアンスパース回帰法を提案し,実行時性能指標の予測を強化する。
論文 参考訳（メタデータ） (2022-10-10T16:14:08Z) - Time varying regression with hidden linear dynamics [74.9914602730208]
線形力学系に従って未知のパラメータが進化することを前提とした時間変化線形回帰モデルを再検討する。
反対に、基礎となる力学が安定である場合、このモデルのパラメータは2つの通常の最小二乗推定と組み合わせることで、データから推定できることが示される。
論文 参考訳（メタデータ） (2021-12-29T23:37:06Z) - An Extended Multi-Model Regression Approach for Compressive Strength
Prediction and Optimization of a Concrete Mixture [0.0]
コンクリートの圧縮強度のモデルに基づく評価は, 強度予測と混合最適化の両方のために高い値である。
複数の回帰手法の重み付け組み合わせにより予測モデルの精度を向上させるためのさらなる一歩を踏み出す。
得られた多回帰モデルに基づいてGAに基づく混合最適化を提案する。
論文 参考訳（メタデータ） (2021-06-13T16:10:32Z) - A similarity-based Bayesian mixture-of-experts model [0.5156484100374058]
多変量回帰問題に対する新しい非パラメトリック混合実験モデルを提案する。
条件付きモデルを用いて、サンプル外入力の予測は、観測された各データポイントと類似性に基づいて行われる。
混合物のパラメータと距離測定値に基づいて後部推論を行う。
論文 参考訳（メタデータ） (2020-12-03T18:08:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。