論文の概要: Modular Bayesian Foundation Models: Bayesian time series encoders for OOD detection, routing and forecasting
- arxiv url: http://arxiv.org/abs/2610.39043v1
- Date: Wed, 28 Oct 2026 23:16:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-31 05:25:12.432929
- Title: Modular Bayesian Foundation Models: Bayesian time series encoders for OOD detection, routing and forecasting
- Title（参考訳）: Modular Bayesian Foundation Models:OOD検出,ルーティング,予測のためのベイズ時系列エンコーダ
- Abstract要約: 産業システムはサンプリング周波数、スケール、ダイナミクス、運用体制に異なる時系列を生成する。
単一の時系列ファンデーションモデルは、すべてのレシエーションを効果的に表現することができず、新しいデータセットやレシエーションシフト毎に大きなモデルをトレーニングすることは、計算的に高価である。
本稿では,エンドツーエンドのベイズエンコーダトレーニングと不確実性に基づくルーティングを組み合わせるモジュール基盤モデルフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Industrial systems continuously generate time series that vary in sampling frequency, scale, dynamics, and operating regime. Consequently a single time-series foundation model may not be able to represent all regimes effectively and retraining a large model for every new dataset or regime shift is computationally expensive. Modular foundation models address this issue by reusing specialised encoders trained on diverse datasets and by allowing the expansion of capabilities through the addition of new experts. This approach requires compact experts to minimize storage cost and a proper selection mechanism of experts for unseen data. We propose a modular foundation model framework that combines end-to-end Bayesian encoder training with uncertainty based routing. Using Singular Bayesian Neural Networks (SBNNs), we build a collection of compact Bayesian encoders whose epistemic uncertainty guides label-free selection. At the selected ranks, our Bayesian collection uses 63.8\% less storage than its deterministic counterpart. We evaluate this framework on time-series data through distribution shift, encoder selection, and probabilistic forecasting. Across seven incoming datasets, uncertainty-based routing is competitive with distance-based routing in terms of forecast MSE, while reducing average ECE from 0.086 to 0.072 and average NLL from 0.907 to 0.836. It also increases PICP90 from 82.28\% to 89.03\%. In a separate model-family comparison, we evaluate the SBNN pipeline against full-rank Bayes by Backprop, deep ensembles, and MC Dropout. The SBNN pipeline achieves an average MSE of 0.390, comparable with 0.396 for deep ensembles, 0.389 for MC dropout, and 0.443 for the full-rank Bayesian model. It uses 63.9\% fewer parameters than MC dropout, 81.9\% fewer than the full-rank model, and 92.8\% fewer than the deep ensemble.
- Abstract（参考訳）: 産業システムは、サンプリング周波数、スケール、ダイナミクス、運用体制に異なる時系列を連続的に生成する。
したがって、単一の時系列基盤モデルは、すべてのレギュレーションを効果的に表現することができず、新しいデータセットやレギュレーションシフト毎に大きなモデルをトレーニングすることは、計算的に高価である。
モジュールファウンデーションモデルは、さまざまなデータセットでトレーニングされた特殊なエンコーダを再利用し、新たな専門家の追加による機能拡張を可能にすることで、この問題に対処する。
このアプローチでは、ストレージコストを最小限に抑えるためのコンパクトな専門家と、目に見えないデータの専門家の適切な選択メカニズムが必要です。
本稿では,エンドツーエンドのベイズエンコーダトレーニングと不確実性に基づくルーティングを組み合わせるモジュール基盤モデルフレームワークを提案する。
我々はSingular Bayesian Neural Networks (SBNNs) を用いて, ラベルなし選択を導出する認識の不確実性を持つコンパクトベイズエンコーダの集合を構築する。
選抜されたランクでは、ベイズコレクションは決定論的コレクションよりも63.8 %少ないストレージを使用している。
本フレームワークは,分散シフト,エンコーダ選択,確率予測などを通じて時系列データに基づいて評価する。
7つのデータセットにまたがって、不確実性に基づくルーティングは、予測MSEの観点からは距離ベースのルーティングと競合する一方で、平均ECEは0.086から0.072に、平均NLLは0.907から0.836に減少する。
PICP90も82.28\%から89.03\%に上昇する。
また,SBNNパイプラインをバックプロップ,ディープアンサンブル,MCDropoutによるフルランクベイズと比較した。
SBNNパイプラインは、ディープアンサンブルで0.396、MCドロップアウトで0.389、フルランクのベイズモデルで0.443に匹敵する平均MSE 0.390を達成する。
MCドロップアウトよりも63.9\%、フルランクモデルより81.9\%、ディープアンサンブルより92.8\%少ないパラメータを使用する。
関連論文リスト
- Stream-Based Active Learning with Cooperative Neural Networks for Data-Efficient Partial Inverse Design: An Automotive Glass Run Channel Case Study [2.509587033631627]
CoNN-ALはデータ効率のよい部分的逆設計のためのフレームワークである。
これは、Denoising Autoencoderを備えたCooperative Neural Networkにストリームベースのアクティブラーニングを追加する。
我々は、90万以上のユニークなシミュレートされたデザインの実際の自動車ガラスランチャネルデータセット上で、このフレームワークを検証する。
論文 参考訳（メタデータ） (2026-10-07T11:07:22Z) - From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix [55.08143827481755]
200以上の内部アプリケーションから1つのモデルにトラフィックを集約します。
我々は、各軸ごとに別々のGRPOエキスパートを訓練し、2段階のSLERPを介してそれらをマージする。
このモデルは、プラットフォームトラフィックの50%、月1億6600万リクエストをサービスコストのごく一部で吸収する。
論文 参考訳（メタデータ） (2026-09-01T17:39:26Z) - Conformal Prediction for Neural Operators: Distribution-Free Uncertainty Quantification in Physics Simulation [0.0]
ニューラル演算子に基づく物理シミュレーションにおける分割共形予測の最初の適用法を提案する。
本手法は,α=0.1のターゲットレベルで89.1%の経験的カバレッジを実現する。
提案手法はREST APIエンドポイントとインタラクティブな3Dビジュアライゼーションを備えたオープンソースプラットフォームで実装されている。
論文 参考訳（メタデータ） (2026-06-07T08:52:38Z) - Goedel-Prover-V2: Scaling Formal Theorem Proving with Scaffolded Data Synthesis and Self-Correction [95.91743732150233]
一連のオープンソースの言語モデルであるGoedel-Prover-V2は、自動定理の新たな最先端を証明した。
我々は、より複雑な定理をマスターするためにモデルを訓練することの困難さを増す合成タスクを生成する。
Goedel-Prover-V2-32Bは、標準モードのpass@32でMiniF2Fの88.1%、自己補正モードの90.4%を達成する。
論文 参考訳（メタデータ） (2025-08-05T16:28:22Z) - Compact Bayesian Neural Networks via pruned MCMC sampling [0.16777183511743468]
ベイズニューラルネットワーク(BNN)は、モデル予測において堅牢な不確実性定量化を提供するが、それらのトレーニングは重要な計算課題を示す。
本研究では,MCMCサンプリングとネットワークプルーニングを併用して,コンパクトな確率モデルを得るという課題に対処する。
モデルトレーニングと一般化性能を保ちながら, 後続分布による不確実性を推定する能力は, コンパクトBNNが維持可能であることを保証する。
論文 参考訳（メタデータ） (2025-01-12T22:48:04Z) - MatFormer: Nested Transformer for Elastic Inference [91.45687988953435]
MatFormerは、多様なデプロイメント制約にまたがる弾性推論を提供するように設計された、新しいTransformerアーキテクチャである。
MatFormerは、標準的なTransformerモデルにネストフィードフォワードネットワーク(FFN)ブロック構造を組み込むことで、これを実現している。
8億5000万デコーダのみのMatFormer言語モデル(MatLM)により,5億2200万から8億5千万のパラメータにまたがる複数の小さなモデルを抽出できることを示す。
論文 参考訳（メタデータ） (2023-10-11T17:57:14Z) - Bayesian Weapon System Reliability Modeling with Cox-Weibull Neural
Network [1.0152838128195467]
ニューラルネットワークを用いて,武器システムの特徴をパラメータ化したCox-Weibull信頼性モデルに統合することを提案する。
並列に、Weibullパラメータをニューラルネットワークでパラメータ化することで、代替ベイズモデルを開発する。
論文 参考訳（メタデータ） (2023-01-04T23:28:58Z) - ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked
Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。
提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。
生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文 参考訳（メタデータ） (2021-05-07T11:39:05Z) - Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。
現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。
本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文 参考訳（メタデータ） (2020-06-12T14:49:47Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳（メタデータ） (2020-03-04T12:27:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。