論文の概要: You Only Compress Once: Optimal Data Compression for Estimating Linear
Models
- arxiv url: http://arxiv.org/abs/2102.11297v1
- Date: Mon, 22 Feb 2021 19:00:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-24 14:04:52.964200
- Title: You Only Compress Once: Optimal Data Compression for Estimating Linear
Models
- Title(参考訳): 1回だけ圧縮:線形モデル推定のための最適データ圧縮
- Authors: Jeffrey Wong, Eskil Forsell, Randall Lewis, Tobias Mao and Matthew
Wardrop
- Abstract要約: 線形モデルを用いる多くの工学システムは分散システムおよび専門家構成によって計算効率を達成します。
条件付き十分な統計は、統一されたデータ圧縮と推定戦略である。
- 参考スコア(独自算出の注目度): 1.2845031126178592
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Linear models are used in online decision making, such as in machine
learning, policy algorithms, and experimentation platforms. Many engineering
systems that use linear models achieve computational efficiency through
distributed systems and expert configuration. While there are strengths to this
approach, it is still difficult to have an environment that enables researchers
to interactively iterate and explore data and models, as well as leverage
analytics solutions from the open source community. Consequently, innovation
can be blocked.
Conditionally sufficient statistics is a unified data compression and
estimation strategy that is useful for the model development process, as well
as the engineering deployment process. The strategy estimates linear models
from compressed data without loss on the estimated parameters and their
covariances, even when errors are autocorrelated within clusters of
observations. Additionally, the compression preserves almost all interactions
with the the original data, unlocking better productivity for both researchers
and engineering systems.
- Abstract(参考訳): 線形モデルは、機械学習、ポリシーアルゴリズム、実験プラットフォームなどのオンライン意思決定に使用されます。
線形モデルを用いる多くの工学システムは分散システムおよび専門家構成によって計算効率を達成します。
このアプローチには強みがありますが、研究者がデータとモデルをインタラクティブに反復して探索し、オープンソースコミュニティからの分析ソリューションを活用することができる環境を持つことは依然として困難です。
その結果、イノベーションはブロックされる。
条件付き十分な統計は、統合されたデータ圧縮と推定戦略であり、モデル開発プロセスだけでなく、エンジニアリングデプロイメントプロセスにも有用である。
この戦略は、誤差が観測のクラスタ内で自己相関である場合でも、推定パラメータと共分散の損失を伴わない圧縮データから線形モデルを推定する。
さらに、圧縮は元のデータとのほとんどすべてのインタラクションを保存し、研究者とエンジニアリングシステムの両方の生産性を解放する。
関連論文リスト
- Predictive Maintenance Model Based on Anomaly Detection in Induction
Motors: A Machine Learning Approach Using Real-Time IoT Data [0.0]
本研究では,ポンプ,圧縮機,ファン,その他の産業機械で使用される誘導電動機の異常検出システムについて紹介する。
我々は、計算コストの低い前処理技術と機械学習(ML)モデルの組み合わせを用いる。
論文 参考訳(メタデータ) (2023-10-15T18:43:45Z) - A spectrum of physics-informed Gaussian processes for regression in
engineering [0.0]
センサとデータ全般の可用性は向上していますが、純粋なデータ駆動アプローチから多くのサービス内エンジニアリングシステムや構造を完全に特徴づけることはできません。
本稿では、限られたデータで予測モデルを作成する能力を高めるために、機械学習技術と物理に基づく推論の組み合わせを追求する。
論文 参考訳(メタデータ) (2023-09-19T14:39:03Z) - Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
独立サブネットワークトレーニング(IST)の理論的考察
ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。
圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
論文 参考訳(メタデータ) (2023-06-28T18:14:22Z) - Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。
モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。
ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-28T12:02:27Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳(メタデータ) (2022-06-15T19:10:35Z) - Learning Distributionally Robust Models at Scale via Composite
Optimization [45.47760229170775]
DROの異なる変種が、スケーラブルな方法を提供する有限サム合成最適化の単なる例であることを示す。
また、非常に大規模なデータセットからロバストなモデルを学ぶために、先行技術に関して提案アルゴリズムの有効性を示す実験結果も提供する。
論文 参考訳(メタデータ) (2022-03-17T20:47:42Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳(メタデータ) (2021-12-22T14:45:37Z) - Using Data Assimilation to Train a Hybrid Forecast System that Combines
Machine-Learning and Knowledge-Based Components [52.77024349608834]
利用可能なデータがノイズの多い部分測定の場合,カオスダイナミクスシステムのデータ支援予測の問題を検討する。
動的システムの状態の部分的測定を用いることで、不完全な知識ベースモデルによる予測を改善するために機械学習モデルを訓練できることを示す。
論文 参考訳(メタデータ) (2021-02-15T19:56:48Z) - Model-Based Deep Learning [155.063817656602]
信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。
ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。
私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
論文 参考訳(メタデータ) (2020-12-15T16:29:49Z) - Amortized Bayesian model comparison with evidential deep learning [0.12314765641075436]
本稿では,専門的なディープラーニングアーキテクチャを用いたベイズモデルの比較手法を提案する。
提案手法は純粋にシミュレーションベースであり,観測された各データセットに対して,すべての代替モデルを明示的に適合させるステップを回避している。
提案手法は,本研究で検討した事例に対して,精度,キャリブレーション,効率の点で優れた結果が得られることを示す。
論文 参考訳(メタデータ) (2020-04-22T15:15:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。