論文の概要: Error Autocorrelation Objective Function for Improved System Modeling

• arxiv url: http://arxiv.org/abs/2008.03582v2
• Date: Tue, 11 May 2021 15:34:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 11:36:35.027791
• Title: Error Autocorrelation Objective Function for Improved System Modeling
• Title（参考訳）: システムモデリング改善のための誤差自己相関目的関数
• Authors: Anand Ramakrishnan, Warren B.Jackson and Kent Evans
• Abstract要約: 我々は,誤差を最小限に抑えるだけでなく,誤差間の相関を最小化する「ホワイトニング」コスト関数「Ljung-Box statistic」を導入する。 その結果、リカレントニューラルネットワーク(RNN)とイメージオートエンコーダ(2d)の一般化が大幅に改善された。
• 参考スコア（独自算出の注目度）: 1.2760453906939444
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deep learning models are trained to minimize the error between the model's output and the actual values. The typical cost function, the Mean Squared Error (MSE), arises from maximizing the log-likelihood of additive independent, identically distributed Gaussian noise. However, minimizing MSE fails to minimize the residuals' cross-correlations, leading to over-fitting and poor extrapolation of the model outside the training set (generalization). In this paper, we introduce a "whitening" cost function, the Ljung-Box statistic, which not only minimizes the error but also minimizes the correlations between errors, ensuring that the fits enforce compatibility with an independent and identically distributed (i.i.d) gaussian noise model. The results show significant improvement in generalization for recurrent neural networks (RNNs) (1d) and image autoencoders (2d). Specifically, we look at both temporal correlations for system-id in simulated and actual mechanical systems. We also look at spatial correlation in vision autoencoders to demonstrate that the whitening objective functions lead to much better extrapolation--a property very desirable for reliable control systems.
• Abstract（参考訳）: ディープラーニングモデルは、モデルの出力と実際の値の間のエラーを最小限に抑えるために訓練される。 典型的なコスト関数である平均二乗誤差 (Mean Squared Error, MSE) は、加法独立な同一分布ガウス雑音の対数類似度を最大化することから生じる。 しかし、mseの最小化は残差の相互相関を最小化できず、過剰フィッティングとトレーニングセット外のモデルの外挿(一般化)に繋がる。 本稿では,誤差を最小限に抑えるだけでなく,誤差間の相関を最小化し,独立かつ同一に分散されたガウス雑音モデルとの整合性を確保する「ホワイトニング」コスト関数「Ljung-Box statistic」を導入する。 その結果,リカレントニューラルネットワーク (rnn) (1d) と画像オートエンコーダ (2d) の一般化が著しく改善した。 具体的には,シミュレーションおよび実機械システムにおけるシステムIDの時間相関について検討する。 また、視覚オートエンコーダの空間的相関を考察し、ホワイトニング目的関数が、信頼性の高い制御システムに非常に望ましい特性である、はるかに優れた外挿をもたらすことを示す。

関連論文リスト

• Model aggregation: minimizing empirical variance outperforms minimizing empirical error [0.29008108937701327]
  多様なモデルからの予測を単一のより正確な出力に集約する,データ駆動型フレームワークを提案する。 モデルはブラックボックス関数として扱う、モデルに依存しない、最小限の仮定を必要とする、広範囲のモデルからの出力を組み合わせることができる。 従来の解法と機械学習モデルをうまく統合して、堅牢性と精度の両方を改善する方法を示す。
  論文  参考訳（メタデータ） (2024-09-25T18:33:21Z)
• A Pseudo-Semantic Loss for Autoregressive Models with Logical Constraints [87.08677547257733]
  ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。 本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。 また,スドクと最短経路予測の手法を自己回帰世代として評価した。
  論文  参考訳（メタデータ） (2023-12-06T20:58:07Z)
• Diffusion-Model-Assisted Supervised Learning of Generative Models for Density Estimation [10.793646707711442]
  本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。 スコアベース拡散モデルを用いてラベル付きデータを生成する。 ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
  論文  参考訳（メタデータ） (2023-10-22T23:56:19Z)
• FeDXL: Provable Federated Learning for Deep X-Risk Optimization [105.17383135458897]
  我々は、既存のアルゴリズムが適用できないXリスクのファミリーを最適化するために、新しい連邦学習(FL)問題に取り組む。 Xリスクに対するFLアルゴリズムを設計する際の課題は、複数のマシンに対する目的の非可逆性と、異なるマシン間の相互依存にある。
  論文  参考訳（メタデータ） (2022-10-26T00:23:36Z)
• Integrating Random Effects in Deep Neural Networks [4.860671253873579]
  深層ニューラルネットワークにおける相関データを扱うために混合モデルフレームワークを提案する。 相関構造に基づく効果をランダムな効果として扱うことにより、混合モデルは過度に適合したパラメータ推定を避けることができる。 LMMNNと呼ばれる我々のアプローチは、様々な相関シナリオにおいて、自然競合よりも性能を向上させることが実証されている。
  論文  参考訳（メタデータ） (2022-06-07T14:02:24Z)
• Automation for Interpretable Machine Learning Through a Comparison of Loss Functions to Regularisers [0.0]
  本稿では、機械学習回帰自動化におけるFit to Median Errorの活用について検討する。 学習した入力-出力関係を条件中央値に規則化することで、解釈可能性を向上させる。 Fit to Median Errorのために最適化されたネットワークは、より一貫して基礎的な真実を近似することが示されている。
  論文  参考訳（メタデータ） (2021-06-07T08:50:56Z)
• Autocalibration and Tweedie-dominance for Insurance Pricing with Machine Learning [0.0]
  逸脱の最小化には, 下位部分モーメントの重み付き差分の積分と, 特定のスケールで測定されたバイアスとのトレードオフが伴うことが示された。 バイアスを補正する新しい手法は、分析にさらに局所的なGLMステップを追加する。 凸順序は、競合するモデルを比較する自然なツールであるように見える。
  論文  参考訳（メタデータ） (2021-03-05T12:40:30Z)
• On the Minimal Error of Empirical Risk Minimization [90.09093901700754]
  回帰作業における経験的リスク最小化(ERM)手順の最小誤差について検討する。 私たちの鋭い下限は、データを生成するモデルの単純さに適応する可能性(あるいは不可能)に光を当てています。
  論文  参考訳（メタデータ） (2021-02-24T04:47:55Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Neural Control Variates [71.42768823631918]
  ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。 理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。 具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
  論文  参考訳（メタデータ） (2020-06-02T11:17:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。