論文の概要: Integrating Random Effects in Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2206.03314v1
- Date: Tue, 7 Jun 2022 14:02:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-08 13:42:26.959708
- Title: Integrating Random Effects in Deep Neural Networks
- Title（参考訳）: ディープニューラルネットワークにおけるランダム効果の統合
- Authors: Giora Simchoni, Saharon Rosset
- Abstract要約: 深層ニューラルネットワークにおける相関データを扱うために混合モデルフレームワークを提案する。
相関構造に基づく効果をランダムな効果として扱うことにより、混合モデルは過度に適合したパラメータ推定を避けることができる。
LMMNNと呼ばれる我々のアプローチは、様々な相関シナリオにおいて、自然競合よりも性能を向上させることが実証されている。
- 参考スコア（独自算出の注目度）: 4.860671253873579
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern approaches to supervised learning like deep neural networks (DNNs)
typically implicitly assume that observed responses are statistically
independent. In contrast, correlated data are prevalent in real-life
large-scale applications, with typical sources of correlation including
spatial, temporal and clustering structures. These correlations are either
ignored by DNNs, or ad-hoc solutions are developed for specific use cases. We
propose to use the mixed models framework to handle correlated data in DNNs. By
treating the effects underlying the correlation structure as random effects,
mixed models are able to avoid overfitted parameter estimates and ultimately
yield better predictive performance. The key to combining mixed models and DNNs
is using the Gaussian negative log-likelihood (NLL) as a natural loss function
that is minimized with DNN machinery including stochastic gradient descent
(SGD). Since NLL does not decompose like standard DNN loss functions, the use
of SGD with NLL presents some theoretical and implementation challenges, which
we address. Our approach which we call LMMNN is demonstrated to improve
performance over natural competitors in various correlation scenarios on
diverse simulated and real datasets. Our focus is on a regression setting and
tabular datasets, but we also show some results for classification. Our code is
available at https://github.com/gsimchoni/lmmnn.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)のような教師付き学習に対する現代のアプローチは、一般的に観察された応答が統計的に独立であると暗黙的に仮定する。
対照的に、相関データは、空間的、時間的、クラスタリング構造を含む典型的な相関源を持つ、実生活の大規模アプリケーションで広く使われている。
これらの相関関係はDNNによって無視されるか、特定のユースケースに対してアドホックなソリューションが開発される。
DNNの相関データを扱うために混合モデルフレームワークを提案する。
相関構造の基礎となる効果をランダムな効果として扱うことにより、混合モデルは過剰なパラメータ推定を避け、最終的により良い予測性能が得られる。
混合モデルとDNNを組み合わせる鍵は、確率勾配降下(SGD)を含むDNN機械で最小化される自然損失関数としてガウス負対数類似関数(NLL)を用いることである。
NLLは標準のDNN損失関数のように分解されないため、NLLでのSGDの使用はいくつかの理論的および実装上の課題を提起する。
LMMNNと呼ばれる我々のアプローチは、様々なシミュレーションおよび実データに対する様々な相関シナリオにおいて、自然競合よりも性能を向上させることが実証されている。
私たちの焦点は回帰設定と表型データセットですが、分類の結果もいくつか示しています。
私たちのコードはhttps://github.com/gsimchoni/lmmnnで入手できる。
関連論文リスト
- Statistical Properties of Deep Neural Networks with Dependent Data [0.0]
本稿では, ディープニューラルネットワーク (DNN) 推定器の統計特性について, 従属データに基づく検討を行った。
このフレームワークは、他のDNNアーキテクチャや時系列アプリケーションの研究の可能性も提供する。
論文 参考訳（メタデータ） (2024-10-14T21:46:57Z) - Learning to Reweight for Graph Neural Network [63.978102332612906]
グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。
既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。
本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
論文 参考訳（メタデータ） (2023-12-19T12:25:10Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Adaptive-saturated RNN: Remember more with less instability [2.191505742658975]
本研究では,2つのアプローチ間の飽和度を動的に調整する適応飽和RNN(asRNN)を提案する。
我々の実験は、いくつかの強力な競合相手と比較して、挑戦的なシーケンス学習ベンチマークにおけるasRNNの結果を奨励することを示した。
論文 参考訳（メタデータ） (2023-04-24T02:28:03Z) - Task-Synchronized Recurrent Neural Networks [0.0]
リカレントニューラルネットワーク(RNN)は、伝統的に事実を無視し、時間差を追加入力として与えたり、データを再サンプリングしたりする。
我々は、データやタスクの時間と一致するように、RNNを効果的に再サンプリングするエレガントな代替手法を提案する。
我々は、我々のモデルがデータの時間的非均一性を効果的に補償できることを実証的に確認し、データ再サンプリングや古典的RNN手法、代替的なRNNモデルと比較することを実証した。
論文 参考訳（メタデータ） (2022-04-11T15:27:40Z) - EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。
この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。
EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
論文 参考訳（メタデータ） (2022-02-22T08:16:58Z) - Generalizing Graph Neural Networks on Out-Of-Distribution Graphs [51.33152272781324]
トレーニンググラフとテストグラフの分散シフトを考慮せずにグラフニューラルネットワーク(GNN)を提案する。
このような環境では、GNNは、たとえ素早い相関であるとしても、予測のためのトレーニングセットに存在する微妙な統計的相関を利用する傾向がある。
本稿では,スプリアス相関の影響を排除するため,StableGNNと呼ばれる一般的な因果表現フレームワークを提案する。
論文 参考訳（メタデータ） (2021-11-20T18:57:18Z) - Shift-Robust GNNs: Overcoming the Limitations of Localized Graph
Training data [52.771780951404565]
Shift-Robust GNN (SR-GNN) は、バイアス付きトレーニングデータとグラフの真の推論分布の分布差を考慮に入れた設計である。
SR-GNNが他のGNNベースラインを精度良く上回り、バイアス付きトレーニングデータから生じる負の効果の少なくとも40%を排除していることを示す。
論文 参考訳（メタデータ） (2021-08-02T18:00:38Z) - ASFGNN: Automated Separated-Federated Graph Neural Network [17.817867271722093]
本稿では,ASFGNN学習パラダイムを提案する。
我々は,ベンチマークデータセットの実験を行い,ASFGNNが有望なフェデレーションGNNよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-11-06T09:21:34Z) - Stochastic Graph Neural Networks [123.39024384275054]
グラフニューラルネットワーク(GNN)は、分散エージェント調整、制御、計画に応用したグラフデータの非線形表現をモデル化する。
現在のGNNアーキテクチャは理想的なシナリオを前提として,環境やヒューマンファクタ,あるいは外部攻撃によるリンク変動を無視している。
これらの状況において、GNNは、トポロジカルなランダム性を考慮していない場合、その分散タスクに対処することができない。
論文 参考訳（メタデータ） (2020-06-04T08:00:00Z) - Comparing SNNs and RNNs on Neuromorphic Vision Datasets: Similarities
and Differences [36.82069150045153]
スパイキングニューラルネットワーク(SNN)とリカレントニューラルネットワーク(RNN)は、ニューロモルフィックデータに基づいてベンチマークされる。
本研究では,SNNとRNNをニューロモルフィックデータと比較するための系統的研究を行う。
論文 参考訳（メタデータ） (2020-05-02T10:19:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。