論文の概要: A New PHO-rmula for Improved Performance of Semi-Structured Networks

• arxiv url: http://arxiv.org/abs/2306.00522v1
• Date: Thu, 1 Jun 2023 10:23:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 17:02:55.128518
• Title: A New PHO-rmula for Improved Performance of Semi-Structured Networks
• Title（参考訳）: 半構造化ネットワークの性能向上のための新しいPHOルムラ
• Authors: David R\"ugamer
• Abstract要約: 本研究では,SSNにおけるモデルコンポーネントのコントリビューションを適切に識別する手法が,最適ネットワーク推定に繋がることを示す。 モデルコンポーネントの識別性を保証し,予測品質を向上する非侵襲的ポストホック化(PHO)を提案する。 我々の理論的な知見は、数値実験、ベンチマーク比較、およびCOVID-19感染症に対する現実の応用によって裏付けられている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances to combine structured regression models and deep neural networks for better interpretability, more expressiveness, and statistically valid uncertainty quantification demonstrate the versatility of semi-structured neural networks (SSNs). We show that techniques to properly identify the contributions of the different model components in SSNs, however, lead to suboptimal network estimation, slower convergence, and degenerated or erroneous predictions. In order to solve these problems while preserving favorable model properties, we propose a non-invasive post-hoc orthogonalization (PHO) that guarantees identifiability of model components and provides better estimation and prediction quality. Our theoretical findings are supported by numerical experiments, a benchmark comparison as well as a real-world application to COVID-19 infections.
• Abstract（参考訳）: 構造化回帰モデルとディープニューラルネットワークを組み合わせる最近の進歩は、より解釈性、表現性、統計的に妥当な不確実性定量化により、半構造化ニューラルネットワーク(SSN)の汎用性を示している。 ssn における異なるモデルコンポーネントの寄与を適切に同定する手法が,ネットワークのサブオプティカルな推定や収束の遅さ,デジェネレーションや誤った予測に繋がることを示す。 モデル特性を良好に保ちながらこれらの問題を解決するために,モデル成分の識別性を保証し,より優れた推定と予測品質を提供する非侵襲的ポストホック直交化(PHO)を提案する。 我々の理論的な知見は、数値実験、ベンチマーク比較、およびCOVID-19感染症に対する現実の応用によって裏付けられている。

関連論文リスト

• CCDepth: A Lightweight Self-supervised Depth Estimation Network with Enhanced Interpretability [11.076431337488973]
  本研究では,畳み込みニューラルネットワーク(CNN)とホワイトボックスCRATEネットワークを組み合わせた,ハイブリッド型自己教師型深度推定ネットワークCCDepthを提案する。 このネットワークは,CNNとCRATEモジュールを用いて画像中の局所的およびグローバルな情報を抽出し,学習効率の向上とモデルサイズ削減を実現する。
  論文  参考訳（メタデータ） (2024-09-30T04:19:40Z)
• CreINNs: Credal-Set Interval Neural Networks for Uncertainty Estimation in Classification Tasks [5.19656787424626]
  不確実性推定は、ニューラルネットワークの信頼性を向上させるためにますます魅力的なものになっている。 分類タスク用に設計された新しいクレーダセットインターバルニューラルネットワーク(CreINN)を提案する。
  論文  参考訳（メタデータ） (2024-01-10T10:04:49Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
  スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。 我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:39:44Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Orthogonal Stochastic Configuration Networks with Adaptive Construction Parameter for Data Analytics [6.940097162264939]
  ランダム性により、SCNは冗長で品質の低い近似線形相関ノードを生成する可能性が高まる。 機械学習の基本原理、すなわち、パラメータが少ないモデルでは、一般化が向上する。 本稿では,ネットワーク構造低減のために,低品質な隠れノードをフィルタする直交SCN(OSCN)を提案する。
  論文  参考訳（メタデータ） (2022-05-26T07:07:26Z)
• Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
  我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。 我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。 提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
  論文  参考訳（メタデータ） (2021-10-20T06:15:45Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Interpolation between Residual and Non-Residual Networks [24.690238357686134]
  ダンピング項を追加することで,新しいODEモデルを提案する。 提案モデルでは係数を調整してResNetとCNNの両方を復元可能であることを示す。 複数の画像分類ベンチマーク実験により,提案手法はResNetとResNeXtの精度を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2020-06-10T09:36:38Z)
• Error-feedback stochastic modeling strategy for time series forecasting with convolutional neural networks [11.162185201961174]
  本稿では,ランダム畳み込みネットワーク(ESM-CNN)ニューラル時系列予測タスクを構築するための新しいError-feedback Modeling (ESM)戦略を提案する。 提案したESM-CNNは、最先端のランダムニューラルネットワークを上回るだけでなく、トレーニングされた最先端のディープニューラルネットワークモデルと比較して、予測能力と計算オーバーヘッドの低減も実現している。
  論文  参考訳（メタデータ） (2020-02-03T13:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。