論文の概要: A Generalization Bound of Deep Neural Networks for Dependent Data
- arxiv url: http://arxiv.org/abs/2310.05892v1
- Date: Mon, 9 Oct 2023 17:33:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-10 22:11:25.509511
- Title: A Generalization Bound of Deep Neural Networks for Dependent Data
- Title(参考訳): 依存データに対するディープニューラルネットワークの一般化境界
- Authors: Quan Huu Do and Binh T. Nguyen and Lam Si Tung Ho
- Abstract要約: ディープニューラルネットワークの既存の一般化境界は、データを独立して同一に分散する必要がある。
この研究は、非定常$phi$-mixingデータに対するフィードフォワードニューラルネットワークのバウンドを確立する。
- 参考スコア(独自算出の注目度): 3.790908711454652
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing generalization bounds for deep neural networks require data to be
independent and identically distributed (iid). This assumption may not hold in
real-life applications such as evolutionary biology, infectious disease
epidemiology, and stock price prediction. This work establishes a
generalization bound of feed-forward neural networks for non-stationary
$\phi$-mixing data.
- Abstract(参考訳): ディープニューラルネットワークの既存の一般化境界は、データを独立かつ同一分散(iid)にする必要がある。
この仮定は、進化生物学、感染症疫学、株価予測のような現実の応用には当てはまらない。
この研究は、非定常$\phi$-mixingデータに対するフィードフォワードニューラルネットワークの一般化境界を確立する。
関連論文リスト
- Feature Contamination: Neural Networks Learn Uncorrelated Features and Fail to Generalize [5.642322814965062]
分散シフトの下で一般化される学習表現は、堅牢な機械学習モデルを構築する上で重要である。
ニューラルネットワークを教師ネットワークから得られる表現に明示的に適合させることさえ、学生ネットワークの一般化には不十分であることを示す。
論文 参考訳(メタデータ) (2024-06-05T15:04:27Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳(メタデータ) (2023-10-02T03:25:32Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳(メタデータ) (2023-07-20T13:34:11Z) - What Makes Data Suitable for a Locally Connected Neural Network? A
Necessary and Sufficient Condition Based on Quantum Entanglement [12.143300311536201]
特定の局所的に接続されたニューラルネットワークは、データ分布が低い量子エンタングルメントを許容している場合に限り、データ分布を正確に予測できることを示す。
我々は、局所的に接続されたニューラルネットワークに対するデータ分布の適合性を高めるための前処理手法を導出する。
論文 参考訳(メタデータ) (2023-03-20T16:34:39Z) - Norm-based Generalization Bounds for Compositionally Sparse Neural
Networks [11.987589603961622]
畳み込みニューラルネットワークを含む多層スパースReLUニューラルネットワークに対する一般化境界を証明した。
これらの結果から, 深いニューラルネットワークの成功には, 対象関数の組成空間が重要であることが示唆された。
論文 参考訳(メタデータ) (2023-01-28T00:06:22Z) - On some theoretical limitations of Generative Adversarial Networks [77.34726150561087]
GANが任意の確率分布を生成できるという一般的な仮定である。
GANが重み付き分布を生成できないことを示すExtreme Value Theoryに基づく新しい結果を提供する。
論文 参考訳(メタデータ) (2021-10-21T06:10:38Z) - FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。
FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
論文 参考訳(メタデータ) (2021-06-24T15:38:34Z) - Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。
最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文 参考訳(メタデータ) (2021-06-07T10:18:54Z) - Persistent Homology Captures the Generalization of Neural Networks
Without A Validation Set [0.0]
本稿では,代数的トポロジー,特に永続的ホモロジーを用いたニューラルネットワークのトレーニングについて考察する。
ニューラルネットワークの単純な複雑な表現を用いて、ニューラルネットワーク学習プロセスにおけるPHダイアグラム距離の進化について検討する。
その結果,連続するニューラルネットワーク状態間のPHダイアグラム距離は,検証精度と相関していることがわかった。
論文 参考訳(メタデータ) (2021-05-31T09:17:31Z) - Domain Generalization for Medical Imaging Classification with
Linear-Dependency Regularization [59.5104563755095]
本稿では,医用画像分類分野におけるディープニューラルネットワークの一般化能力向上のための,シンプルだが効果的なアプローチを提案する。
医用画像の領域変数がある程度コンパクトであることに感銘を受けて,変分符号化による代表的特徴空間の学習を提案する。
論文 参考訳(メタデータ) (2020-09-27T12:30:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。