論文の概要: FlexiDrop: Theoretical Insights and Practical Advances in Random Dropout Method on GNNs
- arxiv url: http://arxiv.org/abs/2405.20012v1
- Date: Thu, 30 May 2024 12:48:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-31 14:28:22.594799
- Title: FlexiDrop: Theoretical Insights and Practical Advances in Random Dropout Method on GNNs
- Title（参考訳）: FlexiDrop:GNNにおけるランダムドロップアウト手法の理論的考察と実践的進歩
- Authors: Zhiheng Zhou, Sihao Liu, Weichen Zhao,
- Abstract要約: 本稿ではFlexiDropと呼ばれるグラフニューラルネットワーク(GNN)のための新しいランダムドロップアウト手法を提案する。
本研究では, モデル複雑性と一般化能力のトレードオフを理論的にバランスさせることにより, ドロップアウト率を適応的に調整できることを示す。
- 参考スコア（独自算出の注目度）: 4.52430575477004
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Graph Neural Networks (GNNs) are powerful tools for handling graph-type data. Recently, GNNs have been widely applied in various domains, but they also face some issues, such as overfitting, over-smoothing and non-robustness. The existing research indicates that random dropout methods are an effective way to address these issues. However, random dropout methods in GNNs still face unresolved problems. Currently, the choice of dropout rate, often determined by heuristic or grid search methods, can increase the generalization error, contradicting the principal aims of dropout. In this paper, we propose a novel random dropout method for GNNs called FlexiDrop. First, we conduct a theoretical analysis of dropout in GNNs using rademacher complexity and demonstrate that the generalization error of traditional random dropout methods is constrained by a function related to the dropout rate. Subsequently, we use this function as a regularizer to unify the dropout rate and empirical loss within a single loss function, optimizing them simultaneously. Therefore, our method enables adaptive adjustment of the dropout rate and theoretically balances the trade-off between model complexity and generalization ability. Furthermore, extensive experimental results on benchmark datasets show that FlexiDrop outperforms traditional random dropout methods in GNNs.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ型データを扱う強力なツールである。
近年、GNNは様々な領域で広く採用されているが、オーバーフィット、過度なスムーシング、非破壊といった問題にも直面している。
既存の研究では、ランダムなドロップアウト手法がこれらの問題に対処する有効な方法であることが示されている。
しかし、GNNにおけるランダムなドロップアウト手法はまだ未解決の問題に直面している。
現在、しばしばヒューリスティックまたはグリッド探索法によって決定されるドロップアウト率の選択は、ドロップアウトの主目的に反する一般化誤差を増大させることができる。
本稿ではFlexiDropと呼ばれるGNNのための新しいランダムドロップアウト手法を提案する。
まず、ラデマッハ複雑性を用いたGNNにおけるドロップアウトの理論解析を行い、従来のランダムドロップアウト手法の一般化誤差が、ドロップアウト率に関連する関数によって制約されていることを示す。
その後、この関数を正則化器として、単一損失関数内でのドロップアウト率と経験損失を統一し、同時に最適化する。
そこで本手法は,ドロップアウト率を適応的に調整し,モデル複雑性と一般化能力とのトレードオフを理論的にバランスさせる。
さらに、ベンチマークデータセットの広範な実験結果から、FlexiDropはGNNの従来のランダムなドロップアウト手法よりも優れていることが示された。
関連論文リスト
- Learning to Reweight for Graph Neural Network [63.978102332612906]
グラフニューラルネットワーク(GNN)は、グラフタスクに対して有望な結果を示す。
既存のGNNの一般化能力は、テストとトレーニンググラフデータの間に分散シフトが存在する場合に低下する。
本稿では,分布外一般化能力を大幅に向上させる非線形グラフデコリレーション法を提案する。
論文 参考訳（メタデータ） (2023-12-19T12:25:10Z) - Dropout Reduces Underfitting [85.61466286688385]
本研究は,トレーニング開始時の不適合を軽減できることを示す。
ドロップアウトは、ミニバッチ間の勾配の方向性のばらつきを低減し、データセット全体の勾配とミニバッチ勾配の整合を支援する。
この結果から,未適合モデルの性能向上のためのソリューションが得られた – 早期のドロップアウト – トレーニングの初期段階でのみドロップアウトが適用され,その後,オフになります。
論文 参考訳（メタデータ） (2023-03-02T18:59:15Z) - Macro-block dropout for improved regularization in training end-to-end
speech recognition models [26.06529184341722]
入力からリカレントニューラルネットワーク(RNN)への多数のユニットを含むマクロブロックを定義する。
各ユニットにドロップアウトを適用するのではなく、各マクロブロックにランダムドロップアウトを適用する。
このアルゴリズムは,一定平均ドロップアウト率を維持した場合でも,各層に対して異なるドロップアウト率を適用する効果を有する。
論文 参考訳（メタデータ） (2022-12-29T02:09:49Z) - GFlowOut: Dropout with Generative Flow Networks [76.59535235717631]
モンテカルロ・ドロップアウトは近似推論の比較的安価な方法として広く利用されている。
最近の研究は、ドロップアウトマスクを潜伏変数と見なすことができ、変動推論で推測できることを示している。
GFlowOutleveragesは、最近提案されたジェネレーティブフローネットワーク(GFlowNets)の確率的フレームワークを使用して、ドロップアウトマスク上の後部分布を学習する。
論文 参考訳（メタデータ） (2022-10-24T03:00:01Z) - Implicit regularization of dropout [3.42658286826597]
一般的な正規化手法であるドロップアウトが、ニューラルネットワークトレーニング中に優れた一般化ソリューションを実現するのにどのように役立つかを理解することが重要である。
本研究では,一連の実験によって検証されたドロップアウトの暗黙の正則化の理論的導出について述べる。
降下によるトレーニングは、標準勾配降下訓練と比較して、より平坦な最小限のニューラルネットワークに導かれることを実験的に見出した。
論文 参考訳（メタデータ） (2022-07-13T04:09:14Z) - DropMessage: Unifying Random Dropping for Graph Neural Networks [9.134120615545866]
グラフニューラルネットワーク(GNN)は、グラフ表現学習のための強力なツールである。
従来の研究では、これらの問題はランダムなドロップ法によって緩和され、入力の一部をランダムにマスキングすることでモデルにノイズを統合することが示されている。
我々はDropMessageと呼ばれる新しいランダムドロップ方式を提案し、メッセージマトリックス上で直接ドロップ操作を行い、任意のメッセージパスGNNに適用できる。
論文 参考訳（メタデータ） (2022-04-21T11:42:49Z) - Debiased Graph Neural Networks with Agnostic Label Selection Bias [59.61301255860836]
既存のグラフニューラルネットワーク(GNN)のほとんどは、データの選択バイアスを考慮せずに提案されている。
本稿では,デコリレーションレギュレータを区別した新しいデバイアスドグラフニューラルネットワーク(DGNN)を提案する。
DGNNは既存のGNNを強化するフレキシブルなフレームワークである。
論文 参考訳（メタデータ） (2022-01-19T16:50:29Z) - PLACE dropout: A Progressive Layer-wise and Channel-wise Dropout for
Domain Generalization [29.824723021053565]
ドメイン一般化(DG)は、複数の観測されたソースドメインからジェネリックモデルを学ぶことを目的としている。
DGの最大の課題は、ソースとターゲットドメイン間のドメインギャップのため、このモデルが必然的に過度にオーバーフィットする問題に直面していることだ。
そこで我々は,DGのための新しいレイヤワイド・チャネルワイド・ドロップアウトを開発し,各レイヤをランダムに選択し,そのチャネルをランダムに選択してドロップアウトを行う。
論文 参考訳（メタデータ） (2021-12-07T13:23:52Z) - Contextual Dropout: An Efficient Sample-Dependent Dropout Module [60.63525456640462]
ドロップアウトは、ディープニューラルネットワークのトレーニングプロセスを正規化するシンプルで効果的なモジュールとして実証されています。
単純でスケーラブルなサンプル依存型ドロップアウトモジュールとして,効率的な構造設計によるコンテキスト型ドロップアウトを提案する。
提案手法は,不確実性推定の精度と品質の両面において,ベースライン法よりも優れていた。
論文 参考訳（メタデータ） (2021-03-06T19:30:32Z) - Advanced Dropout: A Model-free Methodology for Bayesian Dropout
Optimization [62.8384110757689]
ディープニューラルネットワーク(DNN)の現実的応用において、ユビキタスなオーバーフィッティングが存在する
先進的なドロップアウト手法は、パラメトリック先行でモデルフリーで容易に実装された分布を適用し、ドロップアウト率を適応的に調整する。
7つのコンピュータビジョンデータセットにおける9つのドロップアウト手法に対する高度なドロップアウトの有効性を評価する。
論文 参考訳（メタデータ） (2020-10-11T13:19:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。