論文の概要: A Combinatorial Theory of Dropout: Subnetworks, Graph Geometry, and Generalization

• arxiv url: http://arxiv.org/abs/2504.14762v1
• Date: Sun, 20 Apr 2025 23:09:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-29 20:18:18.014365
• Title: A Combinatorial Theory of Dropout: Subnetworks, Graph Geometry, and Generalization
• Title（参考訳）: A Combinatorial Theory of Dropout: Subnetworks, Graph Geometry, and Generalization
• Authors: Sahil Rajesh Dhayalkar,
• Abstract要約: 本稿では,2進法の高次元グラフ上のランダムウォークをモデル化し,ドロップアウトの一般化とグラフ理論的理論を提案する。 一般化作業が大規模で接続された低抵抗クラスタを形成し,ネットワーク幅で指数関数的に増加することを証明した。 これによって、堅牢で構造化された、冗長性を備えた汎用的なワークの集合体からサンプリングするメカニズムとして、ドロップアウトが明らかになる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a combinatorial and graph-theoretic theory of dropout by modeling training as a random walk over a high-dimensional graph of binary subnetworks. Each node represents a masked version of the network, and dropout induces stochastic traversal across this space. We define a subnetwork contribution score that quantifies generalization and show that it varies smoothly over the graph. Using tools from spectral graph theory, PAC-Bayes analysis, and combinatorics, we prove that generalizing subnetworks form large, connected, low-resistance clusters, and that their number grows exponentially with network width. This reveals dropout as a mechanism for sampling from a robust, structured ensemble of well-generalizing subnetworks with built-in redundancy. Extensive experiments validate every theoretical claim across diverse architectures. Together, our results offer a unified foundation for understanding dropout and suggest new directions for mask-guided regularization and subnetwork optimization.
• Abstract（参考訳）: 本稿では,バイナリサブネットの高次元グラフ上のランダムウォークとしてのトレーニングをモデル化して,ドロップアウトの組合せ的およびグラフ理論的理論を提案する。 各ノードは、ネットワークのマスクされたバージョンを表し、ドロップアウトは、この空間を横断する確率的トラバーサルを誘導する。 一般化を定量化するサブネットワークコントリビューションスコアを定義し、グラフ上で滑らかに変化することを示す。 スペクトルグラフ理論,PAC-Bayes解析,コンビネータによるツールを用いて,サブネットの一般化が大規模で接続性が高く,低抵抗なクラスタを形成し,ネットワーク幅で指数関数的に増加することを証明した。 このことは、堅牢で構造的なサブネットの集合体から、冗長性を組み込んだサンプリングのメカニズムとして、ドロップアウトを明らかにしている。 広範囲な実験は、様々なアーキテクチャにおけるすべての理論的な主張を検証します。 その結果,ドロップアウトの理解とマスク誘導型正規化とサブネットワーク最適化のための新たな方向性の提案が得られた。

関連論文リスト

• What Improves the Generalization of Graph Transformers? A Theoretical Dive into the Self-attention and Positional Encoding [67.59552859593985]
  自己アテンションと位置エンコーディングを組み込んだグラフトランスフォーマーは、さまざまなグラフ学習タスクのための強力なアーキテクチャとして登場した。 本稿では,半教師付き分類のための浅いグラフ変換器の理論的検討について紹介する。
  論文  参考訳（メタデータ） (2024-06-04T05:30:16Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• Fitting Low-rank Models on Egocentrically Sampled Partial Networks [4.111899441919165]
  本稿では,egocentricly sampled network に対する一般的な低ランクモデルに適合する手法を提案する。 この手法は、エゴセントリックな部分的ネットワーク推定に関する最初の理論的保証を提供する。 本手法を複数の合成および実世界のネットワーク上で評価し,リンク予測タスクにおいて競合性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-03-09T03:20:44Z)
• Learning Coherent Clusters in Weakly-Connected Network Systems [7.766921168069532]
  本稿では,コンポーネントが密結合な大規模動的ネットワークのための構造保存モデル手法を提案する。 重みブロックモデルからネットワークグラフをランダムに生成する場合、近似誤差の上限を与える。
  論文  参考訳（メタデータ） (2022-11-28T13:32:25Z)
• Graph Auto-Encoders for Network Completion [6.1074304332419675]
  本稿では,ネットワークの観測部分から学習した接続パターンを用いてグラフ全体を完成させるモデルを提案する。 提案モデルでは,少ない情報で競合性能を達成できた。
  論文  参考訳（メタデータ） (2022-04-25T05:24:45Z)
• The Principles of Deep Learning Theory [19.33681537640272]
  この本は、実践的妥当性の深いニューラルネットワークを理解するための効果的な理論アプローチを開発する。 これらのネットワークがトレーニングから非自明な表現を効果的に学習する方法について説明する。 トレーニングネットワークのアンサンブルの有効モデル複雑性を,奥行き比が支配していることを示す。
  論文  参考訳（メタデータ） (2021-06-18T15:00:00Z)
• Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
  結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。 新規な構造化融合正規化に基づく一般グラフ推定器を提案する。 提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T04:42:32Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Spectral Embedding of Graph Networks [76.27138343125985]
  ローカルノードの類似性と接続性、グローバル構造をトレードオフする教師なしグラフ埋め込みを導入する。 埋め込みは一般化されたグラフ Laplacian に基づいており、固有ベクトルは1つの表現においてネットワーク構造と近傍近傍の両方をコンパクトにキャプチャする。
  論文  参考訳（メタデータ） (2020-09-30T04:59:10Z)
• Consistency of Spectral Clustering on Hierarchical Stochastic Block Models [5.983753938303726]
  実世界のネットワークにおけるコミュニティの階層構造について,汎用ブロックモデルを用いて検討する。 本手法の強い一貫性を,幅広いモデルパラメータで証明する。 既存のほとんどの研究とは異なり、我々の理論は接続確率が桁違いに異なるかもしれないマルチスケールネットワークをカバーしている。
  論文  参考訳（メタデータ） (2020-04-30T01:08:59Z)
• Progressive Graph Convolutional Networks for Semi-Supervised Node Classification [97.14064057840089]
  グラフ畳み込みネットワークは、半教師付きノード分類のようなグラフベースのタスクに対処することに成功した。 本稿では,コンパクトかつタスク固有のグラフ畳み込みネットワークを自動構築する手法を提案する。
  論文  参考訳（メタデータ） (2020-03-27T08:32:16Z)
• Understanding Graph Neural Networks with Generalized Geometric Scattering Transforms [67.88675386638043]
  散乱変換は、畳み込みニューラルネットワークのモデルとして機能する多層ウェーブレットベースのディープラーニングアーキテクチャである。 非対称ウェーブレットの非常に一般的なクラスに基づくグラフに対して、窓付きおよび非窓付き幾何散乱変換を導入する。 これらの非対称グラフ散乱変換は、対称グラフ散乱変換と多くの理論的保証を持つことを示す。
  論文  参考訳（メタデータ） (2019-11-14T17:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。