論文の概要: On Infinite-Width Hypernetworks

• arxiv url: http://arxiv.org/abs/2003.12193v7
• Date: Mon, 22 Feb 2021 23:10:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-19 04:25:46.335429
• Title: On Infinite-Width Hypernetworks
• Title（参考訳）: Infinite-Width Hypernetworksについて
• Authors: Etai Littwin, Tomer Galanti, Lior Wolf, Greg Yang
• Abstract要約: 我々は、ハイパーネットワークが、下降中のグローバルなミニマを保証していないことを示す。 我々は,これらのアーキテクチャの機能的先行を,対応するGPカーネルとNTKカーネルを導出することによって同定する。 この研究の一環として、標準完全連結ReLUネットワークの高次テイラー項の厳密な境界を導出した数学的貢献を行う。
• 参考スコア（独自算出の注目度）: 101.03630454105621
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: {\em Hypernetworks} are architectures that produce the weights of a task-specific {\em primary network}. A notable application of hypernetworks in the recent literature involves learning to output functional representations. In these scenarios, the hypernetwork learns a representation corresponding to the weights of a shallow MLP, which typically encodes shape or image information. While such representations have seen considerable success in practice, they remain lacking in the theoretical guarantees in the wide regime of the standard architectures. In this work, we study wide over-parameterized hypernetworks. We show that unlike typical architectures, infinitely wide hypernetworks do not guarantee convergence to a global minima under gradient descent. We further show that convexity can be achieved by increasing the dimensionality of the hypernetwork's output, to represent wide MLPs. In the dually infinite-width regime, we identify the functional priors of these architectures by deriving their corresponding GP and NTK kernels, the latter of which we refer to as the {\em hyperkernel}. As part of this study, we make a mathematical contribution by deriving tight bounds on high order Taylor expansion terms of standard fully connected ReLU networks.
• Abstract（参考訳）: {\em Hypernetworks} はタスク固有の {\emプライマリネットワークの重みを生み出すアーキテクチャである。 最近の文献におけるハイパーネットワークの注目すべき応用は、機能表現の出力を学ぶことである。 これらのシナリオでは、ハイパーネットワークは浅いMLPの重みに対応する表現を学び、通常は形状や画像情報を符号化する。 このような表現は実際にはかなりの成功を収めたものの、標準アーキテクチャの広範な体制における理論的保証に欠けるままである。 本研究では,広帯域のハイパーネットワークについて検討する。 従来のアーキテクチャとは異なり、無限大のハイパーネットワークは勾配降下下でのグローバルミニマへの収束を保証しない。 さらに,ハイパーネットワークの出力の次元性を高め,広いMLPを表現することで凸性を実現できることを示す。 双対的に無限幅のレジームでは、対応するgp と ntk のカーネルを導出することにより、これらのアーキテクチャの関数的前駆体を同定し、後者を {\em hyperkernel} と呼ぶ。 本研究では,標準完全連結ReLUネットワークの高次テイラー展開項に厳密な境界を導出することにより,数学的貢献を行う。

関連論文リスト

• Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
  高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。 本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。 ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
  論文  参考訳（メタデータ） (2024-02-27T11:52:49Z)
• Hypergraph Transformer for Semi-Supervised Classification [50.92027313775934]
  我々は新しいハイパーグラフ学習フレームワークHyperGraph Transformer(HyperGT)を提案する。 HyperGTはTransformerベースのニューラルネットワークアーキテクチャを使用して、すべてのノードとハイパーエッジのグローバル相関を効果的に検討する。 局所接続パターンを保ちながら、グローバルな相互作用を効果的に組み込むことで、包括的なハイパーグラフ表現学習を実現する。
  論文  参考訳（メタデータ） (2023-12-18T17:50:52Z)
• HyperS2V: A Framework for Structural Representation of Nodes in Hyper Networks [8.391883728680439]
  ハイパーネットワークは、ノード間のより複雑な関係を描写し、広範な情報を格納する能力を持っている。 本研究では,ハイパーネットワークの構造的類似性に着目したノード埋め込み手法であるHyperS2Vを紹介する。
  論文  参考訳（メタデータ） (2023-11-07T17:26:31Z)
• Topology-guided Hypergraph Transformer Network: Unveiling Structural Insights for Improved Representation [1.1606619391009658]
  位相誘導型ハイパーグラフトランスネットワーク(THTN)を提案する。 このモデルでは、まず、構造的本質を維持しながらグラフからハイパーグラフを定式化し、グラフ内の高次関係を学習する。 本稿では,意味的,構造的両面から重要なノードとハイパーエッジを発見する構造認識型自己認識機構を提案する。
  論文  参考訳（メタデータ） (2023-10-14T20:08:54Z)
• From Hypergraph Energy Functions to Hypergraph Neural Networks [94.88564151540459]
  パラメータ化されたハイパーグラフ正規化エネルギー関数の表現型族を示す。 次に、これらのエネルギーの最小化がノード埋め込みとして効果的に機能することを実証する。 提案した双レベルハイパーグラフ最適化と既存のGNNアーキテクチャを共通的に用いている。
  論文  参考訳（メタデータ） (2023-06-16T04:40:59Z)
• Globally Gated Deep Linear Networks [3.04585143845864]
  我々はGGDLN(Globally Gated Deep Linear Networks)を導入する。 有限幅熱力学極限におけるこれらのネットワークの一般化特性の正確な方程式を導出する。 我々の研究は、有限幅の非線形ネットワークの族における学習に関する最初の正確な理論解である。
  論文  参考訳（メタデータ） (2022-10-31T16:21:56Z)
• Mastering Spatial Graph Prediction of Road Networks [18.321172168775472]
  グラフエッジの列の追加をシミュレートするグラフベースのフレームワークを提案する。 特に、衛星画像に関連する部分生成グラフが与えられた場合、RLエージェントは累積報酬を最大化する修正を通知する。
  論文  参考訳（メタデータ） (2022-10-03T11:26:09Z)
• Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks [75.33431791218302]
  本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。 我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2021-10-18T18:00:36Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Asymptotics of Wide Convolutional Neural Networks [18.198962344790377]
  スキップ接続を有する広帯域CNNおよびネットワークのスケーリング法則について検討する。 有限幅モデルと無限幅モデルのパフォーマンス差は,モデル幅に対して一定の速度で消失することがわかった。
  論文  参考訳（メタデータ） (2020-08-19T21:22:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。