論文の概要: Principled Weight Initialization for Hypernetworks

• arxiv url: http://arxiv.org/abs/2312.08399v1
• Date: Wed, 13 Dec 2023 04:49:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-16 03:09:37.489008
• Title: Principled Weight Initialization for Hypernetworks
• Title（参考訳）: ハイパーネットワークの原理的重み初期化
• Authors: Oscar Chang, Lampros Flokas, Hod Lipson
• Abstract要約: Hypernetworksは、エンドツーエンドの微分可能な方法で、メインニューラルネットワークの重みを生成する、メタニューラルネットワークである。 従来のウェイト・アズ・ア・サービス方式では, 適切なスケールでメインネットのウェイトを生成できないことを示す。 ハイパーネットにおけるウェイト・アズ・ア・サービスのための原則的手法を開発し、より安定したメインネットウェイト、より低いトレーニング損失、より高速な収束をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 15.728811174027896
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hypernetworks are meta neural networks that generate weights for a main neural network in an end-to-end differentiable manner. Despite extensive applications ranging from multi-task learning to Bayesian deep learning, the problem of optimizing hypernetworks has not been studied to date. We observe that classical weight initialization methods like Glorot & Bengio (2010) and He et al. (2015), when applied directly on a hypernet, fail to produce weights for the mainnet in the correct scale. We develop principled techniques for weight initialization in hypernets, and show that they lead to more stable mainnet weights, lower training loss, and faster convergence.
• Abstract（参考訳）: Hypernetworksは、エンドツーエンドの微分可能な方法でメインニューラルネットワークの重みを生成する、メタニューラルネットワークである。 マルチタスク学習からベイズ深層学習まで幅広い応用があるが、ハイパーネットワークの最適化の問題はこれまで研究されていない。 Grorot & Bengio (2010) や He et al. (2015) のような古典的なウェイト初期化法は、ハイパーネットに直接適用しても、正しいスケールでメインネットの重みを生成できない。 我々は,ハイパーネットにおける重み初期化の原理的な手法を開発し,より安定なメインネット重み,低いトレーニング損失,より高速な収束をもたらすことを示す。

関連論文リスト

• HyperNet Fields: Efficiently Training Hypernetworks without Ground Truth by Learning Weight Trajectories [62.975803165786324]
  我々は,サンプル単位の真理を必要とせず,ハイパーネットワークを訓練する手法を提案する。 私たちのキーとなるアイデアは、Hypernetwork Fieldを学び、単に収束状態ではなく、ネットワークウェイトトレーニングの全軌道を見積もることです。
  論文  参考訳（メタデータ） (2024-12-22T14:37:10Z)
• HyperLoRA for PDEs [7.898728380447954]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式の解に対するニューラルネットワークの開発に広く用いられている。 PINNの欠点は、初期境界条件やPDE係数の変化に応じて再訓練する必要があることである。 モデルベースのメタ学習技術であるHypernetworkは、パラメータ化されたタスクを入力として埋め込み、PINNの重みを出力として予測する。
  論文  参考訳（メタデータ） (2023-08-18T04:29:48Z)
• Weight Compander: A Simple Weight Reparameterization for Regularization [5.744133015573047]
  我々は、ディープニューラルネットワークの一般化を改善するための新しい効果的な方法であるウェイトコンパンダを導入する。 標準正規化法に加えて重みコンパンダを用いることで,ニューラルネットワークの性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-06-29T14:52:04Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• Improvements to Gradient Descent Methods for Quantum Tensor Network Machine Learning [0.0]
  任意のテンソルネットワークの初期化に成功したコピーノード方式を提案する。 本稿では、量子インスパイアされたテンソルネットワークモデルを生成する手法の組み合わせを示す数値的な結果を示す。
  論文  参考訳（メタデータ） (2022-03-03T19:00:40Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Neural networks with late-phase weights [66.72777753269658]
  学習後期に重みのサブセットを組み込むことで,SGDの解をさらに改善できることを示す。 学習の終わりに、重み空間における空間平均を取ることにより、1つのモデルを取得する。
  論文  参考訳（メタデータ） (2020-07-25T13:23:37Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
  我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。 実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
  論文  参考訳（メタデータ） (2020-02-19T16:00:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。