論文の概要: HyperNet Fields: Efficiently Training Hypernetworks without Ground Truth by Learning Weight Trajectories

• arxiv url: http://arxiv.org/abs/2412.17040v1
• Date: Sun, 22 Dec 2024 14:37:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:57:10.038857
• Title: HyperNet Fields: Efficiently Training Hypernetworks without Ground Truth by Learning Weight Trajectories
• Title（参考訳）: HyperNet Fields: ウェイトトラックの学習による地平線のないハイパーネットの効率的なトレーニング
• Authors: Eric Hedlin, Munawar Hayat, Fatih Porikli, Kwang Moo Yi, Shweta Mahajan,
• Abstract要約: 我々は,サンプル単位の真理を必要とせず,ハイパーネットワークを訓練する手法を提案する。 私たちのキーとなるアイデアは、Hypernetwork Fieldを学び、単に収束状態ではなく、ネットワークウェイトトレーニングの全軌道を見積もることです。
• 参考スコア（独自算出の注目度）: 62.975803165786324
• License:
• Abstract: To efficiently adapt large models or to train generative models of neural representations, Hypernetworks have drawn interest. While hypernetworks work well, training them is cumbersome, and often requires ground truth optimized weights for each sample. However, obtaining each of these weights is a training problem of its own-one needs to train, e.g., adaptation weights or even an entire neural field for hypernetworks to regress to. In this work, we propose a method to train hypernetworks, without the need for any per-sample ground truth. Our key idea is to learn a Hypernetwork `Field` and estimate the entire trajectory of network weight training instead of simply its converged state. In other words, we introduce an additional input to the Hypernetwork, the convergence state, which then makes it act as a neural field that models the entire convergence pathway of a task network. A critical benefit in doing so is that the gradient of the estimated weights at any convergence state must then match the gradients of the original task -- this constraint alone is sufficient to train the Hypernetwork Field. We demonstrate the effectiveness of our method through the task of personalized image generation and 3D shape reconstruction from images and point clouds, demonstrating competitive results without any per-sample ground truth.
• Abstract（参考訳）: 大規模モデルを効率的に適応させるか、あるいは神経表現の生成モデルを訓練するために、Hypernetworksは関心を集めている。 ハイパーネットはうまく機能するが、トレーニングは面倒で、各サンプルに対して真実に最適化された重みを必要とすることが多い。 しかしながら、これらのウェイトをそれぞれ取得することは、トレーニング、例えば適応ウェイト、さらにはハイパーネットワークを回帰させるためのニューラルネットワーク全体のトレーニングの必要性のトレーニング問題である。 本研究では,サンプル単位の真理を必要とせず,ハイパーネットワークを訓練する手法を提案する。 私たちのキーとなるアイデアは、Hypernetwork `Field" を学び、単に収束状態ではなく、ネットワークウェイトトレーニングの全軌道を見積もることです。 言い換えれば、ハイパーネットワーク、収束状態に付加的な入力を導入し、タスクネットワーク全体の収束経路をモデル化するニューラルネットワークとして機能させる。 これを行う上で重要な利点は、任意の収束状態における推定重量の勾配が元のタスクの勾配と一致しなければならないことである。 提案手法の有効性を,画像と点雲からの個人化画像生成と3次元形状再構成のタスクを通じて実証し,サンプルごとの真実を示さずに競合する結果を示す。

関連論文リスト

• HyperInterval: Hypernetwork approach to training weight interval regions in continual learning [0.0]
  InterContiNet(Interval Continual Learning)は、ニューラルネットワークのパラメータ空間に間隔制約を強制することに依存する。 埋め込み空間内でのインターバル演算を利用する手法について紹介する。 InterContiNetよりはるかに優れた結果が得られ、いくつかのベンチマークでSOTA結果が得られます。
  論文  参考訳（メタデータ） (2024-05-24T11:20:41Z)
• Principled Weight Initialization for Hypernetworks [15.728811174027896]
  Hypernetworksは、エンドツーエンドの微分可能な方法で、メインニューラルネットワークの重みを生成する、メタニューラルネットワークである。 従来のウェイト・アズ・ア・サービス方式では, 適切なスケールでメインネットのウェイトを生成できないことを示す。 ハイパーネットにおけるウェイト・アズ・ア・サービスのための原則的手法を開発し、より安定したメインネットウェイト、より低いトレーニング損失、より高速な収束をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-12-13T04:49:18Z)
• HyperMask: Adaptive Hypernetwork-based Masks for Continual Learning [0.0]
  CLタスクに応じてターゲットネットワークを動的にフィルタリングするHyperMaskという手法を提案する。 宝くじの仮説により、重み付けされた忘れ物を持つ1つのネットワークを使うことができる。
  論文  参考訳（メタデータ） (2023-09-29T20:01:11Z)
• Magnitude Invariant Parametrizations Improve Hypernetwork Learning [0.0]
  Hypernetworksは、別のニューラルネットワークのパラメータを予測する強力なニューラルネットワークである。 トレーニングは通常、非ハイパーネットワークモデルよりもはるかにゆっくりと収束する。 我々は、ハイパーネットワークのトレーニングの課題に寄与する、基本的な未確認の問題を識別する。 我々は、MIP(Magnitude Invariant Parametrizations)と呼ばれる改訂されたハイパーネットワークの定式化を用いて、この問題に対する簡単な解決策を提案する。
  論文  参考訳（メタデータ） (2023-04-15T22:18:29Z)
• Random Weights Networks Work as Loss Prior Constraint for Image Restoration [50.80507007507757]
  「画像復元の優先制約としてランダムウェイトネットワークを機能させることができる」という信念を提示する。」 我々の信念は、計算コストのトレーニングやテストなしに、既存のネットワークに直接挿入することができる。 強調しておきたいのは、損失関数の領域を刺激し、現在無視されている状態を保存することです。
  論文  参考訳（メタデータ） (2023-03-29T03:43:51Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• Simultaneous Training of Partially Masked Neural Networks [67.19481956584465]
  トレーニングされたフルネットワークから事前定義された'コア'サブネットワークを分割して,優れたパフォーマンスでニューラルネットワークをトレーニングすることが可能であることを示す。 低ランクコアを用いたトランスフォーマーのトレーニングは,低ランクモデル単独のトレーニングよりも優れた性能を有する低ランクモデルが得られることを示す。
  論文  参考訳（メタデータ） (2021-06-16T15:57:51Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)
• Cream of the Crop: Distilling Prioritized Paths For One-Shot Neural Architecture Search [60.965024145243596]
  ワンショット重み共有手法は、高効率と競争性能のため、最近、ニューラルアーキテクチャ探索において大きな注目を集めている。 この問題を軽減するため, 単純で効果的な蒸留法を提案する。 本稿では、訓練中に優れた性能を示すアーキテクチャ候補を指す優先順位付けパスの概念を紹介する。 優先順位付けされた経路は、その性能や複雑さに応じて、ハエで変化するため、最終的な経路は作物のクリームである。
  論文  参考訳（メタデータ） (2020-10-29T17:55:05Z)
• Training highly effective connectivities within neural networks with randomly initialized, fixed weights [4.56877715768796]
  重みの符号を反転させてネットワークを訓練する新しい方法を提案する。 重みが一定等級であっても、高非対称分布から重みが引き出される場合でも良い結果が得られる。
  論文  参考訳（メタデータ） (2020-06-30T09:41:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。