論文の概要: Hyper-Representations for Pre-Training and Transfer Learning

• arxiv url: http://arxiv.org/abs/2207.10951v1
• Date: Fri, 22 Jul 2022 09:01:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-25 13:25:58.471693
• Title: Hyper-Representations for Pre-Training and Transfer Learning
• Title（参考訳）: 事前学習と転校学習のためのハイパー表現
• Authors: Konstantin Sch\"urholt, Boris Knyazev, Xavier Gir\'o-i-Nieto, Damian Borth
• Abstract要約: 我々は、生成的使用のためのハイパー表現を拡張して、事前学習として新しいモデルウェイトをサンプリングする。 以上の結果から, モデル動物園からハイパー表現による新しいモデルへの知識集約の可能性が示唆された。
• 参考スコア（独自算出の注目度）: 2.9678808525128813
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning representations of neural network weights given a model zoo is an emerging and challenging area with many potential applications from model inspection, to neural architecture search or knowledge distillation. Recently, an autoencoder trained on a model zoo was able to learn a hyper-representation, which captures intrinsic and extrinsic properties of the models in the zoo. In this work, we extend hyper-representations for generative use to sample new model weights as pre-training. We propose layer-wise loss normalization which we demonstrate is key to generate high-performing models and a sampling method based on the empirical density of hyper-representations. The models generated using our methods are diverse, performant and capable to outperform conventional baselines for transfer learning. Our results indicate the potential of knowledge aggregation from model zoos to new models via hyper-representations thereby paving the avenue for novel research directions.
• Abstract（参考訳）: モデル動物園に与えられたニューラルネットワーク重みの学習表現は、モデル検査からニューラルアーキテクチャ探索、知識蒸留まで、多くの潜在的な応用がある新興的で挑戦的な領域である。 近年, モデル動物園で訓練されたオートエンコーダは, モデル内の内在的・外在的特性を捉える超表現を学習することができた。 本研究では,新しいモデル重みを事前学習として標本化するために,生成用ハイパー表現を拡張した。 本稿では,ハイパフォーマンスモデル生成の鍵となる層幅損失正規化と,ハイパー表現の経験的密度に基づくサンプリング手法を提案する。 本手法で生成したモデルは多様で高性能であり, トランスファー学習のベースラインを上回ることができる。 以上の結果から,モデル動物園からハイパー表現による新しいモデルへの知識集約の可能性を示し,新たな研究の道筋を拓いた。

関連論文リスト

• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Learning to Jump: Thinning and Thickening Latent Counts for Generative Modeling [69.60713300418467]
  ジャンプの学習は、様々な種類のデータの生成モデリングのための一般的なレシピである。 ジャンプの学習が、デノゼの学習と相容れないパフォーマンスを期待される場合と、より良いパフォーマンスを期待される場合を実証する。
  論文  参考訳（メタデータ） (2023-05-28T05:38:28Z)
• Learning to Grow Pretrained Models for Efficient Transformer Training [72.20676008625641]
  そこでは、より小さなモデルのパラメータを線形にマッピングして、より大きなモデルを初期化する。 言語と視覚のトランスフォーマーをまたいだ実験では、学習した線形成長演算子(LiGO)が、スクラッチから最大50%の計算コストを節約できることが示されています。
  論文  参考訳（メタデータ） (2023-03-02T05:21:18Z)
• Hyper-Representations as Generative Models: Sampling Unseen Neural Network Weights [2.9678808525128813]
  我々は、新しいモデルウェイトをサンプリングするために、生成的使用のためのハイパー表現を拡張した。 以上の結果から, モデル動物園からハイパー表現による新しいモデルへの知識集約の可能性が示唆された。
  論文  参考訳（メタデータ） (2022-09-29T12:53:58Z)
• Learning Sparse Latent Representations for Generator Model [7.467412443287767]
  そこで本研究では,ジェネレータモデルの潜在空間に空間空間を強制する教師なし学習手法を提案する。 我々のモデルは1つのトップダウンジェネレータネットワークから成り、潜在変数を観測データにマッピングする。
  論文  参考訳（メタデータ） (2022-09-20T18:58:24Z)
• SuperAnimal pretrained pose estimation models for behavioral analysis [42.206265576708255]
  行動の定量化は神経科学、獣医学、動物保護活動など様々な応用において重要である。 我々は、SuperAnimalと呼ばれる新しい手法で統一基盤モデルを開発するための一連の技術革新を提案する。
  論文  参考訳（メタデータ） (2022-03-14T18:46:57Z)
• Entropy optimized semi-supervised decomposed vector-quantized variational autoencoder model based on transfer learning for multiclass text classification and generation [3.9318191265352196]
  多クラステキスト分類とテキスト生成のための半教師付き離散潜在変数モデルを提案する。 提案モデルは,量子化変圧器モデルの学習に伝達学習の概念を用いる。 実験結果から,提案モデルが最先端モデルを大幅に上回ったことが示唆された。
  論文  参考訳（メタデータ） (2021-11-10T07:07:54Z)
• Neuro-Symbolic AI: An Emerging Class of AI Workloads and their Characterization [0.9949801888214526]
  ニューロシンボリック人工知能(Neuro-symbolic AI)は、AI研究の新たな分野である。 本稿では,最近の3つのニューロシンボリックモデルの性能特性について述べる。
  論文  参考訳（メタデータ） (2021-09-13T17:19:59Z)
• STAR: Sparse Transformer-based Action Recognition [61.490243467748314]
  本研究は,空間的次元と時間的次元に細かな注意を払っている新しいスケルトンに基づく人間行動認識モデルを提案する。 実験により、トレーニング可能なパラメータをはるかに少なくし、トレーニングや推論の高速化を図りながら、モデルが同等のパフォーマンスを達成できることが示されている。
  論文  参考訳（メタデータ） (2021-07-15T02:53:11Z)
• Zoo-Tuning: Adaptive Transfer from a Zoo of Models [82.9120546160422]
  Zoo-Tuningは、事前訓練されたモデルのパラメータをターゲットタスクに適応的に転送することを学ぶ。 我々は、強化学習、画像分類、顔のランドマーク検出など、様々なタスクに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2021-06-29T14:09:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。