論文の概要: Meta-Learning via Classifier(-free) Guidance
- arxiv url: http://arxiv.org/abs/2210.08942v1
- Date: Mon, 17 Oct 2022 11:09:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-18 20:31:36.067716
- Title: Meta-Learning via Classifier(-free) Guidance
- Title(参考訳): Classifier(-free) Guidanceによるメタラーニング
- Authors: Elvis Nava, Seijin Kobayashi, Yifei Yin, Robert K. Katzschmann,
Benjamin F. Grewe
- Abstract要約: 最先端のメタ学習技術は、目に見えないタスクへのゼロショット適応を最適化しない。
本稿では,自然言語指導によるゼロショット性能向上のためのメタ学習手法を提案する。
- 参考スコア(独自算出の注目度): 5.812784742024491
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: State-of-the-art meta-learning techniques do not optimize for zero-shot
adaptation to unseen tasks, a setting in which humans excel. On the contrary,
meta-learning algorithms learn hyperparameters and weight initializations that
explicitly optimize for few-shot learning performance. In this work, we take
inspiration from recent advances in generative modeling and
language-conditioned image synthesis to propose meta-learning techniques that
use natural language guidance to achieve higher zero-shot performance compared
to the state-of-the-art. We do so by recasting the meta-learning problem as a
multi-modal generative modeling problem: given a task, we consider its adapted
neural network weights and its natural language description as equivalent
multi-modal task representations. We first train an unconditional generative
hypernetwork model to produce neural network weights; then we train a second
"guidance" model that, given a natural language task description, traverses the
hypernetwork latent space to find high-performance task-adapted weights in a
zero-shot manner. We explore two alternative approaches for latent space
guidance: "HyperCLIP"-based classifier guidance and a conditional Hypernetwork
Latent Diffusion Model ("HyperLDM"), which we show to benefit from the
classifier-free guidance technique common in image generation. Finally, we
demonstrate that our approaches outperform existing meta-learning methods with
zero-shot learning experiments on our Meta-VQA dataset, which we specifically
constructed to reflect the multi-modal meta-learning setting.
- Abstract(参考訳): 最先端のメタ学習技術は、人間が卓越した環境である見えないタスクへのゼロショット適応を最適化しない。
それとは対照的に、メタ学習アルゴリズムはハイパーパラメータとウェイト初期化を学習する。
本研究では、生成モデルと言語条件の画像合成の最近の進歩からインスピレーションを得て、自然言語指導によるゼロショット性能向上のためのメタラーニング手法を提案する。
我々は,メタラーニング問題をマルチモーダルな生成モデル問題として再キャストすることで,その課題を与えられたニューラルネットワークの重み付けとその自然言語記述を等価なマルチモーダルなタスク表現として検討する。
まず、ニューラルネットワークの重みを生成するために、無条件生成型ハイパーネットワークモデルをトレーニングし、次に、自然言語のタスク記述を前提として、ハイパーネットワークの潜在空間を横断して、ゼロショットで高性能なタスク適応型重みを見つける第2の"ガイダンス"モデルを訓練する。
我々は,「ハイパークリップ」に基づく分類器指導と条件付きハイパーネットワーク潜在拡散モデル(hyperldm)の2つの代替手法を検討した。
最後に,マルチモーダルなメタ学習設定を反映して構築したMeta-VQAデータセットにおいて,ゼロショット学習実験による既存のメタ学習手法よりも優れていることを示す。
関連論文リスト
- Meta-Task Prompting Elicits Embedding from Large Language Models [57.50329659098592]
本稿では,新しい教師なし埋め込み手法であるMeta-Task Prompting with Explicit One-Word Limitationを提案する。
モデル微調整やタスク固有のエンジニアリングを必要とせずに、大規模言語モデルから高品質な文の埋め込みを生成する。
実験により, 各種メタタスクから平均化された埋め込みは, セマンティックテキスト類似度ベンチマーク上での競合性能を示すことを示した。
本研究は, 埋込抽出のための多用途, 資源効率のよい手法を提供する, 埋込生成のための新しいスケーリング法則を示唆する。
論文 参考訳(メタデータ) (2024-02-28T16:35:52Z) - When Parameter-efficient Tuning Meets General-purpose Vision-language
Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。
実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-12-16T17:13:08Z) - eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。
視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。
総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
論文 参考訳(メタデータ) (2023-03-20T19:20:34Z) - Meta Learning to Bridge Vision and Language Models for Multimodal
Few-Shot Learning [38.37682598345653]
視覚モデルと言語モデルとのギャップを埋めるために,マルチモーダルなメタ学習手法を導入する。
我々は,凍結した大規模視覚と言語モデルを効率的にブリッジするためにメタラーナーとして機能するメタマッパーネットワークを定義する。
我々は,最近提案されたマルチモーダル・スショット・ベンチマークに対するアプローチを評価し,新しい視覚概念を単語に結合する速度を計測した。
論文 参考訳(メタデータ) (2023-02-28T17:46:18Z) - ZhichunRoad at Amazon KDD Cup 2022: MultiTask Pre-Training for
E-Commerce Product Search [4.220439000486713]
検索結果の質を向上させるために,頑健な多言語モデルを提案する。
事前学習の段階では、mlmタスク、分類タスク、コントラスト学習タスクを採用する。
微調整段階では、自信ある学習、指数的移動平均法(EMA)、対人訓練(FGM)、正規化ドロップアウト戦略(R-Drop)を用いる。
論文 参考訳(メタデータ) (2023-01-31T07:31:34Z) - Neural Routing in Meta Learning [9.070747377130472]
入力タスクに条件付けされたモデルの部分のみを選択的に使用することにより,現在のメタ学習アルゴリズムのモデル性能を向上させることを目指している。
本稿では、バッチ正規化層におけるスケーリング係数を活用することにより、深層畳み込みニューラルネットワーク(CNN)におけるタスク依存の動的ニューロン選択を研究するアプローチについて述べる。
提案手法であるニューラルルーティング・イン・メタラーニング(NRML)は,数ショットの分類タスクにおいて,既知のメタラーニングベースラインの1つである。
論文 参考訳(メタデータ) (2022-10-14T16:31:24Z) - Attribute-Modulated Generative Meta Learning for Zero-Shot
Classification [52.64680991682722]
ゼロショット学習のためのAttribute-Modulated GenerAtive Meta-modelを提案する。
本モデルは属性対応変調ネットワークと属性対応生成ネットワークから構成される。
実験により,AMAZはZSLで3.8%,ZSLで5.1%改善し,ZSL設定を一般化した。
論文 参考訳(メタデータ) (2021-04-22T04:16:43Z) - Unsupervised Meta-Learning through Latent-Space Interpolation in
Generative Models [11.943374020641214]
生成モデルを用いてメタタスクを生成する手法について述べる。
提案手法であるLAtent Space Interpolation Unsupervised Meta-learning (LASium)が,現在の教師なし学習ベースラインよりも優れているか,あるいは競合していることがわかった。
論文 参考訳(メタデータ) (2020-06-18T02:10:56Z) - Pre-training Text Representations as Meta Learning [113.3361289756749]
本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。
マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
論文 参考訳(メタデータ) (2020-04-12T09:05:47Z) - Unraveling Meta-Learning: Understanding Feature Representations for
Few-Shot Tasks [55.66438591090072]
メタラーニングの基礎となる力学と、メタラーニングを用いて訓練されたモデルと古典的に訓練されたモデルの違いをよりよく理解する。
数ショット分類のための標準訓練ルーチンの性能を高める正則化器を開発した。
論文 参考訳(メタデータ) (2020-02-17T03:18:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。