論文の概要: Wormhole MAML: Meta-Learning in Glued Parameter Space
- arxiv url: http://arxiv.org/abs/2212.14094v1
- Date: Wed, 28 Dec 2022 20:46:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 15:28:47.254056
- Title: Wormhole MAML: Meta-Learning in Glued Parameter Space
- Title（参考訳）: Wormhole MAML:Gluedパラメータ空間におけるメタラーニング
- Authors: Chih-Jung Tracy Chang, Yuan Gao, Beicheng Lou
- Abstract要約: モデルに依存しないメタラーニングでは,内ループ適応に余分な乗法パラメータが導入された。
我々の変分は、内ループ適応のためのパラメータ空間においてショートカットを生成し、高度に制御可能なモデル表現性を向上させる。
- 参考スコア（独自算出の注目度）: 4.785489100601398
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we introduce a novel variation of model-agnostic
meta-learning, where an extra multiplicative parameter is introduced in the
inner-loop adaptation. Our variation creates a shortcut in the parameter space
for the inner-loop adaptation and increases model expressivity in a highly
controllable manner. We show both theoretically and numerically that our
variation alleviates the problem of conflicting gradients and improves training
dynamics. We conduct experiments on 3 distinctive problems, including a toy
classification problem for threshold comparison, a regression problem for
wavelet transform, and a classification problem on MNIST. We also discuss ways
to generalize our method to a broader class of problems.
- Abstract（参考訳）: 本稿では,モデルに依存しないメタラーニングの新たなバリエーションを紹介し,内部ループ適応に余分な乗法パラメータを導入する。
私たちのバリエーションは、内部ループ適応のためのパラメータ空間のショートカットを生成し、高度に制御可能な方法でモデル表現性を高めます。
理論的にも数値的にも、我々の変動が相反する勾配の問題を緩和し、トレーニングダイナミクスを改善することを示します。
我々は,しきい値比較のための玩具分類問題,ウェーブレット変換の回帰問題,mnistの分類問題など,3つの異なる問題について実験を行った。
また、より広範な問題にメソッドを一般化する方法についても論じる。
関連論文リスト
- A Unified View of Delta Parameter Editing in Post-Trained Large-Scale Models [45.82689769685688]
ポストトレーニングは、様々なタスクに大規模な事前訓練モデルを適用するための重要なパラダイムとして現れている。
本稿では,DARE や BitDelta などの既存手法を拡張して,訓練後モデルにおけるデルタパラメータ編集の適用性と有効性を高める。
論文 参考訳（メタデータ） (2024-10-17T17:56:53Z) - A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。
SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。
画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文 参考訳（メタデータ） (2024-08-19T17:32:15Z) - Few-Shot Class Incremental Learning via Robust Transformer Approach [16.590193619691416]
Few-Shot Class-Incremental Learningは,データ不足の問題にモデルが直面しているクラス増分学習問題の拡張を提示する。
この問題は、最近のすべての研究が、準最適に実行される畳み込みニューラルネットワークの上に構築されているため、未解決の問題のままである。
本稿では,コンパクト畳み込み変換器を用いたロバスト変換器を提案する。
論文 参考訳（メタデータ） (2024-05-08T03:35:52Z) - Neural network analysis of neutron and X-ray reflectivity data:
Incorporating prior knowledge for tackling the phase problem [141.5628276096321]
本稿では,事前知識を利用して,より大規模なパラメータ空間上でのトレーニングプロセスを標準化する手法を提案する。
ボックスモデルパラメータ化を用いた多層構造を含む様々なシナリオにおいて,本手法の有効性を示す。
従来の手法とは対照的に,逆問題の複雑性を増大させると,我々の手法は好適にスケールする。
論文 参考訳（メタデータ） (2023-06-28T11:15:53Z) - Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳（メタデータ） (2023-04-09T20:36:13Z) - Attention, Filling in The Gaps for Generalization in Routing Problems [5.210197476419621]
本稿では,既存のモデルの理解と改善を通じて,分野の統合を促進することを目的とする。
我々はまず,Sparse Dynamic Attention のための Kool et al. 法とその損失関数を適用することで,モデルの相違を第一に狙う。
次に、特定のシナリオにおける単一インスタンストレーニングよりも優れたパフォーマンスを示す混合インスタンストレーニングメソッドを使用することで、固有の違いをターゲットとします。
論文 参考訳（メタデータ） (2022-07-14T21:36:51Z) - Total Deep Variation for Linear Inverse Problems [71.90933869570914]
本稿では,近年のアーキテクチャ設計パターンを深層学習から活用する,学習可能な汎用正規化手法を提案する。
本稿では,古典的画像復元と医用画像再構成問題に対する最先端の性能について述べる。
論文 参考訳（メタデータ） (2020-01-14T19:01:50Z) - FLAT: Few-Shot Learning via Autoencoding Transformation Regularizers [67.46036826589467]
本稿では,データ例のラベルを使わずに,変換の分布によって引き起こされる特徴表現の変化を学習することで,新たな正規化機構を提案する。
エンコードされた特徴レベルで変換強化されたバリエーションを検査することで、ベースカテゴリへのオーバーフィットのリスクを最小限に抑えることができる。
実験結果から,文学における現在の最先端手法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2019-12-29T15:26:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。