論文の概要: Wormhole MAML: Meta-Learning in Glued Parameter Space
- arxiv url: http://arxiv.org/abs/2212.14094v1
- Date: Wed, 28 Dec 2022 20:46:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 15:28:47.254056
- Title: Wormhole MAML: Meta-Learning in Glued Parameter Space
- Title(参考訳): Wormhole MAML:Gluedパラメータ空間におけるメタラーニング
- Authors: Chih-Jung Tracy Chang, Yuan Gao, Beicheng Lou
- Abstract要約: モデルに依存しないメタラーニングでは,内ループ適応に余分な乗法パラメータが導入された。
我々の変分は、内ループ適応のためのパラメータ空間においてショートカットを生成し、高度に制御可能なモデル表現性を向上させる。
- 参考スコア(独自算出の注目度): 4.785489100601398
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we introduce a novel variation of model-agnostic
meta-learning, where an extra multiplicative parameter is introduced in the
inner-loop adaptation. Our variation creates a shortcut in the parameter space
for the inner-loop adaptation and increases model expressivity in a highly
controllable manner. We show both theoretically and numerically that our
variation alleviates the problem of conflicting gradients and improves training
dynamics. We conduct experiments on 3 distinctive problems, including a toy
classification problem for threshold comparison, a regression problem for
wavelet transform, and a classification problem on MNIST. We also discuss ways
to generalize our method to a broader class of problems.
- Abstract(参考訳): 本稿では,モデルに依存しないメタラーニングの新たなバリエーションを紹介し,内部ループ適応に余分な乗法パラメータを導入する。
私たちのバリエーションは、内部ループ適応のためのパラメータ空間のショートカットを生成し、高度に制御可能な方法でモデル表現性を高めます。
理論的にも数値的にも、我々の変動が相反する勾配の問題を緩和し、トレーニングダイナミクスを改善することを示します。
我々は,しきい値比較のための玩具分類問題,ウェーブレット変換の回帰問題,mnistの分類問題など,3つの異なる問題について実験を行った。
また、より広範な問題にメソッドを一般化する方法についても論じる。
関連論文リスト
- Neural network analysis of neutron and X-ray reflectivity data:
Incorporating prior knowledge for tackling the phase problem [141.5628276096321]
本稿では,事前知識を利用して,より大規模なパラメータ空間上でのトレーニングプロセスを標準化する手法を提案する。
ボックスモデルパラメータ化を用いた多層構造を含む様々なシナリオにおいて,本手法の有効性を示す。
従来の手法とは対照的に,逆問題の複雑性を増大させると,我々の手法は好適にスケールする。
論文 参考訳(メタデータ) (2023-06-28T11:15:53Z) - Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳(メタデータ) (2023-04-09T20:36:13Z) - Attention, Filling in The Gaps for Generalization in Routing Problems [5.210197476419621]
本稿では,既存のモデルの理解と改善を通じて,分野の統合を促進することを目的とする。
我々はまず,Sparse Dynamic Attention のための Kool et al. 法とその損失関数を適用することで,モデルの相違を第一に狙う。
次に、特定のシナリオにおける単一インスタンストレーニングよりも優れたパフォーマンスを示す混合インスタンストレーニングメソッドを使用することで、固有の違いをターゲットとします。
論文 参考訳(メタデータ) (2022-07-14T21:36:51Z) - On the Influence of Enforcing Model Identifiability on Learning dynamics
of Gaussian Mixture Models [14.759688428864159]
特異モデルからサブモデルを抽出する手法を提案する。
本手法はトレーニング中のモデルの識別性を強制する。
この手法がディープニューラルネットワークのようなより複雑なモデルにどのように適用できるかを示す。
論文 参考訳(メタデータ) (2022-06-17T07:50:22Z) - Quasi Black-Box Variational Inference with Natural Gradients for
Bayesian Learning [84.90242084523565]
複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。
我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
論文 参考訳(メタデータ) (2022-05-23T18:54:27Z) - A Variational Inference Approach to Inverse Problems with Gamma
Hyperpriors [60.489902135153415]
本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。
提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
論文 参考訳(メタデータ) (2021-11-26T06:33:29Z) - A Variational Inference Framework for Inverse Problems [1.2712661944741168]
変動ベイズ近似による逆問題モデル適合の枠組みを提案する。
この方法論は、幅広いアプリケーションに対する統計モデル仕様への柔軟性を保証する。
論文 参考訳(メタデータ) (2021-03-10T07:37:20Z) - Total Deep Variation for Linear Inverse Problems [71.90933869570914]
本稿では,近年のアーキテクチャ設計パターンを深層学習から活用する,学習可能な汎用正規化手法を提案する。
本稿では,古典的画像復元と医用画像再構成問題に対する最先端の性能について述べる。
論文 参考訳(メタデータ) (2020-01-14T19:01:50Z) - FLAT: Few-Shot Learning via Autoencoding Transformation Regularizers [67.46036826589467]
本稿では,データ例のラベルを使わずに,変換の分布によって引き起こされる特徴表現の変化を学習することで,新たな正規化機構を提案する。
エンコードされた特徴レベルで変換強化されたバリエーションを検査することで、ベースカテゴリへのオーバーフィットのリスクを最小限に抑えることができる。
実験結果から,文学における現在の最先端手法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2019-12-29T15:26:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。