論文の概要: On the Subspace Structure of Gradient-Based Meta-Learning

• arxiv url: http://arxiv.org/abs/2207.03804v1
• Date: Fri, 8 Jul 2022 10:19:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-11 14:01:15.974311
• Title: On the Subspace Structure of Gradient-Based Meta-Learning
• Title（参考訳）: 勾配に基づくメタラーニングのサブスペース構造について
• Authors: Gustaf Tegn\'er, Alfredo Reichlin, Hang Yin, M{\aa}rten Bj\"orkman, Danica Kragic
• Abstract要約: 本稿では,GBML(Gradient-Based Meta-Learning)手法の適応後パラメータの分布分析を行う。 本稿では,タスク空間と同じ次元の低次元円形空間上で,パラメータが更新されるというより一般的な概念を提案する。
• 参考スコア（独自算出の注目度）: 18.47031601065446
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work we provide an analysis of the distribution of the post-adaptation parameters of Gradient-Based Meta-Learning (GBML) methods. Previous work has noticed how, for the case of image-classification, this adaption only takes place on the last layers of the network. We propose the more general notion that parameters are updated over a low-dimensional \emph{subspace} of the same dimensionality as the task-space and show that this holds for regression as well. Furthermore, the induced subspace structure provides a method to estimate the intrinsic dimension of the space of tasks of common few-shot learning datasets.
• Abstract（参考訳）: 本稿では,GBML(Gradient-Based Meta-Learning)手法の適応後パラメータの分布分析を行う。 これまでの研究では、画像分類の場合、この適応がネットワークの最後の層でのみ行われることに気付きました。 タスク空間と同じ次元の低次元の \emph{subspace} 上でパラメータが更新されるというより一般的な概念を提案し、回帰についてもこれが成り立つことを示す。 さらに、誘導部分空間構造は、一般的な少数ショット学習データセットのタスク空間の固有次元を推定する方法を提供する。

関連論文リスト

• Hyperboloid GPLVM for Discovering Continuous Hierarchies via Nonparametric Estimation [41.13597666007784]
  次元性低減(DR)は複雑な高次元データの有用な表現を提供する。 最近のDR法は、階層データの忠実な低次元表現を導出する双曲幾何学に焦点を当てている。 本稿では,非パラメトリック推定による暗黙的な連続性を持つ高次元階層データを埋め込むためのhGP-LVMを提案する。
  論文  参考訳（メタデータ） (2024-10-22T05:07:30Z)
• Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
  本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。 学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。 本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
  論文  参考訳（メタデータ） (2024-07-09T15:45:04Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• Reparameterization through Spatial Gradient Scaling [69.27487006953852]
  リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。 本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-05T17:57:33Z)
• A Multi-stage Framework with Mean Subspace Computation and Recursive Feedback for Online Unsupervised Domain Adaptation [9.109788577327503]
  本稿では,対象データがラベル付けされず,オンラインに連続してバッチで到着した場合に,現実の状況を解決するための新しいフレームワークを提案する。 提案手法では,ソースとターゲットドメインから共通部分空間にデータを投影し,投影したデータをリアルタイムに操作する手法を提案する。 提案フレームワークにおける各ステージの効果と寄与を詳細に調査するため,6つのデータセットの実験を行った。
  論文  参考訳（メタデータ） (2022-06-24T03:50:34Z)
• Analyzing the Latent Space of GAN through Local Dimension Estimation [4.688163910878411]
  高忠実度画像合成におけるスタイルベースGAN(StyleGAN)は、それらの潜在空間の意味的特性を理解するために研究の動機となっている。 事前学習したGANモデルにおける任意の中間層に対する局所次元推定アルゴリズムを提案する。 提案した計量はDistortionと呼ばれ、学習された潜在空間上の内在空間の不整合を測定する。
  論文  参考訳（メタデータ） (2022-05-26T06:36:06Z)
• Improving Metric Dimensionality Reduction with Distributed Topology [68.8204255655161]
  DIPOLEは、局所的、計量的項と大域的、位相的項の両方で損失関数を最小化し、初期埋め込みを補正する次元推論後処理ステップである。 DIPOLEは、UMAP、t-SNE、Isomapといった一般的な手法よりも多くの一般的なデータセットで優れています。
  論文  参考訳（メタデータ） (2021-06-14T17:19:44Z)
• Graph-Embedded Subspace Support Vector Data Description [98.78559179013295]
  一クラス分類のための新しいサブスペース学習フレームワークを提案する。 提案されたフレームワークはグラフ埋め込みという形で問題を提示する。 ベースラインに対する改善されたパフォーマンスと、最近提案された1クラス分類のためのサブスペース学習方法を示す。
  論文  参考訳（メタデータ） (2021-04-29T14:30:48Z)
• Invariant Integration in Deep Convolutional Feature Space [77.99182201815763]
  より深いニューラルネットワークアーキテクチャに事前知識を原則的に組み込む方法を示す。 本稿では,Rotated-MNISTデータセットの最先端性能について報告する。
  論文  参考訳（メタデータ） (2020-04-20T09:45:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。