論文の概要: Few-Shot Learning by Dimensionality Reduction in Gradient Space
- arxiv url: http://arxiv.org/abs/2206.03483v1
- Date: Tue, 7 Jun 2022 17:58:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-08 15:34:14.589569
- Title: Few-Shot Learning by Dimensionality Reduction in Gradient Space
- Title（参考訳）: 勾配空間における次元性低減によるマイズショット学習
- Authors: Martin Gauch, Maximilian Beck, Thomas Adler, Dmytro Kotsur, Stefan
Fiel, Hamid Eghbal-zadeh, Johannes Brandstetter, Johannes Kofler, Markus
Holzleitner, Werner Zellinger, Daniel Klotz, Sepp Hochreiter, Sebastian
Lehner
- Abstract要約: SubGDは降下勾配更新に基づく新しい数ショット学習法である。
適切な部分空間に限定したモデルが、数ショットの学習に適していることを示す。
我々は,3つの異なる力学系問題設定におけるSubGDの利点を実験的に裏付ける。
- 参考スコア（独自算出の注目度）: 7.8138641179917565
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce SubGD, a novel few-shot learning method which is based on the
recent finding that stochastic gradient descent updates tend to live in a
low-dimensional parameter subspace. In experimental and theoretical analyses,
we show that models confined to a suitable predefined subspace generalize well
for few-shot learning. A suitable subspace fulfills three criteria across the
given tasks: it (a) allows to reduce the training error by gradient flow, (b)
leads to models that generalize well, and (c) can be identified by stochastic
gradient descent. SubGD identifies these subspaces from an eigendecomposition
of the auto-correlation matrix of update directions across different tasks.
Demonstrably, we can identify low-dimensional suitable subspaces for few-shot
learning of dynamical systems, which have varying properties described by one
or few parameters of the analytical system description. Such systems are
ubiquitous among real-world applications in science and engineering. We
experimentally corroborate the advantages of SubGD on three distinct dynamical
systems problem settings, significantly outperforming popular few-shot learning
methods both in terms of sample efficiency and performance.
- Abstract（参考訳）: 本稿では,確率勾配降下更新が低次元パラメータ部分空間に居住する傾向にあるという最近の知見に基づく,新しい数ショット学習手法SubGDを紹介する。
実験および理論的解析では、適切な事前定義部分空間に限定されたモデルが、少数ショット学習をうまく一般化することを示す。
適当な部分空間は与えられたタスクの3つの基準を満たす。
(a)勾配流によるトレーニング誤差の低減を可能にする。
(b)よく一般化したモデルにつながり、
(c)は確率勾配降下によって同定できる。
SubGDはこれらの部分空間を、異なるタスク間で更新方向の自動相関行列の固有分解から特定する。
解析系記述の1つまたは少数のパラメータによって記述される様々な特性を持つ力学系の数ショット学習に適した低次元部分空間を同定することができる。
このようなシステムは、科学や工学における現実世界のアプリケーションの中で広く使われている。
我々は,3つの異なる動的システム問題設定におけるSubGDの利点を実験的に相関させ,サンプル効率と性能の両面において,人気のある数ショット学習法を著しく上回った。
関連論文リスト
- Learning Controlled Stochastic Differential Equations [61.82896036131116]
本研究では,非一様拡散を伴う連続多次元非線形微分方程式のドリフト係数と拡散係数の両方を推定する新しい手法を提案する。
我々は、(L2)、(Linfty)の有限サンプル境界や、係数の正則性に適応する学習率を持つリスクメトリクスを含む、強力な理論的保証を提供する。
当社のメソッドはオープンソースPythonライブラリとして利用可能です。
論文 参考訳（メタデータ） (2024-11-04T11:09:58Z) - Tasks Makyth Models: Machine Learning Assisted Surrogates for Tipping
Points [0.0]
本稿では,複雑なシステムの創発的挙動におけるヒント点を検出するための機械学習支援フレームワークを提案する。
我々は、異なるスケールで創発的ダイナミクスのための縮小次モデルを構築した。
異なるモデルの使用と、それらを学ぶための努力とは対照的です。
論文 参考訳（メタデータ） (2023-09-25T17:58:23Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - Understanding Incremental Learning of Gradient Descent: A Fine-grained
Analysis of Matrix Sensing [74.2952487120137]
GD(Gradient Descent)は、機械学習モデルにおいて、良い一般化に対する暗黙のバイアスをもたらすと考えられている。
本稿では,行列センシング問題に対するGDのダイナミクスを詳細に解析する。
論文 参考訳（メタデータ） (2023-01-27T02:30:51Z) - Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。
GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。
この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
論文 参考訳（メタデータ） (2022-06-08T21:32:50Z) - Generalised Latent Assimilation in Heterogeneous Reduced Spaces with
Machine Learning Surrogate Models [10.410970649045943]
我々は,低次サロゲートモデルと新しいデータ同化手法を組み合わせたシステムを開発した。
一般化された潜在同化は、低次モデリングによって提供される効率とデータ同化の精度の両方の恩恵を受けることができる。
論文 参考訳（メタデータ） (2022-04-07T15:13:12Z) - Linearization and Identification of Multiple-Attractors Dynamical System
through Laplacian Eigenmaps [8.161497377142584]
速度拡張カーネルを利用したグラフベースのスペクトルクラスタリング手法を提案し,同じダイナミックスに属するデータポイントを接続する。
部分力学が線型であり、n-次元埋め込みが準線型であるような2次元埋め込み空間が常に存在することを証明する。
我々は、ラプラシアン埋め込み空間から元の空間への微分同相性を学び、ラプラシアン埋め込みが良好な再構成精度とより高速な訓練時間をもたらすことを示す。
論文 参考訳（メタデータ） (2022-02-18T12:43:25Z) - Stochastic Gradient Descent-Ascent: Unified Theory and New Efficient
Methods [73.35353358543507]
SGDA(Gradient Descent-Ascent)は、min-max最適化と変分不等式問題(VIP)を解くための最も顕著なアルゴリズムの1つである。
本稿では,多種多様な降下指数法を網羅した統合収束解析を提案する。
本研究では,新しい分散化手法 (L-SVRGDA) や,新しい分散圧縮方式 (QSGDA, DIANA-SGDA, VR-DIANA-SGDA) ,座標ランダム化方式 (SEGA-SGDA) など,SGDAの新しい変種を開発した。
論文 参考訳（メタデータ） (2022-02-15T09:17:39Z) - Parsimony-Enhanced Sparse Bayesian Learning for Robust Discovery of
Partial Differential Equations [5.584060970507507]
Parsimony Enhanced Sparse Bayesian Learning (PeSBL) 法は非線形力学系の部分微分方程式 (PDE) を解析するために開発された。
数値ケーススタディの結果,多くの標準力学系のPDEをPeSBL法を用いて正確に同定できることが示唆された。
論文 参考訳（メタデータ） (2021-07-08T00:56:11Z) - Joint and Progressive Subspace Analysis (JPSA) with Spatial-Spectral
Manifold Alignment for Semi-Supervised Hyperspectral Dimensionality Reduction [48.73525876467408]
本稿では,超スペクトル部分空間解析のための新しい手法を提案する。
この手法はジョイント・アンド・プログレッシブ・サブスペース分析(JPSA)と呼ばれる。
2つの広帯域超スペクトルデータセットに対して提案したJPSAの優位性と有効性を示す実験を行った。
論文 参考訳（メタデータ） (2020-09-21T16:29:59Z) - Supervised Learning in the Presence of Concept Drift: A modelling
framework [5.22609266390809]
非定常環境における教師あり学習の研究のためのモデリングフレームワークを提案する。
学習システムの例として、分類のためのプロトタイプベースの学習ベクトル量子化(LVQ)と回帰タスクのための浅層ニューラルネットワークをモデル化する。
論文 参考訳（メタデータ） (2020-05-21T09:13:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。