論文の概要: Margin-Based Transfer Bounds for Meta Learning with Deep Feature Embedding

• arxiv url: http://arxiv.org/abs/2012.01602v1
• Date: Wed, 2 Dec 2020 23:50:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-29 21:55:24.113279
• Title: Margin-Based Transfer Bounds for Meta Learning with Deep Feature Embedding
• Title（参考訳）: 深い特徴埋め込みを用いたメタ学習のためのマージンベース転送境界
• Authors: Jiechao Guan, Zhiwu Lu, Tao Xiang, Timothy Hospedales
• Abstract要約: 我々は、マージン理論と統計学習理論を活用し、メタラーニングに基づくマルチクラス分類(MLMC)のための3つのマージンベース転送境界を確立する。 これらの境界は、与えられた将来のタスクに対する分類アルゴリズムの予測誤差を、前のタスクの有限個の平均的な経験誤差で推定できることを示している。 3つのベンチマークの実験は、これらのマージンベースのモデルが依然として競争力のある性能を達成していることを示している。
• 参考スコア（独自算出の注目度）: 67.09827634481712
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: By transferring knowledge learned from seen/previous tasks, meta learning aims to generalize well to unseen/future tasks. Existing meta-learning approaches have shown promising empirical performance on various multiclass classification problems, but few provide theoretical analysis on the classifiers' generalization ability on future tasks. In this paper, under the assumption that all classification tasks are sampled from the same meta-distribution, we leverage margin theory and statistical learning theory to establish three margin-based transfer bounds for meta-learning based multiclass classification (MLMC). These bounds reveal that the expected error of a given classification algorithm for a future task can be estimated with the average empirical error on a finite number of previous tasks, uniformly over a class of preprocessing feature maps/deep neural networks (i.e. deep feature embeddings). To validate these bounds, instead of the commonly-used cross-entropy loss, a multi-margin loss is employed to train a number of representative MLMC models. Experiments on three benchmarks show that these margin-based models still achieve competitive performance, validating the practical value of our margin-based theoretical analysis.
• Abstract（参考訳）: 目に見える/過去のタスクから学んだ知識を伝達することで、メタラーニングは目に見えない/未来的なタスクにうまく一般化することを目指している。 既存のメタラーニングアプローチは、様々な多クラス分類問題において有望な経験的性能を示すが、将来のタスクにおける分類器の一般化能力に関する理論的分析は少ない。 本稿では、全ての分類タスクが同じメタ分布からサンプリングされるという仮定の下で、マージン理論と統計的学習理論を活用し、メタラーニングに基づくマルチクラス分類(MLMC)のための3つのマージンベースの転送境界を確立する。 これらの境界は、将来のタスクに対する所定の分類アルゴリズムの予測誤差を、前処理のフィーチャマップ/ディープニューラルネットワークのクラス(すなわち、一様)上の有限個のタスクにおける平均的な経験誤差で推定できることを示している。 深い特徴の埋め込み) これらの境界を検証するために、一般的に使用されるクロスエントロピー損失の代わりに、複数の代表MLMCモデルをトレーニングするためにマルチマージン損失を用いる。 3つのベンチマーク実験により、これらのマージンベースモデルは依然として競争性能を達成し、マージンベース理論解析の実用的価値を検証した。

関連論文リスト

• Understanding Transfer Learning and Gradient-Based Meta-Learning Techniques [5.2997197698288945]
  我々は、ファイン、MAML、およびReptileと呼ばれる別のメタラーニング手法の性能差について検討する。 以上の結果から,MAMLの特殊化を促進する上では,データ不足による出力層とノイズの多い訓練条件の両方が重要な役割を担っていることが示唆された。 これらの特徴は,MAML や Reptile が学習した特徴よりも多様で差別的であることを示す。
  論文  参考訳（メタデータ） (2023-10-09T20:51:49Z)
• On Interpretable Approaches to Cluster, Classify and Represent Multi-Subspace Data via Minimum Lossy Coding Length based on Rate-Distortion Theory [0.0]
  クラスタリング、分類、表現は、本質的な構造を持つ高次元データから学習する3つの基本的な目的である。 本稿では,3つの解釈可能なアプローチ,すなわち,最小ロッシー符号化長基準によるセグメンテーション(クラスタリング),最小インクリメンタル符号化長基準による分類,最大符号化レート削減基準による表現を紹介する。
  論文  参考訳（メタデータ） (2023-02-21T01:15:08Z)
• Synergies between Disentanglement and Sparsity: Generalization and Identifiability in Multi-Task Learning [79.83792914684985]
  我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。 この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-26T21:02:09Z)
• Provable Generalization of Overparameterized Meta-learning Trained with SGD [62.892930625034374]
  我々は、広く使われているメタラーニング手法、モデル非依存メタラーニング(MAML)の一般化について研究する。 我々は、MAMLの過大なリスクに対して、上界と下界の両方を提供し、SGDダイナミクスがこれらの一般化境界にどのように影響するかをキャプチャする。 理論的知見は実験によってさらに検証される。
  論文  参考訳（メタデータ） (2022-06-18T07:22:57Z)
• Benign Overfitting in Multiclass Classification: All Roads Lead to Interpolation [39.02017410837255]
  多クラス線形分類における良性オーバーフィッティングについて検討する。 分離可能なデータに対する以下のトレーニングアルゴリズムを検討する。 MNI分類器の精度に基づいた新しい境界を導出する。
  論文  参考訳（メタデータ） (2021-06-21T05:34:36Z)
• Revisiting Unsupervised Meta-Learning: Amplifying or Compensating for the Characteristics of Few-Shot Tasks [30.893785366366078]
  我々は,限られたデータを用いて視覚認識システムを構築する,少数ショット画像分類への実践的アプローチを開発した。 基本クラスセットラベルは不要であり、識別的埋め込みは教師なしの方法でメタ学習される可能性がある。 数ショットの学習ベンチマークの実験では、従来の手法よりも4～10%のパフォーマンス差で、アプローチが優れていることが確認された。
  論文  参考訳（メタデータ） (2020-11-30T10:08:35Z)
• Theoretical Insights Into Multiclass Classification: A High-dimensional Asymptotic View [82.80085730891126]
  線形多クラス分類の最初の現代的精度解析を行う。 分析の結果,分類精度は分布に依存していることがわかった。 得られた洞察は、他の分類アルゴリズムの正確な理解の道を開くかもしれない。
  論文  参考訳（メタデータ） (2020-11-16T05:17:29Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)
• Rethinking Class-Balanced Methods for Long-Tailed Visual Recognition from a Domain Adaptation Perspective [98.70226503904402]
  現実世界のオブジェクトの周波数は、しばしば電力法則に従い、長い尾のクラス分布を持つデータセット間のミスマッチを引き起こす。 メタラーニング手法を用いて,クラス条件分布の違いを明示的に推定し,古典的なクラスバランス学習を強化することを提案する。
  論文  参考訳（メタデータ） (2020-03-24T11:28:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。