論文の概要: FLAT: Few-Shot Learning via Autoencoding Transformation Regularizers

• arxiv url: http://arxiv.org/abs/1912.12674v1
• Date: Sun, 29 Dec 2019 15:26:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-17 07:56:08.400565
• Title: FLAT: Few-Shot Learning via Autoencoding Transformation Regularizers
• Title（参考訳）: FLAT: 自動エンコード変換正規化による数ショット学習
• Authors: Haohang Xu, Hongkai Xiong, Guojun Qi
• Abstract要約: 本稿では,データ例のラベルを使わずに,変換の分布によって引き起こされる特徴表現の変化を学習することで,新たな正規化機構を提案する。 エンコードされた特徴レベルで変換強化されたバリエーションを検査することで、ベースカテゴリへのオーバーフィットのリスクを最小限に抑えることができる。 実験結果から,文学における現在の最先端手法よりも優れた性能を示した。
• 参考スコア（独自算出の注目度）: 67.46036826589467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One of the most significant challenges facing a few-shot learning task is the generalizability of the (meta-)model from the base to the novel categories. Most of existing few-shot learning models attempt to address this challenge by either learning the meta-knowledge from multiple simulated tasks on the base categories, or resorting to data augmentation by applying various transformations to training examples. However, the supervised nature of model training in these approaches limits their ability of exploring variations across different categories, thus restricting their cross-category generalizability in modeling novel concepts. To this end, we present a novel regularization mechanism by learning the change of feature representations induced by a distribution of transformations without using the labels of data examples. We expect this regularizer could expand the semantic space of base categories to cover that of novel categories through the transformation of feature representations. It could minimize the risk of overfitting into base categories by inspecting the transformation-augmented variations at the encoded feature level. This results in the proposed FLAT (Few-shot Learning via Autoencoding Transformations) approach by autoencoding the applied transformations. The experiment results show the superior performances to the current state-of-the-art methods in literature.
• Abstract（参考訳）: 少数の学習タスクに直面する最も重要な課題の1つは、ベースから新しいカテゴリへの(メタ)モデルの一般化である。 既存の少数ショット学習モデルのほとんどは、ベースカテゴリで複数のシミュレーションタスクからメタ知識を学ぶか、トレーニング例にさまざまな変換を適用してデータ拡張に頼ることで、この課題に対処しようとしている。 しかしながら、これらのアプローチにおけるモデルトレーニングの監督された性質は、異なるカテゴリにまたがるバリエーションを探索する能力を制限するため、新しい概念のモデリングにおけるカテゴリー間の一般化可能性を制限する。 そこで本研究では,データ例のラベルを用いずに変換の分布によって引き起こされる特徴表現の変化を学習し,新しい正規化機構を提案する。 この正規化器は、特徴表現の変換を通じて、新しいカテゴリのセマンティックな空間をカバーできることを期待している。 エンコードされた特徴レベルで変換強化されたバリエーションを検査することで、ベースカテゴリへのオーバーフィットのリスクを最小限に抑えることができる。 これにより、適用された変換を自動エンコードすることで、FLAT(Few-shot Learning via Autoencoding Transformations)アプローチが提案される。 実験の結果,文学における現状の手法よりも優れた性能を示した。

関連論文リスト

• CLIP with Generative Latent Replay: a Strong Baseline for Incremental Learning [17.614980614656407]
  インクリメンタル・プロンプト学習のための連続的生成学習を提案する。 変分オートエンコーダを用いてクラス条件分布を学習する。 このような生成的リプレイアプローチは、ゼロショット機能を改善しつつ、新しいタスクに適応できることを示す。
  論文  参考訳（メタデータ） (2024-07-22T16:51:28Z)
• Uncovering mesa-optimization algorithms in Transformers [61.06055590704677]
  いくつかの自己回帰モデルは、入力シーケンスが処理されたときに学習でき、パラメータの変更を受けずに、それを行うように明示的に訓練されていない。 我々は,新しい入力が明らかになったときにモデルを調整するための補助学習アルゴリズムが,標準の次トーケン予測誤差最小化によって生まれることを示す。 本研究は、自己回帰損失最小化の産物としてコンテキスト内学習を説明し、新しい最適化ベースのトランスフォーマー層の設計を通知する。
  論文  参考訳（メタデータ） (2023-09-11T22:42:50Z)
• Adaptive Meta-learner via Gradient Similarity for Few-shot Text Classification [11.035878821365149]
  本稿では, モデル一般化能力の向上を図るため, 適応型メタラーナをグラディエント類似性(AMGS)を介して提案する。 いくつかのベンチマークによる実験結果から,提案したAMGSは連続的にテキスト分類性能を向上することが示された。
  論文  参考訳（メタデータ） (2022-09-10T16:14:53Z)
• Adaptive Fine-Grained Sketch-Based Image Retrieval [100.90633284767205]
  最近のファイングレード・スケッチに基づく画像検索は、モデルから新しいカテゴリへの一般化へとシフトしている。 実世界のアプリケーションでは、トレーニングされたFG-SBIRモデルは、新しいカテゴリと異なる人間のスケッチラーの両方に適用されることが多い。 モデルに依存しないメタラーニング(MAML)に基づく新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-04T21:07:20Z)
• Demystifying the Base and Novel Performances for Few-shot Class-incremental Learning [15.762281194023462]
  FSCIL(Few-shot class-incremental Learning)は、目に見えない新しいクラスがほとんどサンプルを持って絶えずやってくる現実のシナリオに対処している。 先行知識を忘れずに新しいクラスを認識するモデルを開発する必要がある。 本手法は,高度な最先端アルゴリズムと同等の性能を有することを示す。
  論文  参考訳（メタデータ） (2022-06-18T00:39:47Z)
• Entropy optimized semi-supervised decomposed vector-quantized variational autoencoder model based on transfer learning for multiclass text classification and generation [3.9318191265352196]
  多クラステキスト分類とテキスト生成のための半教師付き離散潜在変数モデルを提案する。 提案モデルは,量子化変圧器モデルの学習に伝達学習の概念を用いる。 実験結果から,提案モデルが最先端モデルを大幅に上回ったことが示唆された。
  論文  参考訳（メタデータ） (2021-11-10T07:07:54Z)
• Semantic Correspondence with Transformers [68.37049687360705]
  本稿では,変換器を用いたコストアグリゲーション(CAT)を提案し,意味論的に類似した画像間の密接な対応を見出す。 初期相関マップと多レベルアグリゲーションを曖昧にするための外観親和性モデリングを含む。 提案手法の有効性を示す実験を行い,広範囲にわたるアブレーション研究を行った。
  論文  参考訳（メタデータ） (2021-06-04T14:39:03Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• Few-shot Classification via Adaptive Attention [93.06105498633492]
  ごく少数の参照サンプルに基づいて,クエリサンプル表現を最適化し,高速に適応する新しい数ショット学習手法を提案する。 実験で実証したように,提案モデルでは,様々なベンチマーク数ショット分類と微粒化認識データセットを用いて,最先端の分類結果を達成している。
  論文  参考訳（メタデータ） (2020-08-06T05:52:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。