論文の概要: Adaptive Meta-learner via Gradient Similarity for Few-shot Text Classification

• arxiv url: http://arxiv.org/abs/2209.04702v2
• Date: Fri, 28 Jul 2023 09:30:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-31 16:51:33.002392
• Title: Adaptive Meta-learner via Gradient Similarity for Few-shot Text Classification
• Title（参考訳）: グラデーション類似度を用いたマイトショットテキスト分類のための適応メタリーナー
• Authors: Tianyi Lei, Honghui Hu, Qiaoyang Luo, Dezhong Peng, Xu Wang
• Abstract要約: 本稿では, モデル一般化能力の向上を図るため, 適応型メタラーナをグラディエント類似性(AMGS)を介して提案する。 いくつかのベンチマークによる実験結果から,提案したAMGSは連続的にテキスト分類性能を向上することが示された。
• 参考スコア（独自算出の注目度）: 11.035878821365149
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot text classification aims to classify the text under the few-shot scenario. Most of the previous methods adopt optimization-based meta learning to obtain task distribution. However, due to the neglect of matching between the few amount of samples and complicated models, as well as the distinction between useful and useless task features, these methods suffer from the overfitting issue. To address this issue, we propose a novel Adaptive Meta-learner via Gradient Similarity (AMGS) method to improve the model generalization ability to a new task. Specifically, the proposed AMGS alleviates the overfitting based on two aspects: (i) acquiring the potential semantic representation of samples and improving model generalization through the self-supervised auxiliary task in the inner loop, (ii) leveraging the adaptive meta-learner via gradient similarity to add constraints on the gradient obtained by base-learner in the outer loop. Moreover, we make a systematic analysis of the influence of regularization on the entire framework. Experimental results on several benchmarks demonstrate that the proposed AMGS consistently improves few-shot text classification performance compared with the state-of-the-art optimization-based meta-learning approaches.
• Abstract（参考訳）: 少数ショットのテキスト分類は、少数ショットのシナリオでテキストを分類することを目的としている。 従来の手法の多くは、タスク分布を得るために最適化に基づくメタ学習を採用していた。 しかし、少数のサンプルと複雑なモデルとの整合性の欠如や、有用なタスク特徴と役に立たないタスク特徴の区別により、これらの手法は過度に適合する問題に悩まされる。 この問題に対処するため,新しいタスクへのモデル一般化能力を改善するために,Gradient similarity (AMGS) 法による適応メタラーナを提案する。 具体的には, 提案手法は, オーバーフィッティングを2つの側面から緩和する。 (i)内ループにおける自己教師付き補助タスクによるサンプルの潜在的意味表現の獲得とモデル一般化の改善 2) 適応型メタラーナーの勾配類似性を利用して, ベースラーナーが外ループで得られる勾配に制約を加える。 さらに,規則化がフレームワーク全体に与える影響を体系的に分析する。 いくつかのベンチマークによる実験結果から,提案したAMGSは,最先端の最適化に基づくメタラーニング手法と比較して,テキスト分類性能を一貫して向上することが示された。

関連論文リスト

• Meta-tuning Loss Functions and Data Augmentation for Few-shot Object Detection [7.262048441360132]
  少ないショットのオブジェクト検出は、少数ショットの学習とオブジェクト検出という領域において、新たなトピックである。 本稿では,数発検出を促進できる帰納的バイアスの学習を可能にする訓練手法を提案する。 提案手法は,高パラメトリックかつ複雑な数ショットメタモデルとは対照的に,解釈可能な損失関数を生成する。
  論文  参考訳（メタデータ） (2023-04-24T15:14:16Z)
• Adaptive Fine-Grained Predicates Learning for Scene Graph Generation [122.4588401267544]
  一般的なシーングラフ生成(SGG)モデルは、頭部の述語を予測する傾向があり、再バランス戦略は尾のカテゴリを好む。 本稿では,SGGの難解な述語を識別することを目的とした適応的微粒述語学習(FGPL-A)を提案する。 提案したモデル非依存戦略は,VG-SGGおよびGQA-SGGデータセットのベンチマークモデルの性能を最大175%,Mean Recall@100では76%向上させ,新たな最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-07-11T03:37:57Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate in Gradient Descent [20.47598828422897]
  第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。 本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
  論文  参考訳（メタデータ） (2021-04-12T13:13:34Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)
• Few-shot Classification via Adaptive Attention [93.06105498633492]
  ごく少数の参照サンプルに基づいて,クエリサンプル表現を最適化し,高速に適応する新しい数ショット学習手法を提案する。 実験で実証したように,提案モデルでは,様々なベンチマーク数ショット分類と微粒化認識データセットを用いて,最先端の分類結果を達成している。
  論文  参考訳（メタデータ） (2020-08-06T05:52:59Z)
• Boosting Few-Shot Learning With Adaptive Margin Loss [109.03665126222619]
  本稿では,数ショット学習問題に対するメートル法に基づくメタラーニング手法の一般化能力を改善するための適応的マージン原理を提案する。 大規模な実験により,提案手法は,現在のメートル法に基づくメタラーニング手法の性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2020-05-28T07:58:41Z)
• PAC-Bayes meta-learning with implicit task-specific posteriors [37.32107678838193]
  そこで本研究では,PAC-Bayesメタ学習アルゴリズムを提案する。 提案したメタ学習アルゴリズムを用いてトレーニングしたモデルは、精度よく校正されていることを示す。
  論文  参考訳（メタデータ） (2020-03-05T06:56:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。