論文の概要: A Hybrid Model for Few-Shot Text Classification Using Transfer and Meta-Learning

• arxiv url: http://arxiv.org/abs/2502.09086v1
• Date: Thu, 13 Feb 2025 09:00:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:48:54.811690
• Title: A Hybrid Model for Few-Shot Text Classification Using Transfer and Meta-Learning
• Title（参考訳）: トランスファーとメタラーニングを用いたFew-Shotテキスト分類のハイブリッドモデル
• Authors: Jia Gao, Shuangquan Lyu, Guiran Liu, Binrong Zhu, Hongye Zheng, Xiaoxuan Liao,
• Abstract要約: 本稿では,移動学習とメタ学習に基づく数ショットのテキスト分類モデルを提案する。 サンプルやメディアサンプルの少ない条件下では、トランスファーラーニングとメタラーニングに基づくモデルは、従来の機械学習やディープラーニングよりも大幅に優れている。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: With the continuous development of natural language processing (NLP) technology, text classification tasks have been widely used in multiple application fields. However, obtaining labeled data is often expensive and difficult, especially in few-shot learning scenarios. To solve this problem, this paper proposes a few-shot text classification model based on transfer learning and meta-learning. The model uses the knowledge of the pre-trained model for transfer and optimizes the model's rapid adaptability in few-sample tasks through a meta-learning mechanism. Through a series of comparative experiments and ablation experiments, we verified the effectiveness of the proposed method. The experimental results show that under the conditions of few samples and medium samples, the model based on transfer learning and meta-learning significantly outperforms traditional machine learning and deep learning methods. In addition, ablation experiments further analyzed the contribution of each component to the model performance and confirmed the key role of transfer learning and meta-learning in improving model accuracy. Finally, this paper discusses future research directions and looks forward to the potential of this method in practical applications.
• Abstract（参考訳）: 自然言語処理(NLP)技術の継続的な発展により、テキスト分類タスクは複数のアプリケーション分野で広く使われている。 しかし、ラベル付きデータを取得することは、特に数ショットの学習シナリオにおいて、高価で難しい場合が多い。 そこで本研究では,移動学習とメタ学習に基づく数発のテキスト分類モデルを提案する。 このモデルは、事前訓練されたモデルの知識を伝達に利用し、メタ学習機構を通じて、少数のサンプルタスクにおけるモデルの迅速な適応性を最適化する。 比較実験とアブレーション実験を通じて,提案手法の有効性を検証した。 実験結果から, サンプルや媒体の少ない条件下では, 移動学習とメタ学習に基づくモデルは従来の機械学習や深層学習よりも有意に優れていた。 さらに、アブレーション実験により、各コンポーネントのモデル性能への寄与をさらに分析し、モデル精度を向上させる上でのトランスファーラーニングとメタラーニングの鍵となる役割を確認した。 最後に,本研究の今後の方向性について考察し,本手法の実用化の可能性に期待する。

関連論文リスト

• READ: Reinforcement-based Adversarial Learning for Text Classification with Limited Labeled Data [7.152603583363887]
  BERTのような事前訓練されたトランスフォーマーモデルは、多くのテキスト分類タスクで大幅に向上している。 本稿では,強化学習に基づくテキスト生成と半教師付き対角学習アプローチをカプセル化する手法を提案する。 提案手法であるREADは、ラベルのないデータセットを用いて、強化学習を通じて多様な合成テキストを生成する。
  論文  参考訳（メタデータ） (2025-01-14T11:39:55Z)
• Analyzing Persuasive Strategies in Meme Texts: A Fusion of Language Models with Paraphrase Enrichment [0.23020018305241333]
  本稿では,ミームテキストにおける説得手法の階層的マルチラベル検出へのアプローチについて述べる。 本研究の範囲は、革新的なトレーニング技術とデータ強化戦略を通じて、モデルパフォーマンスの向上を含む。
  論文  参考訳（メタデータ） (2024-07-01T20:25:20Z)
• PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [65.57123249246358]
  本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。 一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。 一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
  論文  参考訳（メタデータ） (2023-09-13T17:55:11Z)
• A Meta-Learning Approach to Population-Based Modelling of Structures [0.0]
  構造力学における機械学習アプローチの大きな問題は、構造データの頻繁な欠如である。 この研究は、人口ベースの構造的健康モニタリングの分野に着想を得て、人口内で知識を伝達できるモデルを作成しようとしている。 メタラーニングアプローチを用いて訓練されたモデルは、人口構造に関する推論に関する従来の機械学習手法より優れている。
  論文  参考訳（メタデータ） (2023-02-15T23:01:59Z)
• The Effect of Diversity in Meta-Learning [79.56118674435844]
  少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。 近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。 タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
  論文  参考訳（メタデータ） (2022-01-27T19:39:07Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates [52.164757178369804]
  自然言語処理のためのトランスファーラーニングとアクティブラーニングの最近の進歩は、必要なアノテーション予算を大幅に削減する可能性を開く。 我々は,様々なベイズ不確実性推定手法とモンテカルロドロップアウトオプションの実験的研究を,アクティブ学習フレームワークで実施する。 また, 能動学習中にインスタンスを取得するためには, 完全サイズのトランスフォーマーを蒸留版に置き換えることにより, 計算性能が向上することを示した。
  論文  参考訳（メタデータ） (2021-01-20T13:59:25Z)
• Experimental Design for Overparameterized Learning with Application to Single Shot Deep Active Learning [5.141687309207561]
  現代の機械学習モデルは、大量のラベル付きデータに基づいて訓練されている。 大量のラベル付きデータへのアクセスは、しばしば制限またはコストがかかる。 トレーニングセットをキュレートするための新しい設計戦略を提案する。
  論文  参考訳（メタデータ） (2020-09-27T11:27:49Z)
• Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources [78.72922528736011]
  そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。 ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。 BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
  論文  参考訳（メタデータ） (2020-07-17T01:52:34Z)
• Domain Knowledge Integration By Gradient Matching For Sample-Efficient Reinforcement Learning [0.0]
  本研究では,モデルフリー学習者を支援するために,ダイナミックスからの目標勾配情報を活用することで,サンプル効率を向上させる勾配マッチングアルゴリズムを提案する。 本稿では,モデルに基づく学習者からの勾配情報と,抽象的な低次元空間におけるモデル自由成分とをマッチングする手法を提案する。
  論文  参考訳（メタデータ） (2020-05-28T05:02:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。