論文の概要: Discriminative and Generative Transformer-based Models For Situation Entity Classification

• arxiv url: http://arxiv.org/abs/2109.07434v1
• Date: Wed, 15 Sep 2021 17:07:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-16 15:19:28.195110
• Title: Discriminative and Generative Transformer-based Models For Situation Entity Classification
• Title（参考訳）: 状況エンティティ分類のための判別および生成トランスベースモデル
• Authors: Mehdi Rezaee, Kasra Darvish, Gaoussou Youssouf Kebe, Francis Ferraro
• Abstract要約: 我々は、状況エンティティ(SE)分類タスクを、利用可能なトレーニングデータの量に応じて再検討する。 変換器を用いた変分オートエンコーダを用いて文を低次元の潜在空間に符号化する。
• 参考スコア（独自算出の注目度）: 8.029049649310211
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We re-examine the situation entity (SE) classification task with varying amounts of available training data. We exploit a Transformer-based variational autoencoder to encode sentences into a lower dimensional latent space, which is used to generate the text and learn a SE classifier. Test set and cross-genre evaluations show that when training data is plentiful, the proposed model can improve over the previous discriminative state-of-the-art models. Our approach performs disproportionately better with smaller amounts of training data, but when faced with extremely small sets (4 instances per label), generative RNN methods outperform transformers. Our work provides guidance for future efforts on SE and semantic prediction tasks, and low-label training regimes.
• Abstract（参考訳）: 利用可能なトレーニングデータ量に応じて状況エンティティ(se)分類タスクを再検討する。 本研究では,Transformerベースの変分オートエンコーダを用いて文を低次元の潜在空間に符号化し,テキストを生成してSE分類器を学習する。 テストセットとクロスジェネア評価は、トレーニングデータが豊富である場合、提案モデルが従来の差別的最先端モデルよりも改善可能であることを示している。 しかし,ラベルごとに4インスタンス) の非常に小さなセットに直面した場合, 生成RNN法はトランスフォーマよりも優れていた。 本研究は,SEとセマンティック予測タスク,低ラベルトレーニング体制に関する今後の取り組みに関するガイダンスを提供する。

関連論文リスト

• Practical token pruning for foundation models in few-shot conversational virtual assistant systems [6.986560111427867]
  コントラスト学習目標を持つ変圧器に基づく文埋め込みモデルを事前学習し、学習意図分類モデルの特徴としてモデルの埋め込みを利用する。 提案手法は,数ショットのシナリオに対して最先端の結果を達成し,一般的な意図分類ベンチマークにおいて,他の商用ソリューションよりも優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-08-21T17:42:17Z)
• Meta-learning Pathologies from Radiology Reports using Variance Aware Prototypical Networks [3.464871689508835]
  本稿では,数ショットのテキスト分類のためのプロトタイプネットワークの簡易拡張を提案する。 我々の主な考えは、クラスプロトタイプをガウスに置き換え、サンプルを適切なクラスセントロイドの近くでクラスタ化することを奨励する正規化項を導入することである。
  論文  参考訳（メタデータ） (2022-10-22T05:22:29Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Few-shot learning through contextual data augmentation [74.20290390065475]
  機械翻訳モデルは、時間とともに性能を維持するために新しいデータに適応する必要がある。 一つの例から5つの例への適応が可能であることを示す。 本モデルでは,平均313個の並列例でトレーニングした基準システムよりも精度がよいことを示す。
  論文  参考訳（メタデータ） (2021-03-31T09:05:43Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks [88.62288327934499]
  線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。 本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2020-11-03T07:49:15Z)
• Few Is Enough: Task-Augmented Active Meta-Learning for Brain Cell Classification [8.998976678920236]
  本稿では,Deep Neural Networks を新しいタスクに効率的に適応する tAsk-auGmented actIve meta-LEarning (AGILE) 手法を提案する。 AGILEはメタ学習アルゴリズムと,初期適応モデルを生成するための新しいタスク拡張手法を組み合わせる。 提案するタスク強化メタラーニングフレームワークは,1段階の段階を経て,新たな細胞タイプを分類することができることを示す。
  論文  参考訳（メタデータ） (2020-07-09T18:03:12Z)
• T-VSE: Transformer-Based Visual Semantic Embedding [5.317624228510748]
  トランスフォーマーをベースとしたクロスモーダル埋め込みは,電子商取引製品イメージタイトルペアの大規模なデータセットでトレーニングした場合,ワード平均やRNNベースの埋め込みをはるかに上回ることを示す。
  論文  参考訳（メタデータ） (2020-05-17T23:40:33Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)
• Gradient-Based Adversarial Training on Transformer Networks for Detecting Check-Worthy Factual Claims [3.7543966923106438]
  本稿では,最初の逆正則変換型クレームスポッタモデルを提案する。 現在の最先端モデルよりもF1スコアが4.70ポイント向上した。 本稿では,変換器モデルに逆学習を適用する手法を提案する。
  論文  参考訳（メタデータ） (2020-02-18T16:51:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。