Fugu-MT 論文翻訳(概要): BagBERT: BERT-based bagging-stacking for multi-topic classification

論文の概要: BagBERT: BERT-based bagging-stacking for multi-topic classification

arxiv url: http://arxiv.org/abs/2111.05808v1
Date: Wed, 10 Nov 2021 17:00:36 GMT
ステータス: 処理完了
システム内更新日: 2021-11-11 14:05:34.347218
Title: BagBERT: BERT-based bagging-stacking for multi-topic classification
Title（参考訳）: BagBERT:マルチトピック分類のためのBERTベースのバッグスタッキング
Authors: Lo\"ic Rakotoson, Charles Letaillieur, Sylvain Massip and Fr\'ejus Laleye
Abstract要約: 本稿では,グローバルな非最適重みの知識を利用して,各ラベルの豊かな表現を構築するアプローチを提案する。これらの弱い洞察の集約は、古典的なグローバルな効率の良いモデルよりも優れている。本システムは92.96のインスタンスベースのF1と91.35のラベルベースのマイクロF1を得る。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper describes our submission on the COVID-19 literature annotation task at Biocreative VII. We proposed an approach that exploits the knowledge of the globally non-optimal weights, usually rejected, to build a rich representation of each label. Our proposed approach consists of two stages: (1) A bagging of various initializations of the training data that features weakly trained weights, (2) A stacking of heterogeneous vocabulary models based on BERT and RoBERTa Embeddings. The aggregation of these weak insights performs better than a classical globally efficient model. The purpose is the distillation of the richness of knowledge to a simpler and lighter model. Our system obtains an Instance-based F1 of 92.96 and a Label-based micro-F1 of 91.35.
Abstract（参考訳）: 本稿では,Biocreative VIIにおけるCOVID-19文献アノテーションタスクについて述べる。我々は,グローバルな非最適重みの知識を利用して,各ラベルの豊かな表現を構築するアプローチを提案した。提案手法は,(1)弱訓練重みを特徴とするトレーニングデータの様々な初期化の詰め込み,(2)bert と roberta 組込みに基づく異種語彙モデルの積み重ね,の2段階からなる。これらの弱い洞察の集約は、古典的なグローバル効率のモデルよりも優れている。目的は、知識の豊かさをよりシンプルで軽いモデルに蒸留することである。本システムは92.96のインスタンスベースのF1と91.35のラベルベースのマイクロF1を得る。

関連論文リスト

High-Performance Few-Shot Segmentation with Foundation Models: An Empirical Study [64.06777376676513]
基礎モデルに基づく数ショットセグメンテーション(FSS)フレームワークを開発した。具体的には、基礎モデルから暗黙的な知識を抽出し、粗い対応を構築するための簡単なアプローチを提案する。 2つの広く使われているデータセットの実験は、我々のアプローチの有効性を実証している。
論文参考訳（メタデータ） (2024-09-10T08:04:11Z)
Multi-objective Representation for Numbers in Clinical Narratives Using CamemBERT-bio [0.9208007322096533]
本研究の目的は,医学文献から抽出した数値を7つの生理カテゴリーに分類することである。キーワード埋め込みをモデルに統合し、数に依存しない戦略を採用する、という2つの主要なイノベーションを紹介します。従来のF1スコア0.89を上回り,CamemBERT-bioの有効性を著しく改善した。
論文参考訳（メタデータ） (2024-05-28T01:15:21Z)
Learning under Label Proportions for Text Classification [13.29710879730948]
我々は、LLP(Learning from Proportions)の挑戦的なセットアップの下で、予備的なNLP作品の1つを提示する。データは、バッグと呼ばれる集約形式で提供され、各クラス内のサンプルの割合のみが基礎となる真理である。
論文参考訳（メタデータ） (2023-10-18T04:39:25Z)
Generative Calibration for In-context Learning [20.207930451266822]
本稿では,このようなパラドックスが主にコンテキスト内モデルからデータ分布へのラベルシフトによるものであることを示す。この理解により、ラベルの辺りを調整してコンテキスト内予測分布を調整できる。我々は,本手法を生成的キャリブレーション(generative calibration)と呼び,12のテキスト分類タスクと12のLLMを774Mから33Bに拡張した徹底的な実験を行った。
論文参考訳（メタデータ） (2023-10-16T10:45:02Z)
Balancing Efficiency vs. Effectiveness and Providing Missing Label Robustness in Multi-Label Stream Classification [3.97048491084787]
ニューラルネットワークを用いた高次元多ラベル分類手法を提案する。本モデルは,非定常環境に適した選択的なドリフト適応機構を用いる。我々は,単純で効果的な計算手法を用いて,ラベルを欠いた環境に適応する。
論文参考訳（メタデータ） (2023-10-01T13:23:37Z)
Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文参考訳（メタデータ） (2023-05-23T12:05:09Z)
Bag of Tricks for Effective Language Model Pretraining and Downstream Adaptation: A Case Study on GLUE [93.98660272309974]
このレポートでは、ジェネラル言語理解評価のリーダーボードに関するVega v1を簡潔に紹介します。 GLUEは、質問応答、言語受容性、感情分析、テキスト類似性、パラフレーズ検出、自然言語推論を含む9つの自然言語理解タスクのコレクションである。最適化された事前学習と微調整の戦略により、13億のモデルは4/9タスクに新しい最先端のタスクを設定し、91.3の平均スコアを達成しました。
論文参考訳（メタデータ） (2023-02-18T09:26:35Z)
Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
論文参考訳（メタデータ） (2021-10-04T08:51:36Z)
Improving Label Quality by Jointly Modeling Items and Annotators [68.8204255655161]
雑音アノテータから基底真理ラベルを学習するための完全ベイズ的枠組みを提案する。我々のフレームワークは、ラベル分布上の生成的ベイズソフトクラスタリングモデルを古典的なDavidとSkeneのジョイントアノテータデータモデルに分解することでスケーラビリティを保証する。
論文参考訳（メタデータ） (2021-06-20T02:15:20Z)
UIUC_BioNLP at SemEval-2021 Task 11: A Cascade of Neural Models for Structuring Scholarly NLP Contributions [1.5942130010323128]
本稿では,文分類,文認識,三重抽出を行うニューラルネットワークのカスケードを提案する。 BERT-CRFモデルを用いて、コントリビューション文中の関連するフレーズを認識し、特徴付ける。本システムは第1相評価では第2位,第2相評価では両部で第1位であった。
論文参考訳（メタデータ） (2021-05-12T05:24:35Z)
Students Need More Attention: BERT-based AttentionModel for Small Data with Application to AutomaticPatient Message Triage [65.7062363323781]
BioBERT (Bidirectional Representations from Transformers for Biomedical Text Mining) に基づく新しいフレームワークを提案する。 LESA-BERTと呼ぶBERTの各層にラベル埋め込みを導入し、(ii)LESA-BERTを小さな変種に蒸留することにより、小さなデータセットで作業する際のオーバーフィッティングとモデルサイズを低減することを目指す。アプリケーションとして,本フレームワークを用いて,患者ポータルメッセージトリアージのモデルを構築し,メッセージの緊急度を非緊急度,中度度,緊急度という3つのカテゴリに分類する。
論文参考訳（メタデータ） (2020-06-22T03:39:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。