Fugu-MT 論文翻訳(概要): AILAB-Udine@SMM4H 22: Limits of Transformers and BERT Ensembles

論文の概要: AILAB-Udine@SMM4H 22: Limits of Transformers and BERT Ensembles

arxiv url: http://arxiv.org/abs/2209.03452v1
Date: Wed, 7 Sep 2022 20:17:15 GMT
ステータス: 処理完了
システム内更新日: 2022-09-09 12:38:27.484840
Title: AILAB-Udine@SMM4H 22: Limits of Transformers and BERT Ensembles
Title（参考訳）: AILAB-Udine@SMM4H 22: トランスフォーマーとBERTアンサンブルの制限
Authors: Beatrice Portelli, Simone Scaboro, Emmanuele Chersoni, Enrico Santus, Giuseppe Serra
Abstract要約: 本稿では, AILAB-Udine チームが開発した SMM4H 22 Shared Task のモデルについて述べる。テキスト分類,エンティティ抽出,エンティティ正規化に基づくトランスフォーマーモデルの適用限界について検討した。
参考スコア（独自算出の注目度）: 7.052238842788185
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper describes the models developed by the AILAB-Udine team for the SMM4H 22 Shared Task. We explored the limits of Transformer based models on text classification, entity extraction and entity normalization, tackling Tasks 1, 2, 5, 6 and 10. The main take-aways we got from participating in different tasks are: the overwhelming positive effects of combining different architectures when using ensemble learning, and the great potential of generative models for term normalization.
Abstract（参考訳）: 本稿では, AILAB-Udine チームが開発した SMM4H 22 Shared Task のモデルについて述べる。テキスト分類,エンティティ抽出,エンティティ正規化,タスク1, 2, 5, 6, 10 の対応に基づく Transformer ベースモデルの限界について検討した。異なるタスクに参加することで得られた主なポイントは、アンサンブル学習を使用する際に異なるアーキテクチャを組み合わせることによる圧倒的なポジティブな効果と、項正規化のための生成モデルの大きな可能性である。

関連論文リスト

MoEUT: Mixture-of-Experts Universal Transformers [75.96744719516813]
ユニバーサルトランスフォーマー(UT)は、合成一般化の学習において標準トランスフォーマーよりも有利である。層共有は、同じ次元を持つ非共有モデルと比較してパラメータ数を大幅に削減する。従来の作業では、言語モデリングのようなパラメータ数の支配的なタスクと競合する共有層トランスフォーマー設計の提案に成功しなかった。
論文参考訳（メタデータ） (2024-05-25T03:24:32Z)
SemEval-2024 Shared Task 6: SHROOM, a Shared-task on Hallucinations and Related Observable Overgeneration Mistakes [48.83290963506378]
本稿では,幻覚検出に焦点をあてた共有タスクであるSHROOMの結果について述べる。このアプローチをどのように取り組んだかについて、いくつかの重要なトレンドを観察します。チームの大多数が提案したベースラインシステムより優れていますが、トップスコアシステムのパフォーマンスは依然として、より困難なアイテムのランダムなハンドリングと一致しています。
論文参考訳（メタデータ） (2024-03-12T15:06:22Z)
Mod-Squad: Designing Mixture of Experts As Modular Multi-Task Learners [74.92558307689265]
専門家グループ("スクワッド")にモジュール化された新しいモデルであるMod-Squadを提案する。単一モデルのトレーニング中に、このマッチングプロセスを最適化する。 13の視覚タスクを持つタスクノミーデータセットと、5つの視覚タスクを持つPASCAL-Contextデータセットの実験は、我々のアプローチの優位性を示している。
論文参考訳（メタデータ） (2022-12-15T18:59:52Z)
Uni-Perceiver-MoE: Learning Sparse Generalist Models with Conditional MoEs [63.936622239286685]
異なるタスクとモダリティ間の干渉が、この現象の主要な要因であることがわかった。一般モデルに条件混合(Conditional Mixture-of-Experts)を導入する。コード及び事前訓練されたジェネリストモデルは、解放される。
論文参考訳（メタデータ） (2022-06-09T17:59:59Z)
SFE-AI at SemEval-2022 Task 11: Low-Resource Named Entity Recognition using Large Pre-trained Language Models [14.94542859759424]
本稿では,SemEval 2022 task11: MultiCoNERのNERシステムについて述べる。異なる入力に対して各モデルに異なる重みを割り当てることで、多種多様なモデルの利点を効果的に統合するためにトランスフォーマー層を採用した。実験結果から,本手法はFarsiとオランダで優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2022-05-29T13:40:14Z)
Ensemble Transformer for Efficient and Accurate Ranking Tasks: an Application to Question Answering Systems [99.13795374152997]
本研究では,大きな変圧器のアンサンブルを1つの小さなモデルに蒸留するニューラルネットワークを提案する。 MHSモデルは、入力をエンコードするために使用されるトランスフォーマー層のスタックと、ランキングヘッドのセットの2つのコンポーネントから構成される。従来の蒸留法とは異なり,本手法では,アンサンブルメンバーの多様性を保ちつつ,個々のモデルを教師として利用している。
論文参考訳（メタデータ） (2022-01-15T06:21:01Z)
OCHADAI-KYODAI at SemEval-2021 Task 1: Enhancing Model Generalization and Robustness for Lexical Complexity Prediction [8.066349353140819]
単語とマルチワード表現の語彙的複雑性を予測するアンサンブルモデルを提案する。モデルは、目的語またはMWEandの文を入力として受信し、その複雑性スコアを出力する。本モデルは,両サブタスクの上位10システムにランクインした。
論文参考訳（メタデータ） (2021-05-12T09:27:46Z)
Long-Span Dependencies in Transformer-based Summarization Systems [38.672160430296536]
トランスフォーマティブベースのモデルは、文書要約を含む幅広い自然言語処理(nlp)タスクで最先端の結果を達成している。これらのトランスベースのモデルの1つの問題は、入力長が増加するにつれてメモリと計算要件の点でうまくスケールしないことである。本研究では,事前学習された大規模トランスフォーマーモデルを用いて,抽象的要約における長大な依存関係に対処する。
論文参考訳（メタデータ） (2021-05-08T23:53:03Z)
UPDeT: Universal Multi-agent Reinforcement Learning via Policy Decoupling with Transformers [108.92194081987967]
タスクに適合する1つのアーキテクチャを設計し、汎用的なマルチエージェント強化学習パイプラインを最初に試行する。従来のRNNモデルとは異なり、トランスフォーマーモデルを用いてフレキシブルなポリシーを生成する。提案方式はUPDeT(Universal Policy Decoupling Transformer)と名付けられ,動作制限を緩和し,マルチエージェントタスクの決定プロセスをより説明しやすいものにする。
論文参考訳（メタデータ） (2021-01-20T07:24:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。