Fugu-MT 論文翻訳(概要): AILAB-Udine@SMM4H 22: Limits of Transformers and BERT Ensembles

論文の概要: AILAB-Udine@SMM4H 22: Limits of Transformers and BERT Ensembles

arxiv url: http://arxiv.org/abs/2209.03452v1
Date: Wed, 7 Sep 2022 20:17:15 GMT
ステータス: 処理完了
システム内更新日: 2022-09-09 12:38:27.484840
Title: AILAB-Udine@SMM4H 22: Limits of Transformers and BERT Ensembles
Title（参考訳）: AILAB-Udine@SMM4H 22: トランスフォーマーとBERTアンサンブルの制限
Authors: Beatrice Portelli, Simone Scaboro, Emmanuele Chersoni, Enrico Santus, Giuseppe Serra
Abstract要約: 本稿では, AILAB-Udine チームが開発した SMM4H 22 Shared Task のモデルについて述べる。テキスト分類,エンティティ抽出,エンティティ正規化に基づくトランスフォーマーモデルの適用限界について検討した。
参考スコア（独自算出の注目度）: 7.052238842788185
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper describes the models developed by the AILAB-Udine team for the SMM4H 22 Shared Task. We explored the limits of Transformer based models on text classification, entity extraction and entity normalization, tackling Tasks 1, 2, 5, 6 and 10. The main take-aways we got from participating in different tasks are: the overwhelming positive effects of combining different architectures when using ensemble learning, and the great potential of generative models for term normalization.
Abstract（参考訳）: 本稿では, AILAB-Udine チームが開発した SMM4H 22 Shared Task のモデルについて述べる。テキスト分類,エンティティ抽出,エンティティ正規化,タスク1, 2, 5, 6, 10 の対応に基づく Transformer ベースモデルの限界について検討した。異なるタスクに参加することで得られた主なポイントは、アンサンブル学習を使用する際に異なるアーキテクチャを組み合わせることによる圧倒的なポジティブな効果と、項正規化のための生成モデルの大きな可能性である。

関連論文リスト

Model Evolution Framework with Genetic Algorithm for Multi-Task Reinforcement Learning [85.91908329457081]
マルチタスク強化学習は、様々なシナリオにまたがって一般化可能なエージェントを開発することを目的として、様々なタスクを完遂するために単一のポリシーを採用する。既存のアプローチでは、ルーティングネットワークを使用して各タスクの特定のルートを生成し、モジュールのセットをさまざまなモデルに再構築し、複数のタスクを同時に完了させるのが一般的である。本稿では,遺伝的アルゴリズム(MEGA)を用いたモデル進化フレームワークを提案する。
論文参考訳（メタデータ） (2025-02-19T09:22:34Z)
One Fits All: General Mobility Trajectory Modeling via Masked Conditional Diffusion [11.373845190033297]
軌道データは、ネットワーク最適化から都市計画まで、多くのアプリケーションにおいて重要な役割を果たす。既存のトラジェクトリデータの研究はタスク固有であり、それらの適用性は、生成、回復、予測など、トレーニングされた特定のタスクに限られる。我々は条件拡散(GenMove)による一般的な軌道モデリングフレームワークを提案する。我々のモデルは最先端のベースラインを著しく上回り、最高性能は生成タスクの13%以上である。
論文参考訳（メタデータ） (2025-01-23T03:13:45Z)
VLM2Vec: Training Vision-Language Models for Massive Multimodal Embedding Tasks [60.5257456681402]
幅広い下流タスクを扱える普遍的な埋め込みを構築する可能性について検討する。 We build a series of VLM2Vec model on SoTA VLMs like Phi-3.5-V, LLaVA-1.6 and evaluate them on MMEB's evaluation split。以上の結果から,VLM2Vecは既存のマルチモーダル埋め込みモデルよりも10%から20%の絶対的な平均的改善を実現していることがわかった。
論文参考訳（メタデータ） (2024-10-07T16:14:05Z)
MoEUT: Mixture-of-Experts Universal Transformers [75.96744719516813]
ユニバーサルトランスフォーマー(UT)は、合成一般化の学習において標準トランスフォーマーよりも有利である。層共有は、同じ次元を持つ非共有モデルと比較してパラメータ数を大幅に削減する。従来の作業では、言語モデリングのようなパラメータ数の支配的なタスクと競合する共有層トランスフォーマー設計の提案に成功しなかった。
論文参考訳（メタデータ） (2024-05-25T03:24:32Z)
SemEval-2024 Shared Task 6: SHROOM, a Shared-task on Hallucinations and Related Observable Overgeneration Mistakes [48.83290963506378]
本稿では,幻覚検出に焦点をあてた共有タスクであるSHROOMの結果について述べる。このアプローチをどのように取り組んだかについて、いくつかの重要なトレンドを観察します。チームの大多数が提案したベースラインシステムより優れていますが、トップスコアシステムのパフォーマンスは依然として、より困難なアイテムのランダムなハンドリングと一致しています。
論文参考訳（メタデータ） (2024-03-12T15:06:22Z)
Mod-Squad: Designing Mixture of Experts As Modular Multi-Task Learners [74.92558307689265]
専門家グループ("スクワッド")にモジュール化された新しいモデルであるMod-Squadを提案する。単一モデルのトレーニング中に、このマッチングプロセスを最適化する。 13の視覚タスクを持つタスクノミーデータセットと、5つの視覚タスクを持つPASCAL-Contextデータセットの実験は、我々のアプローチの優位性を示している。
論文参考訳（メタデータ） (2022-12-15T18:59:52Z)
SFE-AI at SemEval-2022 Task 11: Low-Resource Named Entity Recognition using Large Pre-trained Language Models [14.94542859759424]
本稿では,SemEval 2022 task11: MultiCoNERのNERシステムについて述べる。異なる入力に対して各モデルに異なる重みを割り当てることで、多種多様なモデルの利点を効果的に統合するためにトランスフォーマー層を採用した。実験結果から,本手法はFarsiとオランダで優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2022-05-29T13:40:14Z)
Ensemble Transformer for Efficient and Accurate Ranking Tasks: an Application to Question Answering Systems [99.13795374152997]
本研究では,大きな変圧器のアンサンブルを1つの小さなモデルに蒸留するニューラルネットワークを提案する。 MHSモデルは、入力をエンコードするために使用されるトランスフォーマー層のスタックと、ランキングヘッドのセットの2つのコンポーネントから構成される。従来の蒸留法とは異なり,本手法では,アンサンブルメンバーの多様性を保ちつつ,個々のモデルを教師として利用している。
論文参考訳（メタデータ） (2022-01-15T06:21:01Z)
Long-Span Dependencies in Transformer-based Summarization Systems [38.672160430296536]
トランスフォーマティブベースのモデルは、文書要約を含む幅広い自然言語処理(nlp)タスクで最先端の結果を達成している。これらのトランスベースのモデルの1つの問題は、入力長が増加するにつれてメモリと計算要件の点でうまくスケールしないことである。本研究では,事前学習された大規模トランスフォーマーモデルを用いて,抽象的要約における長大な依存関係に対処する。
論文参考訳（メタデータ） (2021-05-08T23:53:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。