論文の概要: ERNIE at SemEval-2020 Task 10: Learning Word Emphasis Selection by Pre-trained Language Model

• arxiv url: http://arxiv.org/abs/2009.03706v1
• Date: Tue, 8 Sep 2020 12:51:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 21:12:53.381060
• Title: ERNIE at SemEval-2020 Task 10: Learning Word Emphasis Selection by Pre-trained Language Model
• Title（参考訳）: ernie at semeval-2020 task 10: learning word emphasis selection by pre-trained language model
• Authors: Zhengjie Huang, Shikun Feng, Weiyue Su, Xuyi Chen, Shuohuan Wang, Jiaxiang Liu, Xuan Ouyang, Yu Sun
• Abstract要約: 本稿では,SemEval-2020 Task 10: Emphasis Selection for Written Text in Visual Mediaにおいて,ERNIE Teamによって設計されたシステムについて述べる。 教師なし事前学習モデルを活用し、これらのモデルをタスクで微調整します。 我々の最良のモデルは0.823の最高スコアを達成し、あらゆる種類の指標で第1位となる。
• 参考スコア（独自算出の注目度）: 18.41476971318978
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper describes the system designed by ERNIE Team which achieved the first place in SemEval-2020 Task 10: Emphasis Selection For Written Text in Visual Media. Given a sentence, we are asked to find out the most important words as the suggestion for automated design. We leverage the unsupervised pre-training model and finetune these models on our task. After our investigation, we found that the following models achieved an excellent performance in this task: ERNIE 2.0, XLM-ROBERTA, ROBERTA and ALBERT. We combine a pointwise regression loss and a pairwise ranking loss which is more close to the final M atchm metric to finetune our models. And we also find that additional feature engineering and data augmentation can help improve the performance. Our best model achieves the highest score of 0.823 and ranks first for all kinds of metrics
• Abstract（参考訳）: 本稿では,SemEval-2020 Task 10: Emphasis Selection for Written Text in Visual Mediaにおいて,ERNIE Teamによって設計されたシステムについて述べる。 文が与えられたら、自動設計の提案として最も重要な単語を見つけるように求められます。 教師なし事前学習モデルを活用し、これらのモデルをタスクで微調整します。 調査の結果,ERNIE 2.0, XLM-ROBERTA, ROBERTA, ALBERTの3つのモデルが優れた性能を示した。 ポイントワイズ回帰損失と、最終matchmメトリックに近いペアワイズランキング損失を組み合わせることで、モデルを微調整します。 さらに、追加の機能エンジニアリングとデータ拡張がパフォーマンス向上に役立つことも分かりました。 我々の最良のモデルは0.823の最高スコアを達成し、あらゆる種類の指標で第1位となる。

関連論文リスト

• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• Large-scale Multi-Modal Pre-trained Models: A Comprehensive Survey [66.18478838828231]
  マルチモーダルな事前訓練型大型モデルは近年ますます注目を集めている。 本稿では, 自然言語処理, コンピュータビジョン, 音声処理における従来の深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・深層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・高層・ 次に,マルチモーダル・プレトレーニング・モデル(MM-PTM)のタスク定義,課題,メリットを紹介し,データ,目的,ネットワーク,知識強化による事前トレーニングに着目して,MM-PTMについて議論する。
  論文  参考訳（メタデータ） (2023-02-20T15:34:03Z)
• ZhichunRoad at Amazon KDD Cup 2022: MultiTask Pre-Training for E-Commerce Product Search [4.220439000486713]
  検索結果の質を向上させるために,頑健な多言語モデルを提案する。 事前学習の段階では、mlmタスク、分類タスク、コントラスト学習タスクを採用する。 微調整段階では、自信ある学習、指数的移動平均法(EMA)、対人訓練(FGM)、正規化ドロップアウト戦略(R-Drop)を用いる。
  論文  参考訳（メタデータ） (2023-01-31T07:31:34Z)
• The ReturnZero System for VoxCeleb Speaker Recognition Challenge 2022 [0.0]
  RTZR VoxCeleb Speaker Recognition Challenge 2022 (VoxSRC-22) の上位候補について述べる。 最上位のシステムは7つのモデルの融合であり、3種類のモデルアーキテクチャを含んでいる。 最後の提出はVoxSRC22テストセットで0.165 DCFと2.912% EERを達成した。
  論文  参考訳（メタデータ） (2022-09-21T06:54:24Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)
• RoBLEURT Submission for the WMT2021 Metrics Task [72.26898579202076]
  本稿では,共有メトリクスタスクであるRoBLEURTについて紹介する。 我々のモデルは10対の英語言語対のうち8対でWMT 2020の人間のアノテーションと最先端の相関に達する。
  論文  参考訳（メタデータ） (2022-04-28T08:49:40Z)
• The USYD-JD Speech Translation System for IWSLT 2021 [85.64797317290349]
  本稿では,シドニー大学とJDが共同でIWSLT 2021低リソース音声翻訳タスクを提出したことを述べる。 私たちは、公式に提供されたASRとMTデータセットでモデルをトレーニングしました。 翻訳性能の向上を目的として, バック翻訳, 知識蒸留, 多機能再構成, トランスダクティブファインタニングなど, 最新の効果的な手法について検討した。
  論文  参考訳（メタデータ） (2021-07-24T09:53:34Z)
• IITK@LCP at SemEval 2021 Task 1: Classification for Lexical Complexity Regression Task [1.5952305322416085]
  我々はELECTRAモデルを活用し、データアノテーションスキームのミラー化を試みる。 このやや反直感的なアプローチは、サブタスク1では0.0654、サブタスク2では0.0811のMAEを達成した。
  論文  参考訳（メタデータ） (2021-04-02T13:40:12Z)
• FiSSA at SemEval-2020 Task 9: Fine-tuned For Feelings [2.362412515574206]
  本稿では,スペイン語と英語の混在するソーシャルメディアデータを用いた感情分類手法を提案する。 単言語モデルと多言語モデルの両方を標準微調整法を用いて検討する。 2段階の微調整により、ベースモデルよりも感情分類性能が向上するが、大規模多言語XLM-RoBERTaモデルではF1スコアが最適である。
  論文  参考訳（メタデータ） (2020-07-24T14:48:27Z)
• Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring Systems [64.4896118325552]
  モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。 AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
  論文  参考訳（メタデータ） (2020-07-14T03:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。