論文の概要: OCHADAI-KYODAI at SemEval-2021 Task 1: Enhancing Model Generalization
and Robustness for Lexical Complexity Prediction
- arxiv url: http://arxiv.org/abs/2105.05535v2
- Date: Thu, 13 May 2021 01:20:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-14 11:31:54.147499
- Title: OCHADAI-KYODAI at SemEval-2021 Task 1: Enhancing Model Generalization
and Robustness for Lexical Complexity Prediction
- Title（参考訳）: SemEval-2021 Task 1: Enhancing Model Generalization and Robustness for Lexical Complexity Prediction
- Authors: Yuki Taya, Lis Kanashiro Pereira, Fei Cheng, Ichiro Kobayashi
- Abstract要約: 単語とマルチワード表現の語彙的複雑性を予測するアンサンブルモデルを提案する。
モデルは、目的語またはMWEandの文を入力として受信し、その複雑性スコアを出力する。
本モデルは,両サブタスクの上位10システムにランクインした。
- 参考スコア（独自算出の注目度）: 8.066349353140819
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose an ensemble model for predicting the lexical complexity of words
and multiword expressions (MWEs). The model receives as input a sentence with a
target word or MWEand outputs its complexity score. Given that a key challenge
with this task is the limited size of annotated data, our model relies on
pretrained contextual representations from different state-of-the-art
transformer-based language models (i.e., BERT and RoBERTa), and on a variety of
training methods for further enhancing model generalization and
robustness:multi-step fine-tuning and multi-task learning, and adversarial
training. Additionally, we propose to enrich contextual representations by
adding hand-crafted features during training. Our model achieved competitive
results and ranked among the top-10 systems in both sub-tasks.
- Abstract（参考訳）: 本稿では,単語と多語表現(mwes)の語彙複雑性を予測するアンサンブルモデルを提案する。
モデルは、目的語またはMWEandを入力として入力し、その複雑性スコアを出力する。
このタスクの重要な課題は、注釈付きデータのサイズが限られていることを踏まえると、我々のモデルは、さまざまな最先端トランスフォーマーベースの言語モデル(bertとroberta)からの事前学習された文脈表現と、モデルの一般化と堅牢性をさらに強化するための様々なトレーニング方法に依存している。
さらに,訓練中に手作りの特徴を追加することで,文脈表現の充実を図ることを提案する。
本モデルは,両サブタスクの上位10システムにランクインした。
関連論文リスト
- Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。
CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。
本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
論文 参考訳（メタデータ） (2024-11-01T01:51:31Z) - A Large-Scale Evaluation of Speech Foundation Models [110.95827399522204]
音声処理ユニバーサルパフォーマンスベンチマーク(SUPERB)を構築し,基礎モデルパラダイムの有効性について検討する。
凍結基盤モデルを用いてSUPERBにおける音声処理タスクに対処する統合マルチタスクフレームワークを提案する。
論文 参考訳（メタデータ） (2024-04-15T00:03:16Z) - Split and Rephrase with Large Language Models [2.499907423888049]
Split and Rephrase (SPRP) タスクは、複雑な文を短い文法文の列に分割する。
タスク上の大きな言語モデルを評価し、主要なメトリクスに基づいて、技術の現状を大幅に改善できることを示します。
論文 参考訳（メタデータ） (2023-12-18T10:16:37Z) - NOWJ1@ALQAC 2023: Enhancing Legal Task Performance with Classic
Statistical Models and Pre-trained Language Models [4.329463429688995]
本稿では,NOWJ1チームによるALQAC(Automated Legal Question Answering Competition)2023について述べる。
文書検索タスクでは、入力制限を克服し、学習からランクまでの手法を適用して様々なモデルの特徴を統合する。
我々は,従来の統計モデルと事前学習型言語モデルの両方を利用して,各サブタスクに対して異なるシステムを開発するために,最先端のモデルを組み込んだ。
論文 参考訳（メタデータ） (2023-09-16T18:32:15Z) - On Conditional and Compositional Language Model Differentiable Prompting [75.76546041094436]
プロンプトは、下流タスクでうまく機能するために、凍結した事前訓練言語モデル(PLM)を適応するための効果的な方法であることが示されている。
タスク命令や入力メタデータを連続的なプロンプトに変換することを学習する新しいモデル Prompt Production System (PRopS) を提案する。
論文 参考訳（メタデータ） (2023-07-04T02:47:42Z) - PaLM-E: An Embodied Multimodal Language Model [101.29116156731762]
本研究では,実世界の連続型センサを言語モデルに組み込むための具体的言語モデルを提案する。
我々は、複数の具体的タスクのために、事前訓練された大規模言語モデルとともに、これらのエンコーディングをエンドツーエンドにトレーニングする。
562Bパラメータを持つ大モデル PaLM-E-562B は、OK-VQA 上での最先端性能を持つ視覚言語ジェネラリストである。
論文 参考訳（メタデータ） (2023-03-06T18:58:06Z) - ZhichunRoad at Amazon KDD Cup 2022: MultiTask Pre-Training for
E-Commerce Product Search [4.220439000486713]
検索結果の質を向上させるために,頑健な多言語モデルを提案する。
事前学習の段階では、mlmタスク、分類タスク、コントラスト学習タスクを採用する。
微調整段階では、自信ある学習、指数的移動平均法(EMA)、対人訓練(FGM)、正規化ドロップアウト戦略(R-Drop)を用いる。
論文 参考訳（メタデータ） (2023-01-31T07:31:34Z) - OCHADAI at SemEval-2022 Task 2: Adversarial Training for Multilingual
Idiomaticity Detection [4.111899441919165]
文が慣用的表現を含むか否かを判定する多言語逆行訓練モデルを提案する。
我々のモデルは、異なる多言語変換言語モデルからの事前学習された文脈表現に依存している。
論文 参考訳（メタデータ） (2022-06-07T05:52:43Z) - BigGreen at SemEval-2021 Task 1: Lexical Complexity Prediction with
Assembly Models [2.4815579733050153]
本稿では,与えられた文脈における英単語の語彙的複雑性を予測するために,BigGreen チームが 2021 に提出したシステムについて述べる。
BERTを基盤としたディープニューラルネットワークモデルにより、機能工学に基づくモデルを組み立てます。
我々の手工芸品の特徴は、語彙、意味、構文、および新しい音韻学的尺度からなる。
論文 参考訳（メタデータ） (2021-04-19T04:05:50Z) - Masked Language Modeling and the Distributional Hypothesis: Order Word
Matters Pre-training for Little [74.49773960145681]
マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。
本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。
以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
論文 参考訳（メタデータ） (2021-04-14T06:30:36Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。