論文の概要: LRG at SemEval-2020 Task 7: Assessing the Ability of BERT and Derivative Models to Perform Short-Edits based Humor Grading

• arxiv url: http://arxiv.org/abs/2006.00607v1
• Date: Sun, 31 May 2020 20:55:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-26 12:49:48.881737
• Title: LRG at SemEval-2020 Task 7: Assessing the Ability of BERT and Derivative Models to Perform Short-Edits based Humor Grading
• Title（参考訳）: LRG at SemEval-2020 Task 7:Assess the Aability of BERT and Derivative Models to Perform Short-Edits based Humor Grading (特集 New Trends)
• Authors: Siddhant Mahurkar and Rajaswa Patil
• Abstract要約: 短編集に基づくユーモアグレーディングにおけるBERTとその派生モデルの有効性を評価する。 言語モデリングと一般化能力をテストするために,これらのモデルを用いた広範囲な実験を行った。 実験の結果, 事前学習したBERT派生モデルはすべて, ユーモラスグレーティングに関連するタスクに対して, 重要な一般化能力を示すことがわかった。
• 参考スコア（独自算出の注目度）: 0.15229257192293202
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we assess the ability of BERT and its derivative models (RoBERTa, DistilBERT, and ALBERT) for short-edits based humor grading. We test these models for humor grading and classification tasks on the Humicroedit and the FunLines dataset. We perform extensive experiments with these models to test their language modeling and generalization abilities via zero-shot inference and cross-dataset inference based approaches. Further, we also inspect the role of self-attention layers in humor-grading by performing a qualitative analysis over the self-attention weights from the final layer of the trained BERT model. Our experiments show that all the pre-trained BERT derivative models show significant generalization capabilities for humor-grading related tasks.
• Abstract（参考訳）: 本稿では,短編集によるユーモアグレーディングにおけるBERTとその派生モデル(RoBERTa, DistilBERT, ALBERT)の有効性を評価する。 humicroeditとfunlinesデータセット上で、これらのモデルをユーモアのグレーディングと分類タスクのためにテストします。 我々はこれらのモデルを用いて、ゼロショット推論とデータセット間推論に基づくアプローチを用いて、言語モデリングと一般化能力をテストする。 さらに、トレーニングされたBERTモデルの最終層から自己注意重みを定性的に分析することにより、ユーモアグレーディングにおける自己注意層の役割についても検討する。 実験の結果, 事前学習したBERT派生モデルはすべて, ユーモラスグレーティングに関連するタスクに対して重要な一般化能力を示すことがわかった。

関連論文リスト

• Assessing Generative Language Models in Classification Tasks: Performance and Self-Evaluation Capabilities in the Environmental and Climate Change Domain [0.0]
  本稿では,2つの大規模言語モデル (LLMs) , GPT3.5 と Llama2 と 1つの小言語モデル (SLM) Gemma を,気候変動 (CC) と環境領域の3つの異なる分類課題で比較した。
  論文  参考訳（メタデータ） (2024-08-30T15:52:41Z)
• Can BERT Refrain from Forgetting on Sequential Tasks? A Probing Study [68.75670223005716]
  BERTのような事前学習型言語モデルでは,メモリリプレイが少なくても,逐次学習が可能であることが判明した。 実験の結果,BERT は従来学習したタスクに対して,極めて疎らなリプレイや,さらにはリプレイを行なわずに,長期間にわたって高品質な表現を生成できることが判明した。
  論文  参考訳（メタデータ） (2023-03-02T09:03:43Z)
• SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark for Semantic and Generative Capabilities [76.97949110580703]
  各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。 データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。 また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
  論文  参考訳（メタデータ） (2022-03-14T04:26:40Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• Exposing Length Divergence Bias of Textual Matching Models [21.848338643614316]
  テキストマッチング(TM)モデルの長偏差バイアスについて検討する。 このバイアスは、既存のTMデータセットのラベルバイアスと、表面情報に対するTMモデルの感度の2つの部分に由来する。 TMモデルの長偏差バイアスを軽減するために,偏差のないトレーニングデータを用いた現実的な対角トレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-06T13:12:06Z)
• Improving Label Quality by Jointly Modeling Items and Annotators [68.8204255655161]
  雑音アノテータから基底真理ラベルを学習するための完全ベイズ的枠組みを提案する。 我々のフレームワークは、ラベル分布上の生成的ベイズソフトクラスタリングモデルを古典的なDavidとSkeneのジョイントアノテータデータモデルに分解することでスケーラビリティを保証する。
  論文  参考訳（メタデータ） (2021-06-20T02:15:20Z)
• On Robustness and Bias Analysis of BERT-based Relation Extraction [40.64969232497321]
  我々は,関係抽出を用いて異なる視点から細調整されたBERTモデルを解析する。 BERTは, ランダム化, 対角的, 対実的テスト, バイアスによって, 頑健性のボトルネックに悩まされている。
  論文  参考訳（メタデータ） (2020-09-14T05:24:28Z)
• ConvBERT: Improving BERT with Span-based Dynamic Convolution [144.25748617961082]
  BERTはグローバルな自己保持ブロックに大きく依存しているため、大きなメモリフットプリントと計算コストに悩まされる。 そこで本研究では,これらの自己注意型ヘッドを置き換え,局所的依存関係を直接モデル化する,スパンベースの動的畳み込みを提案する。 新たな畳み込み頭は、他の自己注意頭と共に、グローバルな文脈学習とローカルな文脈学習の両方においてより効率的である、新しい混合注意ブロックを形成する。
  論文  参考訳（メタデータ） (2020-08-06T07:43:19Z)
• DagoBERT: Generating Derivational Morphology with a Pretrained Language Model [20.81930455526026]
  事前学習された言語モデル(PLM)は、派生的に複雑な単語を生成することができることを示す。 私たちの最高のモデルであるDagoBERTは、導出生成における過去の技術状況よりも明らかに優れています。 実験の結果,入力セグメンテーションがBERTの導出知識に重大な影響を及ぼすことが示された。
  論文  参考訳（メタデータ） (2020-05-02T01:26:46Z)
• Enriched Pre-trained Transformers for Joint Slot Filling and Intent Detection [22.883725214057286]
  本稿では,意図に基づく言語モデル学習のための新しいアーキテクチャを提案する。 そこで本研究では,意図分布,単語特徴,トークン表現を融合させることで,スロット充足作業の強化を図る。 標準データセットによる実験結果から,我々のモデルは現在の非BERT状態と,より強力なBERTベースラインの両方に優れることがわかった。
  論文  参考訳（メタデータ） (2020-04-30T15:00:21Z)
• Improving BERT Fine-Tuning via Self-Ensemble and Self-Distillation [84.64004917951547]
  BERTのような微調整済みの言語モデルは、NLPにおいて効果的な方法となっている。 本稿では, BERTの微細調整を, 自己組織化と自己蒸留の2つの効果的なメカニズムで改善する。
  論文  参考訳（メタデータ） (2020-02-24T16:17:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。