論文の概要: SemEval-2023 Task 11: Learning With Disagreements (LeWiDi)

• arxiv url: http://arxiv.org/abs/2304.14803v1
• Date: Fri, 28 Apr 2023 12:20:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-01 14:19:56.122874
• Title: SemEval-2023 Task 11: Learning With Disagreements (LeWiDi)
• Title（参考訳）: SemEval-2023 Task 11: Learning with Disagreements (LeWiDi)
• Authors: Elisa Leonardelli, Alexandra Uma, Gavin Abercrombie, Dina Almanea, Valerio Basile, Tommaso Fornaciari, Barbara Plank, Verena Rieser, Massimo Poesio
• Abstract要約: 共有タスクのLeWiDiシリーズの第2版について報告する。 この第2版は幅広い参加者を集め、13のタスクの共用論文が提出された。
• 参考スコア（独自算出の注目度）: 75.85548747729466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: NLP datasets annotated with human judgments are rife with disagreements between the judges. This is especially true for tasks depending on subjective judgments such as sentiment analysis or offensive language detection. Particularly in these latter cases, the NLP community has come to realize that the approach of 'reconciling' these different subjective interpretations is inappropriate. Many NLP researchers have therefore concluded that rather than eliminating disagreements from annotated corpora, we should preserve them-indeed, some argue that corpora should aim to preserve all annotator judgments. But this approach to corpus creation for NLP has not yet been widely accepted. The objective of the LeWiDi series of shared tasks is to promote this approach to developing NLP models by providing a unified framework for training and evaluating with such datasets. We report on the second LeWiDi shared task, which differs from the first edition in three crucial respects: (i) it focuses entirely on NLP, instead of both NLP and computer vision tasks in its first edition; (ii) it focuses on subjective tasks, instead of covering different types of disagreements-as training with aggregated labels for subjective NLP tasks is a particularly obvious misrepresentation of the data; and (iii) for the evaluation, we concentrate on soft approaches to evaluation. This second edition of LeWiDi attracted a wide array of participants resulting in 13 shared task submission papers.
• Abstract（参考訳）: 人間の判断に注釈を付けたNLPデータセットは、裁判官間の意見の相違に悩まされている。 これは特に感情分析や攻撃的言語検出といった主観的判断に依存するタスクに当てはまる。 特に後者では、NLPコミュニティは、これらの異なる主観的解釈の「再構成」アプローチが不適切であることを認識するようになった。 それゆえ、多くのNLP研究者は、注釈付きコーパスからの意見の相違を排除するのではなく、それらを守るべきであると結論付けている。 しかし、NLPのためのコーパス生成に対するこのアプローチはまだ広く受け入れられていない。 共有タスクのlewidiシリーズの目的は、このようなデータセットをトレーニングおよび評価するための統一フレームワークを提供することで、nlpモデルの開発にこのアプローチを促進することである。 第1版とは3つの重要な点において異なる第2回LeWiDi共有タスクについて報告する。 (i)第1版において、NLPとコンピュータビジョンの両タスクの代わりに、完全にNLPに焦点を当てている。 (ii)主観的タスクに焦点をあて、異なるタイプの不一致をカバーせず、主観的nlpタスクのラベルを集約したトレーニングは、特にデータの誤表現である。) (iii) 評価には, ソフトアプローチに焦点をあてる。 この『LeWiDi』の第2版は幅広い参加者を惹きつけ、13のタスク論文を共有した。

関連論文リスト

• Surveying (Dis)Parities and Concerns of Compute Hungry NLP Research [75.84463664853125]
  我々は,3つのトピック,すなわち環境影響,株式,およびピアレビューへの影響に関する懸念を定量化するための最初の試みを提供する。 我々は、高齢者、アカデミック、産業に関して、異なるグループと異なるグループ内の既存の(異なる)格差を捉えます。 私たちは、発見された格差を軽減するためのレコメンデーションを考案しました。
  論文  参考訳（メタデータ） (2023-06-29T12:44:53Z)
• No Strong Feelings One Way or Another: Re-operationalizing Neutrality in Natural Language Inference [6.485890157501745]
  自然言語推論(NLI)は、言語モデルの推論推論能力を評価するための基礎的なタスクである。 NLIで使用される標準的な3方向分類スキームは、自然な人間の推論のニュアンスを捉えるモデルの能力を評価するのに、よく知られた欠点がある。 我々は、現在のNLIデータセットにおける中立ラベルの運用は、妥当性が低く、矛盾なく解釈され、少なくとも1つの重要な中立感が無視されることを論じる。
  論文  参考訳（メタデータ） (2023-06-16T15:45:08Z)
• We're Afraid Language Models Aren't Modeling Ambiguity [136.8068419824318]
  あいまいさの管理は人間の言語理解の重要な部分です。 文中のあいまいさは,他の文との係り受け関係に与える影響によって特徴付けられる。 我々は,多ラベルNLIモデルが曖昧さによって誤解を招く野生の政治的主張にフラグを付けることができることを示す。
  論文  参考訳（メタデータ） (2023-04-27T17:57:58Z)
• NLPeer: A Unified Resource for the Computational Study of Peer Review [58.71736531356398]
  NLPeer - 5万以上の論文と5つの異なる会場からの1万1千件のレビューレポートからなる、初めて倫理的にソースされたマルチドメインコーパス。 従来のピアレビューデータセットを拡張し、解析および構造化された論文表現、豊富なメタデータ、バージョニング情報を含む。 我々の研究は、NLPなどにおけるピアレビューの体系的、多面的、エビデンスに基づく研究への道のりをたどっている。
  論文  参考訳（メタデータ） (2022-11-12T12:29:38Z)
• A Survey of Methods for Addressing Class Imbalance in Deep-Learning Based Natural Language Processing [68.37496795076203]
  非バランスなデータを扱うNLP研究者や実践者に対してガイダンスを提供する。 まず、制御および実世界のクラス不均衡の様々なタイプについて論じる。 サンプリング,データ拡張,損失関数の選択,ステージ学習,モデル設計に基づく手法を整理する。
  論文  参考訳（メタデータ） (2022-10-10T13:26:40Z)
• Few-shot Named Entity Recognition with Cloze Questions [3.561183926088611]
  本稿では,クローゼクエスト機構とファインチューニングを併用した数ショット学習手法であるPET(Pattern-Exploiting Training)の簡易かつ直感的な適応を提案する。 提案手法は,他の数発のベースラインに対して,標準的な微調整や同等あるいは改良された結果よりもはるかに優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-11-24T11:08:59Z)
• ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning [97.10875695679499]
  そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。 実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T03:35:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。