論文の概要: SemEval-2020 Task 4: Commonsense Validation and Explanation
- arxiv url: http://arxiv.org/abs/2007.00236v2
- Date: Mon, 3 Aug 2020 15:13:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-14 21:50:53.356600
- Title: SemEval-2020 Task 4: Commonsense Validation and Explanation
- Title（参考訳）: SemEval-2020 Task 4: Commonsense Validation and Explanation
- Authors: Cunxiang Wang, Shuailong Liang, Yili Jin, Yilong Wang, Xiaodan Zhu and
Yue Zhang
- Abstract要約: SemEval-2020 Task 4, Commonsense Validation and Explanation (ComVE)には3つのサブタスクが含まれている。
我々は,人間にとって理にかなう自然言語文と,そうでないものとを区別できるかどうかを評価することを目的とする。
Subtask A と Subtask B では、上位のシステムのパフォーマンスは人間に近い。
- 参考スコア（独自算出の注目度）: 24.389998904122244
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present SemEval-2020 Task 4, Commonsense Validation and
Explanation (ComVE), which includes three subtasks, aiming to evaluate whether
a system can distinguish a natural language statement that makes sense to
humans from one that does not, and provide the reasons. Specifically, in our
first subtask, the participating systems are required to choose from two
natural language statements of similar wording the one that makes sense and the
one does not. The second subtask additionally asks a system to select the key
reason from three options why a given statement does not make sense. In the
third subtask, a participating system needs to generate the reason. We finally
attracted 39 teams participating at least one of the three subtasks. For
Subtask A and Subtask B, the performances of top-ranked systems are close to
that of humans. However, for Subtask C, there is still a relatively large gap
between systems and human performance. The dataset used in our task can be
found at https://github.com/wangcunxiang/SemEval2020-
Task4-Commonsense-Validation-and-Explanation; The leaderboard can be found at
https://competitions.codalab.org/competitions/21080#results.
- Abstract（参考訳）: 本稿では,3つのサブタスクを含むSemEval-2020 Task 4, Commonsense Validation and Explanation(ComVE)を提案する。
特に、私たちの最初のサブタスクでは、参加するシステムは、類似の単語の2つの自然言語ステートメントから選択する必要があります。
2番目のサブタスクは、与えられた文が意味をなさない3つのオプションから重要な理由を選択するようシステムに要求する。
第3のサブタスクでは、参加するシステムが理由を生成する必要があります。
最終的に39チームが3つのサブタスクのうちの少なくとも1つに参加した。
Subtask A と Subtask B では、上位のシステムのパフォーマンスは人間に近い。
しかしSubtask Cでは,システムと人的パフォーマンスの間には,いまだに大きなギャップがある。
タスクで使用されるデータセットはhttps://github.com/wangcunxiang/SemEval2020Task4-Commonsense-Validation-and-Explanation; リーダーボードはhttps://competitions.codalab.org/competitions/21080#results.comで見ることができる。
関連論文リスト
- SemEval-2024 Task 8: Multidomain, Multimodel and Multilingual Machine-Generated Text Detection [68.858931667807]
Subtask Aは、テキストが人間によって書かれたか、機械によって生成されたかを決定するバイナリ分類タスクである。
サブタスクBは、テキストの正確なソースを検出し、それが人間によって書かれたか、特定のLCMによって生成されたかを認識する。
Subtask Cは、著者が人間から機械へ遷移するテキスト内の変化点を特定することを目的としている。
論文 参考訳（メタデータ） (2024-04-22T13:56:07Z) - STREET: A Multi-Task Structured Reasoning and Explanation Benchmark [56.555662318619135]
マルチタスクとマルチドメインの自然言語推論と説明ベンチマークを統一的に導入する。
我々は、モデルが質問に答えるだけでなく、ある解の正しさを証明できる中間的な結論を生成するために、問題の前提がどのように使われているかを記述する、段階的に構造化された説明を生成することを期待している。
論文 参考訳（メタデータ） (2023-02-13T22:34:02Z) - Findings of the WMT 2022 Shared Task on Translation Suggestion [63.457874930232926]
We report the results of the first edition of the WMT shared task on Translation Suggestion。
このタスクは、機械翻訳(MT)によって生成された文書全体に対して、特定の単語やフレーズの代替手段を提供することを目的としている。
2つのサブタスク、すなわち単純翻訳提案と暗示付き翻訳提案で構成されている。
論文 参考訳（メタデータ） (2022-11-30T03:48:36Z) - Rethinking End-to-End Evaluation of Decomposable Tasks: A Case Study on
Spoken Language Understanding [101.24748444126982]
分解可能なタスクは複雑で、サブタスクの階層から構成される。
しかし、既存のベンチマークでは、通常は表面レベルのサブタスクのみの例が示される。
サブタスク固有のユーティリティ関数上の座標アセントを用いて、ロバストなテストセットを構築するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-29T02:53:59Z) - SemEval-2021 Task 4: Reading Comprehension of Abstract Meaning [47.49596196559958]
本稿では,SemEval-2021共有タスクについて紹介する。4: Reading of Abstract Meaning (ReCAM)。
パスとそれに対応する質問が与えられた場合、参加者システムは、抽象概念の5つの候補から正しい回答を選択することが期待される。
Subtask 1は、物理的な世界で直接認識できない概念を、システムがいかにうまくモデル化できるかを評価することを目的としている。
Subtask 2は、ハイパーニム階層にある非特異な概念を解釈するモデルの能力に焦点を当てている。
Subtask 3は、2種類の抽象性に対するモデルの一般化可能性に関する洞察を提供することを目的としている。
論文 参考訳（メタデータ） (2021-05-31T11:04:17Z) - ISCAS at SemEval-2020 Task 5: Pre-trained Transformers for
Counterfactual Statement Modeling [48.3669727720486]
ISCASはSemEval 2020 Task 5の2つのサブタスクに参加した。
本稿では,事前学習したトランスをベースとしたシステムについて述べる。
論文 参考訳（メタデータ） (2020-09-17T09:28:07Z) - SemEval-2020 Task 5: Counterfactual Recognition [36.38097292055921]
Subtask-1は、ある文が偽造文であるか否かを判定することを目的としている。
Subtask-2は、該当するシステムに対して、所定の偽造声明を抽出することを要求する。
論文 参考訳（メタデータ） (2020-08-02T20:32:19Z) - CS-NET at SemEval-2020 Task 4: Siamese BERT for ComVE [2.0491741153610334]
本論文では,共通認識を裏付ける文と,そうでない文とを区別するシステムについて述べる。
我々はトランスフォーマーの並列インスタンスを使用し、それによってパフォーマンスが向上します。
その結果, サブタスクAでは94.8%, サブタスクBでは89%の精度が得られた。
論文 参考訳（メタデータ） (2020-07-21T14:08:02Z) - CUHK at SemEval-2020 Task 4: CommonSense Explanation, Reasoning and
Prediction with Multi-task Learning [22.534520584497503]
本稿では,SemEval 2020: Commonsense Validation and Explanation (ComVE)のタスク4に提案したシステムについて述べる。
タスクは、与えられた文が意味があるかどうかを直接検証し、それを説明するためにモデルを必要とする。
マルチタスク設定によるBERTarchitectureに基づいて,ERP(Explain, Reason and Predict)システムを提案する。
論文 参考訳（メタデータ） (2020-06-12T13:51:12Z) - CS-NLP team at SemEval-2020 Task 4: Evaluation of State-of-the-art NLP
Deep Learning Architectures on Commonsense Reasoning Task [3.058685580689605]
本稿では,SemEval-2020 Task 4 competition: Commonsense Validation and Explanation (ComVE) Challengeについて述べる。
本システムは、3つの異なる自然言語推論サブタスクに対して手動でキュレートされたラベル付きテキストデータセットを使用する。
第2のサブタスクでは、声明が意味をなさない理由を選択するため、27人の参加者のうち、最初の6チーム(93.7%)で非常に競争力のある結果が得られます。
論文 参考訳（メタデータ） (2020-05-17T13:20:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。