論文の概要: RuArg-2022: Argument Mining Evaluation
- arxiv url: http://arxiv.org/abs/2206.09249v1
- Date: Sat, 18 Jun 2022 17:13:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-22 15:50:37.163997
- Title: RuArg-2022: Argument Mining Evaluation
- Title(参考訳): ruarg-2022: 引数マイニングの評価
- Authors: Evgeny Kotelnikov, Natalia Loukachevitch, Irina Nikishina, Alexander
Panchenko
- Abstract要約: 本稿は、ロシア語テキストを扱う議論分析システムの最初のコンペティションの主催者の報告である。
新型コロナウイルスの感染拡大に伴う3つの話題について、9,550文(ソーシャルメディア投稿記事)のコーパスを用意した。
両タスクで第一位を獲得したシステムは、BERTアーキテクチャのNLI(Natural Language Inference)変種を使用した。
- 参考スコア(独自算出の注目度): 69.87149207721035
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Argumentation analysis is a field of computational linguistics that studies
methods for extracting arguments from texts and the relationships between them,
as well as building argumentation structure of texts. This paper is a report of
the organizers on the first competition of argumentation analysis systems
dealing with Russian language texts within the framework of the Dialogue
conference. During the competition, the participants were offered two tasks:
stance detection and argument classification. A corpus containing 9,550
sentences (comments on social media posts) on three topics related to the
COVID-19 pandemic (vaccination, quarantine, and wearing masks) was prepared,
annotated, and used for training and testing. The system that won the first
place in both tasks used the NLI (Natural Language Inference) variant of the
BERT architecture, automatic translation into English to apply a specialized
BERT model, retrained on Twitter posts discussing COVID-19, as well as
additional masking of target entities. This system showed the following
results: for the stance detection task an F1-score of 0.6968, for the argument
classification task an F1-score of 0.7404. We hope that the prepared dataset
and baselines will help to foster further research on argument mining for the
Russian language.
- Abstract(参考訳): 論証分析は、テキストから引数を抽出する手法とそれら間の関係、およびテキストの議論構造を構築するための計算言語学の分野である。
本稿では,対話会議の枠組みの中でロシア語テキストを扱う議論分析システムに関する第1回コンペティションを主催者らに報告する。
競技中、参加者はスタンス検出と引数分類の2つのタスクを提示された。
新型コロナウイルス(covid-19)のパンデミックに関連する3つの話題(予防接種、隔離、マスク着用)に関する9,550文(ソーシャルメディア投稿の投稿)のコーパスを作成し、注釈を付け、訓練とテストに使用した。
両タスクで第1位を獲得したシステムは、bertアーキテクチャのnli(natural language inference)変種、専用のbertモデルを適用するための英語への自動翻訳、covid-19について議論するtwitter投稿で再トレーニング、ターゲットエンティティのマスキングなどを使用していた。
姿勢検出タスクでは, f1-score が 0.6968, 引数分類タスクが 0.7404, f1-score が 0.744。
準備されたデータセットとベースラインが、ロシア語の議論マイニングに関するさらなる研究を促進することを願っている。
関連論文リスト
- ORCHID: A Chinese Debate Corpus for Target-Independent Stance Detection and Argumentative Dialogue Summarization [6.723531714964794]
オーラル・チャイナ・ディベート(Oral Chinese Debate)は、標的非依存の姿勢検出と議論の要約をベンチマークする最初の中国のデータセットである。
このデータセットは、中国語で476のユニークなトピックについて行われた1,218の現実世界の討論から成り、その内容は2,436のスタンス固有の要約と14,133の完全注釈付き発話を含む。
その結果、データセットの難易度が示され、議論対話の要約にスタンス検出を組み込むことの可能性が示唆された。
論文 参考訳(メタデータ) (2024-10-17T15:28:27Z) - IITK at SemEval-2024 Task 1: Contrastive Learning and Autoencoders for Semantic Textual Relatedness in Multilingual Texts [4.78482610709922]
本稿では,SemEval-2024 Task 1: Semantic Textual Relatednessについて述べる。
この課題は、14言語における文のペア間の関連度を自動的に検出することに焦点を当てている。
論文 参考訳(メタデータ) (2024-04-06T05:58:42Z) - Cross-lingual Contextualized Phrase Retrieval [63.80154430930898]
そこで本研究では,言語間関係の単語検索を多義的に行うタスクの定式化を提案する。
我々は、コントラスト学習を用いて、言語間コンテクスト対応句検索(CCPR)を訓練する。
フレーズ検索タスクでは、CCPRはベースラインをかなり上回り、少なくとも13ポイント高いトップ1の精度を達成する。
論文 参考訳(メタデータ) (2024-03-25T14:46:51Z) - Argue with Me Tersely: Towards Sentence-Level Counter-Argument
Generation [62.069374456021016]
本稿では,文レベル逆問題生成のためのArgTerselyベンチマークを提案する。
また,Arg-LlaMAによる高品質な逆問題生成手法を提案する。
論文 参考訳(メタデータ) (2023-12-21T06:51:34Z) - Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language
Modelling [70.23876429382969]
本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。
ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。
また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
論文 参考訳(メタデータ) (2023-07-16T15:18:25Z) - IAM: A Comprehensive and Large-Scale Dataset for Integrated Argument
Mining Tasks [59.457948080207174]
本稿では,一連の議論マイニングタスクに適用可能なIAMという,包括的で大規模なデータセットを提案する。
データセットの70k近い文は、引数特性に基づいて完全に注釈付けされている。
議論準備プロセスに関連する2つの新しい統合された議論マイニングタスクを提案する。(1) 姿勢分類付きクレーム抽出(CESC)と(2) クレーム・エビデンス・ペア抽出(CEPE)である。
論文 参考訳(メタデータ) (2022-03-23T08:07:32Z) - Traditional Machine Learning and Deep Learning Models for Argumentation
Mining in Russian Texts [0.0]
この領域におけるロシア語の研究の大きな障害は、注釈付きロシア語テキストコーパスの欠如である。
本稿では,ロシア語版Argumentative Micro Corpus(ArgMicro)を拡張したPersuasive Essays Corpus(PersEssays)の機械翻訳による議論の質向上の可能性を探る。
従来の機械学習技術(SVM, Bagging, XGBoost)とディープニューラルネットワークを用いて,議論的談話単位(ADU)を2つのクラス – "pro"(for)と"opp"(against)に分類する。
論文 参考訳(メタデータ) (2021-06-28T07:44:43Z) - Multilingual Neural RST Discourse Parsing [24.986030179701405]
本稿では,多言語ベクトル表現とセグメントレベルの翻訳によるニューラル言語間対話を確立するための2つの手法について検討する。
実験結果から,両手法は訓練データに制限があっても有効であり,言語横断的,文書レベルの談話解析における最先端性能を実現することができることがわかった。
論文 参考訳(メタデータ) (2020-12-03T05:03:38Z) - Unsupervised Bitext Mining and Translation via Self-trained Contextual
Embeddings [51.47607125262885]
不整合テキストから機械翻訳(MT)のための擬似並列コーパスを作成するための教師なし手法について述べる。
我々は多言語BERTを用いて、最寄りの検索のためのソースとターゲット文の埋め込みを作成し、自己学習によりモデルを適応する。
BUCC 2017 bitextマイニングタスクで並列文ペアを抽出し,F1スコアの最大24.5ポイント増加(絶対)を従来の教師なし手法と比較して観察することで,本手法の有効性を検証した。
論文 参考訳(メタデータ) (2020-10-15T14:04:03Z) - Topic Propagation in Conversational Search [0.0]
会話の文脈では、ユーザは、自然言語質問のシーケンスとして、多面的な情報を必要とすることを表現します。
筆者らは,2019 TREC Conversational Assistant Track (CAsT) フレームワークを用いて, (i) トピック認識発話の書き直し, (ii) 書き直された発話の候補節の検索, (iii) ニューラルネットワークによる候補節の再ランク付けを行う。
論文 参考訳(メタデータ) (2020-04-29T10:06:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。