論文の概要: RuArg-2022: Argument Mining Evaluation
- arxiv url: http://arxiv.org/abs/2206.09249v1
- Date: Sat, 18 Jun 2022 17:13:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-22 15:50:37.163997
- Title: RuArg-2022: Argument Mining Evaluation
- Title(参考訳): ruarg-2022: 引数マイニングの評価
- Authors: Evgeny Kotelnikov, Natalia Loukachevitch, Irina Nikishina, Alexander
Panchenko
- Abstract要約: 本稿は、ロシア語テキストを扱う議論分析システムの最初のコンペティションの主催者の報告である。
新型コロナウイルスの感染拡大に伴う3つの話題について、9,550文(ソーシャルメディア投稿記事)のコーパスを用意した。
両タスクで第一位を獲得したシステムは、BERTアーキテクチャのNLI(Natural Language Inference)変種を使用した。
- 参考スコア(独自算出の注目度): 69.87149207721035
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Argumentation analysis is a field of computational linguistics that studies
methods for extracting arguments from texts and the relationships between them,
as well as building argumentation structure of texts. This paper is a report of
the organizers on the first competition of argumentation analysis systems
dealing with Russian language texts within the framework of the Dialogue
conference. During the competition, the participants were offered two tasks:
stance detection and argument classification. A corpus containing 9,550
sentences (comments on social media posts) on three topics related to the
COVID-19 pandemic (vaccination, quarantine, and wearing masks) was prepared,
annotated, and used for training and testing. The system that won the first
place in both tasks used the NLI (Natural Language Inference) variant of the
BERT architecture, automatic translation into English to apply a specialized
BERT model, retrained on Twitter posts discussing COVID-19, as well as
additional masking of target entities. This system showed the following
results: for the stance detection task an F1-score of 0.6968, for the argument
classification task an F1-score of 0.7404. We hope that the prepared dataset
and baselines will help to foster further research on argument mining for the
Russian language.
- Abstract(参考訳): 論証分析は、テキストから引数を抽出する手法とそれら間の関係、およびテキストの議論構造を構築するための計算言語学の分野である。
本稿では,対話会議の枠組みの中でロシア語テキストを扱う議論分析システムに関する第1回コンペティションを主催者らに報告する。
競技中、参加者はスタンス検出と引数分類の2つのタスクを提示された。
新型コロナウイルス(covid-19)のパンデミックに関連する3つの話題(予防接種、隔離、マスク着用)に関する9,550文(ソーシャルメディア投稿の投稿)のコーパスを作成し、注釈を付け、訓練とテストに使用した。
両タスクで第1位を獲得したシステムは、bertアーキテクチャのnli(natural language inference)変種、専用のbertモデルを適用するための英語への自動翻訳、covid-19について議論するtwitter投稿で再トレーニング、ターゲットエンティティのマスキングなどを使用していた。
姿勢検出タスクでは, f1-score が 0.6968, 引数分類タスクが 0.7404, f1-score が 0.744。
準備されたデータセットとベースラインが、ロシア語の議論マイニングに関するさらなる研究を促進することを願っている。
関連論文リスト
- Argue with Me Tersely: Towards Sentence-Level Counter-Argument
Generation [62.069374456021016]
本稿では,文レベル逆問題生成のためのArgTerselyベンチマークを提案する。
また,Arg-LlaMAによる高品質な逆問題生成手法を提案する。
論文 参考訳(メタデータ) (2023-12-21T06:51:34Z) - Legend at ArAIEval Shared Task: Persuasion Technique Detection using a
Language-Agnostic Text Representation Model [1.3506669466260708]
本稿では,アラビアNLP 2023において,アラビアAIタスク評価チャレンジ(ArAIEval)への最高の成果を公表する。
タスク1は、ツイートやニュース記事からの抜粋における説得テクニックを特定することに焦点を当てました。
アラビア文字の説得法は,言語に依存しないテキスト表現モデルであるXLM-RoBERTaを用いて訓練ループを用いて検出された。
論文 参考訳(メタデータ) (2023-10-14T20:27:04Z) - Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language
Modelling [70.23876429382969]
本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。
ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。
また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
論文 参考訳(メタデータ) (2023-07-16T15:18:25Z) - Uncovering the Potential of ChatGPT for Discourse Analysis in Dialogue:
An Empirical Study [51.079100495163736]
本稿では、トピックセグメンテーションと談話解析という2つの談話分析タスクにおけるChatGPTの性能を体系的に検証する。
ChatGPTは、一般的なドメイン間会話においてトピック構造を特定する能力を示すが、特定のドメイン間会話ではかなり困難である。
我々のより深い調査は、ChatGPTは人間のアノテーションよりも合理的なトピック構造を提供するが、階層的なレトリック構造を線形に解析することしかできないことを示唆している。
論文 参考訳(メタデータ) (2023-05-15T07:14:41Z) - IAM: A Comprehensive and Large-Scale Dataset for Integrated Argument
Mining Tasks [59.457948080207174]
本稿では,一連の議論マイニングタスクに適用可能なIAMという,包括的で大規模なデータセットを提案する。
データセットの70k近い文は、引数特性に基づいて完全に注釈付けされている。
議論準備プロセスに関連する2つの新しい統合された議論マイニングタスクを提案する。(1) 姿勢分類付きクレーム抽出(CESC)と(2) クレーム・エビデンス・ペア抽出(CEPE)である。
論文 参考訳(メタデータ) (2022-03-23T08:07:32Z) - Traditional Machine Learning and Deep Learning Models for Argumentation
Mining in Russian Texts [0.0]
この領域におけるロシア語の研究の大きな障害は、注釈付きロシア語テキストコーパスの欠如である。
本稿では,ロシア語版Argumentative Micro Corpus(ArgMicro)を拡張したPersuasive Essays Corpus(PersEssays)の機械翻訳による議論の質向上の可能性を探る。
従来の機械学習技術(SVM, Bagging, XGBoost)とディープニューラルネットワークを用いて,議論的談話単位(ADU)を2つのクラス – "pro"(for)と"opp"(against)に分類する。
論文 参考訳(メタデータ) (2021-06-28T07:44:43Z) - "Sharks are not the threat humans are": Argument Component Segmentation
in School Student Essays [3.632177840361928]
中学生が執筆した議論的エッセイのコーパスから,クレームと前提トークンを識別するためにトークンレベルの分類を適用する。
BERTに基づくマルチタスク学習アーキテクチャ(トークンと文レベルの分類)が、関連する未ラベルデータセット上で適応的に事前訓練され、最良の結果が得られることを示す。
論文 参考訳(メタデータ) (2021-03-08T02:40:07Z) - Multilingual Neural RST Discourse Parsing [24.986030179701405]
本稿では,多言語ベクトル表現とセグメントレベルの翻訳によるニューラル言語間対話を確立するための2つの手法について検討する。
実験結果から,両手法は訓練データに制限があっても有効であり,言語横断的,文書レベルの談話解析における最先端性能を実現することができることがわかった。
論文 参考訳(メタデータ) (2020-12-03T05:03:38Z) - Unsupervised Bitext Mining and Translation via Self-trained Contextual
Embeddings [51.47607125262885]
不整合テキストから機械翻訳(MT)のための擬似並列コーパスを作成するための教師なし手法について述べる。
我々は多言語BERTを用いて、最寄りの検索のためのソースとターゲット文の埋め込みを作成し、自己学習によりモデルを適応する。
BUCC 2017 bitextマイニングタスクで並列文ペアを抽出し,F1スコアの最大24.5ポイント増加(絶対)を従来の教師なし手法と比較して観察することで,本手法の有効性を検証した。
論文 参考訳(メタデータ) (2020-10-15T14:04:03Z) - Topic Propagation in Conversational Search [0.0]
会話の文脈では、ユーザは、自然言語質問のシーケンスとして、多面的な情報を必要とすることを表現します。
筆者らは,2019 TREC Conversational Assistant Track (CAsT) フレームワークを用いて, (i) トピック認識発話の書き直し, (ii) 書き直された発話の候補節の検索, (iii) ニューラルネットワークによる候補節の再ランク付けを行う。
論文 参考訳(メタデータ) (2020-04-29T10:06:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。