論文の概要: Transformer-Based Models for Automatic Identification of Argument
Relations: A Cross-Domain Evaluation
- arxiv url: http://arxiv.org/abs/2011.13187v2
- Date: Thu, 15 Apr 2021 11:47:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-20 08:47:23.367306
- Title: Transformer-Based Models for Automatic Identification of Argument
Relations: A Cross-Domain Evaluation
- Title（参考訳）: 議論関係の自動同定のためのトランスベースモデル:クロスドメイン評価
- Authors: Ramon Ruiz-Dolz, Stella Heras, Jose Alemany, Ana Garc\'ia-Fornes
- Abstract要約: 本稿では,議論関係の予測において,変圧器を用いたモデルの挙動を網羅的に解析する。
より少ないドメイン依存モデルを見つけることを目的として、5つの異なるドメインでモデルを評価する。
We obtained a macro F1-score of 0.70 with the US 2016 evaluation corpus and a macro F1-score of 0.61 with the Moral Maze cross- domain corpus。
- 参考スコア（独自算出の注目度）: 4.129225533930966
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Argument Mining is defined as the task of automatically identifying and
extracting argumentative components (e.g., premises, claims, etc.) and
detecting the existing relations among them (i.e., support, attack, rephrase,
no relation). One of the main issues when approaching this problem is the lack
of data, and the size of the publicly available corpora. In this work, we use
the recently annotated US2016 debate corpus. US2016 is the largest existing
argument annotated corpus, which allows exploring the benefits of the most
recent advances in Natural Language Processing in a complex domain like
Argument (relation) Mining. We present an exhaustive analysis of the behavior
of transformer-based models (i.e., BERT, XLNET, RoBERTa, DistilBERT and ALBERT)
when predicting argument relations. Finally, we evaluate the models in five
different domains, with the objective of finding the less domain dependent
model. We obtain a macro F1-score of 0.70 with the US2016 evaluation corpus,
and a macro F1-score of 0.61 with the Moral Maze cross-domain corpus.
- Abstract（参考訳）: 引数マイニングは、議論的コンポーネント(例えば、前提、クレームなど)を自動的に識別し、抽出し、それらの間の既存の関係(例えば、サポート、攻撃、言い換え、関係なし)を検出するタスクとして定義される。
この問題に取り組む上で大きな問題のひとつは、データの欠如と、公開されているコーパスのサイズだ。
この作業では、最近アノテーション付きUS2016議論コーパスを使用します。
US2016は、Argument (relation) Miningのような複雑なドメインにおいて、自然言語処理の最新の進歩の利点を探求することのできる、既存の最大の引数付コーパスである。
本稿では,変圧器モデル(BERT, XLNET, RoBERTa, DistilBERT, ALBERT)の係り受け関係を予測する際の挙動を網羅的に解析する。
最後に、5つの異なるドメインでモデルを評価し、ドメイン依存の少ないモデルを見つけることを目的とする。
マクロf1-scoreはus2016評価コーパスで0.70、マクロf1-scoreは0.61、モラル迷路クロスドメインコーパスは0.61である。
関連論文リスト
- Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。
我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
論文 参考訳（メタデータ） (2024-05-31T20:15:10Z) - Revisiting a Pain in the Neck: Semantic Phrase Processing Benchmark for Language Models [10.482557806309174]
セマンティックフレーズ処理タスクにおける言語モデル(LM)のテストを可能にする総合評価スイートであるLexBenchを紹介する。
我々のベンチマークにより、モデルアーキテクチャにおける15のLMの性能と、分類、抽出、解釈タスクにおけるパラメータスケールを評価する。
我々のベンチマーク結果は,意味的フレーズ理解におけるLMの汎用的能力の向上を目的とした今後の研究に役立つだろう。
論文 参考訳（メタデータ） (2024-05-05T09:20:38Z) - Efficient argument classification with compact language models and ChatGPT-4 refinements [0.0]
本稿では,議論マイニングにおける深層学習モデルの比較研究について述べる。
本稿では,BERTアーキテクチャに基づくアンサンブルモデルと,微調整モデルとしてのChatGPT-4について述べる。
以上の結果から,BERT+ChatGPT-4は他のTransformerベースモデルやLSTMベースモデルよりも優れた性能を示した。
論文 参考訳（メタデータ） (2024-03-20T16:24:10Z) - Paloma: A Benchmark for Evaluating Language Model Fit [114.63031978259467]
言語モデルアセスメント(Paloma)は585のテキストドメインに適合する。
一般的なコーパスで事前学習したベースラインの結果をベンチマークに投入する。
論文 参考訳（メタデータ） (2023-12-16T19:12:45Z) - On Context Utilization in Summarization with Large Language Models [83.84459732796302]
大きな言語モデル(LLM)は抽象的な要約タスクに優れ、流動的で関連する要約を提供する。
最近の進歩は、100kトークンを超える長期入力コンテキストを扱う能力を拡張している。
要約における文脈利用と位置バイアスに関する最初の総合的研究を行う。
論文 参考訳（メタデータ） (2023-10-16T16:45:12Z) - Generating Benchmarks for Factuality Evaluation of Language Models [61.69950787311278]
FACTOR: Factual Assessment via Corpus Transformation, a scalable approach for LM factuality。
FACTORは、興味のある事実のコーパスをLMの正当性を評価するベンチマークに自動的に変換し、コーパスから真事実を生成する。
その結果, (i) ベンチマークスコアはモデルサイズに応じて増加し, LMが検索によって拡張されたときに向上する; (ii) ベンチマークスコアとパープレキシティは必ずしもモデルランキングに一致しない; (iii) パープレキシティとベンチマークスコアが一致しない場合, 後者はオープンエンド世代における事実性を反映する。
論文 参考訳（メタデータ） (2023-07-13T17:14:38Z) - Automatic Evaluation of Attribution by Large Language Models [24.443271739599194]
大規模言語モデル(LLM)による属性の自動評価について検討する。
まず、異なる種類の属性エラーを定義し、次に自動評価のための2つのアプローチを検討する。
生成検索エンジンNew Bingから12ドメインをカバーする一連のテスト例を手作業でキュレートする。
論文 参考訳（メタデータ） (2023-05-10T16:58:33Z) - Neuro-Symbolic Language Modeling with Automaton-augmented Retrieval [129.25914272977542]
RetoMatonはデータストア上に構築された重み付き有限オートマトンである。
LM推論と並行して、このオートマトンを推論時にトラバースすることは、その複雑さを減少させる。
論文 参考訳（メタデータ） (2022-01-28T21:38:56Z) - Assessing Robustness of Text Classification through Maximal Safe Radius
Computation [21.05890715709053]
本研究の目的は,単語が同義語のような妥当な代替語に置き換えられた場合,モデル予測が変化しない保証を提供することである。
強靭性の尺度として、与えられた入力テキストに対して最大安全半径という概念を採用し、これは決定境界への埋め込み空間の最小距離である。
上界計算では,モンテカルロ木探索と構文フィルタリングを併用して,単語置換と単語置換の効果を解析する。
論文 参考訳（メタデータ） (2020-10-01T09:46:32Z) - Relation of the Relations: A New Paradigm of the Relation Extraction
Problem [52.21210549224131]
我々は,関係抽出(RE)の新たなパラダイムを提案し,同じ文脈におけるすべての関係の予測を総合的に検討する。
我々は、手作りのルールを必要としないデータ駆動型アプローチを開発し、グラフニューラルネットワークと関係行列変換器を用いた関係関係(RoR)をそれ自体で学習する。
実験の結果、私たちのモデルはACE05データセットでは+1.12%、SemEval 2018 Task 7.2では2.55%で最先端のアプローチよりも優れています。
論文 参考訳（メタデータ） (2020-06-05T22:25:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。