論文の概要: Towards a Holistic View on Argument Quality Prediction
- arxiv url: http://arxiv.org/abs/2205.09803v1
- Date: Thu, 19 May 2022 18:44:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-23 12:46:35.897571
- Title: Towards a Holistic View on Argument Quality Prediction
- Title(参考訳): 議論品質予測に関する総合的視点に向けて
- Authors: Michael Fromm, Max Berrendorf, Johanna Reiml, Isabelle Mayerhofer,
Siddharth Bhargava, Evgeniy Faerman, Thomas Seidl
- Abstract要約: 議論の決定的な性質は、その強さまたは品質である。
議論の強さを自動推定する作業は存在するが、その範囲は狭い。
多様な領域にわたる議論品質推定の一般化能力,関連する議論マイニング課題との相互作用,および知覚された議論強度に対する感情の影響を評価する。
- 参考スコア(独自算出の注目度): 3.182597245365433
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Argumentation is one of society's foundational pillars, and, sparked by
advances in NLP and the vast availability of text data, automated mining of
arguments receives increasing attention. A decisive property of arguments is
their strength or quality. While there are works on the automated estimation of
argument strength, their scope is narrow: they focus on isolated datasets and
neglect the interactions with related argument mining tasks, such as argument
identification, evidence detection, or emotional appeal. In this work, we close
this gap by approaching argument quality estimation from multiple different
angles: Grounded on rich results from thorough empirical evaluations, we assess
the generalization capabilities of argument quality estimation across diverse
domains, the interplay with related argument mining tasks, and the impact of
emotions on perceived argument strength. We find that generalization depends on
a sufficient representation of different domains in the training part. In
zero-shot transfer and multi-task experiments, we reveal that argument quality
is among the more challenging tasks but can improve others. Finally, we show
that emotions play a minor role in argument quality than is often assumed.
- Abstract(参考訳): 論証は社会の基礎的な柱の1つであり、NLPの進歩とテキストデータの広範囲な利用によって引き起こされ、議論の自動化が注目を集めている。
議論の決定的な特性は、その強さまたは品質である。
議論の強さを自動推定する作業は存在するが、その範囲は狭く、孤立したデータセットに注目し、議論の識別や証拠検出、感情的な魅力といった関連する議論のマイニングタスクとの相互作用を無視している。
本研究では,複数の異なる角度から議論品質推定にアプローチすることで,このギャップを解消する:徹底的な経験的評価から得られた豊富な結果に基づいて,多様な領域にわたる議論品質推定の一般化能力,関連する議論マイニングタスクとの相互作用,感情が議論の知覚力に与える影響を評価する。
一般化は訓練部の異なる領域の十分な表現に依存することが分かる。
ゼロショット転送やマルチタスク実験では、引数の品質はより難しいタスクの1つだが、他のタスクを改善できることを明らかにしている。
最後に,感情はしばしば想定されるよりも,議論の品質において小さい役割を担っていることを示す。
関連論文リスト
- Persuasiveness of Generated Free-Text Rationales in Subjective Decisions: A Case Study on Pairwise Argument Ranking [4.1017420444369215]
主観的回答を伴うタスクにおいて生成した自由文論理を解析する。
我々は、現実世界のアプリケーションにとって大きな可能性を持つ、非常に主観的なタスクであるペアワイズ引数ランキングに焦点を当てる。
以上の結果から,Llama2-70B-chat のオープンソース LLM は高い説得力のある合理化を実現できることが示唆された。
論文 参考訳(メタデータ) (2024-06-20T00:28:33Z) - Argument Quality Assessment in the Age of Instruction-Following Large Language Models [45.832808321166844]
そのような応用において重要なタスクは、議論の質を評価することである。
我々は,質概念の多様性と認識の主観性を,議論品質評価における実質的な進歩への主要なハードルとみなす。
インストラクション追従型大規模言語モデル(LLM)がコンテキストを越えた知識を活用できることは,より信頼性の高い評価を可能にしている,と我々は主張する。
論文 参考訳(メタデータ) (2024-03-24T10:43:21Z) - Argue with Me Tersely: Towards Sentence-Level Counter-Argument
Generation [62.069374456021016]
本稿では,文レベル逆問題生成のためのArgTerselyベンチマークを提案する。
また,Arg-LlaMAによる高品質な逆問題生成手法を提案する。
論文 参考訳(メタデータ) (2023-12-21T06:51:34Z) - DiPlomat: A Dialogue Dataset for Situated Pragmatic Reasoning [89.92601337474954]
プラグマティック推論は、実生活における会話でしばしば起こる暗黙の意味を解読する上で重要な役割を担っている。
そこで我々は,現実的な推論と会話理解の場所に関するマシンの能力のベンチマークを目的とした,新しい挑戦であるDiPlomatを紹介した。
論文 参考訳(メタデータ) (2023-06-15T10:41:23Z) - Contextualizing Argument Quality Assessment with Relevant Knowledge [11.367297319588411]
SPARKは、関連する知識による文脈化に基づく議論品質を評価するための新しい手法である。
我々は、大きな言語モデルを利用してフィードバックを提供したり、隠れた仮定を推測したり、同様の品質の議論を提供したり、あるいは反論をしたりする4つの拡張を考案する。
論文 参考訳(メタデータ) (2023-05-20T21:04:58Z) - Diversity Over Size: On the Effect of Sample and Topic Sizes for Topic-Dependent Argument Mining Datasets [49.65208986436848]
本研究では,アーギュメント・マイニング・データセットの構成が,少数・ゼロショット設定における影響について検討する。
実験結果から, モデル性能の達成には微調整が必須であるが, 慎重に構成したトレーニングサンプルを用いることで, トレーニングサンプルサイズを最大90%まで下げることで, 最大性能の95%を達成できることがわかった。
論文 参考訳(メタデータ) (2022-05-23T17:14:32Z) - Argument Undermining: Counter-Argument Generation by Attacking Weak
Premises [31.463885580010192]
我々は、議論を損なうこと、すなわち、その前提の1つを攻撃することによって議論に逆らうことを探る。
そこで我々は,まず前提の強度を評価し,弱体化をターゲットとした逆問題を生成するパイプライン手法を提案する。
論文 参考訳(メタデータ) (2021-05-25T08:39:14Z) - Argument Mining Driven Analysis of Peer-Reviews [4.552676857046446]
本稿では,編集者,メタレビュアー,レビュアーの支援を目的としたArgument Miningに基づくアプローチを提案する。
以上の知見の1つは、ピアレビュープロセスで使われる引数が他のドメインの引数とは異なるため、事前学習されたモデルの転送が困難であるということです。
私たちは、注釈付き引数を持つさまざまなコンピュータサイエンス会議の新しいピアレビューデータセットをコミュニティに提供します。
論文 参考訳(メタデータ) (2020-12-10T16:06:21Z) - Aspect-Controlled Neural Argument Generation [65.91772010586605]
我々は、与えられたトピック、スタンス、アスペクトの文レベル引数を生成するために、きめ細かいレベルで制御できる引数生成のための言語モデルを訓練する。
評価の結果,我々の生成モデルは高品質なアスペクト特異的な議論を生成できることがわかった。
これらの議論は、データ拡張による姿勢検出モデルの性能向上と、逆問題の生成に使用できる。
論文 参考訳(メタデータ) (2020-04-30T20:17:22Z) - What Changed Your Mind: The Roles of Dynamic Topics and Discourse in
Argumentation Process [78.4766663287415]
本稿では,議論の説得力において重要な要因を自動的に分析する研究について述べる。
議論的会話における潜在トピックや談話の変化を追跡できる新しいニューラルモデルを提案する。
論文 参考訳(メタデータ) (2020-02-10T04:27:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。