Fugu-MT 論文翻訳(概要): Intrinsic Quality Assessment of Arguments

論文の概要: Intrinsic Quality Assessment of Arguments

arxiv url: http://arxiv.org/abs/2010.12473v1
Date: Fri, 23 Oct 2020 15:16:10 GMT
ステータス: 処理完了
システム内更新日: 2022-10-03 22:44:20.068309
Title: Intrinsic Quality Assessment of Arguments
Title（参考訳）: 議論の本質的品質評価
Authors: Henning Wachsmuth and Till Werner
Abstract要約: 本研究では,15次元の本質的な計算的評価,すなわち議論のテキストからのみ学習する手法について検討する。ほとんどの領域において、中等度ではあるが重要な学習の成功を観察します。
参考スコア（独自算出の注目度）: 21.261009977405898
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Several quality dimensions of natural language arguments have been investigated. Some are likely to be reflected in linguistic features (e.g., an argument's arrangement), whereas others depend on context (e.g., relevance) or topic knowledge (e.g., acceptability). In this paper, we study the intrinsic computational assessment of 15 dimensions, i.e., only learning from an argument's text. In systematic experiments with eight feature types on an existing corpus, we observe moderate but significant learning success for most dimensions. Rhetorical quality seems hardest to assess, and subjectivity features turn out strong, although length bias in the corpus impedes full validity. We also find that human assessors differ more clearly to each other than to our approach.
Abstract（参考訳）: 自然言語論のいくつかの品質次元が研究されている。言語的特徴(例えば、議論の配列)に反映されるものもあれば、文脈(例えば、関連性)や話題知識(例えば、受容可能性)に依存するものもある。本稿では,15次元内在的計算量評価,すなわち,引数のテキストからのみ学習する手法について検討する。既存のコーパスに8つの特徴型を持つ体系的な実験では、ほとんどの次元において中程度だが有意な学習成功を観察する。修辞的品質は評価するのが最も難しく、主観的特徴は強いが、コーパスの長さバイアスは完全な妥当性を阻害する。また、人間の評価者は、我々のアプローチよりも互いに明確に異なることが分かりました。

関連論文リスト

ConSiDERS-The-Human Evaluation Framework: Rethinking Human Evaluation for Generative Large Language Models [53.00812898384698]
生成型大規模言語モデル(LLM)の人間による評価は多分野にわたる作業であるべきだと論じる。認知バイアスが、流動的な情報や真理をいかに説明するか、そして、認識の不確実性が、Likertのような評価スコアの信頼性にどのように影響するかを強調します。本稿では,ConSiDERS-The-Human評価フレームワークを提案する。一貫性,スコーリング基準,差別化,ユーザエクスペリエンス,責任,スケーラビリティの6つの柱からなる。
論文参考訳（メタデータ） (2024-05-28T22:45:28Z)
Argument Quality Assessment in the Age of Instruction-Following Large Language Models [45.832808321166844]
そのような応用において重要なタスクは、議論の質を評価することである。我々は,質概念の多様性と認識の主観性を,議論品質評価における実質的な進歩への主要なハードルとみなす。インストラクション追従型大規模言語モデル(LLM)がコンテキストを越えた知識を活用できることは,より信頼性の高い評価を可能にしている,と我々は主張する。
論文参考訳（メタデータ） (2024-03-24T10:43:21Z)
Which Argumentative Aspects of Hate Speech in Social Media can be reliably identified? [2.7647400328727256]
議論のどの側面が言語モデルに確実に識別され、統合されるのかは、不明である。いくつかのコンポーネントが合理的な信頼性で識別可能であることを示す。より確実に再現できるカテゴリの適応を提案する。
論文参考訳（メタデータ） (2023-06-05T15:50:57Z)
Modeling Appropriate Language in Argumentation [34.90028129715041]
議論において適切な言語を初めて運用する。オンライン議論において不適切な言語を決定する14の次元の新しい分類法を導出する。
論文参考訳（メタデータ） (2023-05-24T09:17:05Z)
Natural Language Decompositions of Implicit Content Enable Better Text Representations [56.85319224208865]
本稿では,暗黙的に伝達されたコンテンツを明示的に考慮したテキスト分析手法を提案する。我々は大きな言語モデルを用いて、観察されたテキストと推論的に関係する命題の集合を生成する。本研究は,NLPにおいて,文字のみではなく,観察された言語の背景にある意味をモデル化することが重要であることを示唆する。
論文参考訳（メタデータ） (2023-05-23T23:45:20Z)
How Do In-Context Examples Affect Compositional Generalization? [86.57079616209474]
本稿では,コンテクスト内構成一般化を検証するためのテストスイートであるCoFeを提案する。構成一般化性能は、文脈内例の選択によって容易に影響を受けることが判明した。我々の系統実験は、文脈内サンプルは、テストケースと構造的に似ており、互いに異なっており、個別に単純であることを示します。
論文参考訳（メタデータ） (2023-05-08T16:32:18Z)
Towards a Holistic View on Argument Quality Prediction [3.182597245365433]
議論の決定的な性質は、その強さまたは品質である。議論の強さを自動推定する作業は存在するが、その範囲は狭い。多様な領域にわたる議論品質推定の一般化能力,関連する議論マイニング課題との相互作用,および知覚された議論強度に対する感情の影響を評価する。
論文参考訳（メタデータ） (2022-05-19T18:44:23Z)
Learning From Revisions: Quality Assessment of Claims in Argumentation at Scale [12.883536911500062]
本研究は,同一クレームの異なるリビジョンを比較することにより,議論された側面に関わらずクレーム品質評価を行う。本稿では,どのリビジョンペアのクレームがよいかを評価し,クレームのすべてのバージョンを品質でランク付けする2つのタスクを提案する。
論文参考訳（メタデータ） (2021-01-25T17:32:04Z)
A computational model implementing subjectivity with the 'Room Theory'. The case of detecting Emotion from Text [68.8204255655161]
本研究は,テキスト分析における主観性と一般的文脈依存性を考慮した新しい手法を提案する。単語間の類似度を用いて、ベンチマーク中の要素の相対的関連性を抽出することができる。この方法は、主観的評価がテキストの相対値や意味を理解するために関係しているすべてのケースに適用できる。
論文参考訳（メタデータ） (2020-05-12T21:26:04Z)
SubjQA: A Dataset for Subjectivity and Review Comprehension [52.13338191442912]
主観性と質問応答(QA)の関係について検討する。主観性は、主観性とQAパフォーマンスのより複雑な相互作用があるにもかかわらず、QAの場合においても重要な特徴であることがわかった。顧客レビューに基づいた英語のQAデータセット(SubjQA)をリリースし、6つの異なるドメインにまたがる質問や回答に対する主観的アノテーションを含む。
論文参考訳（メタデータ） (2020-04-29T15:59:30Z)
A Deep Neural Framework for Contextual Affect Detection [51.378225388679425]
感情を持たない短い単純なテキストは、その文脈と共に読むときに強い感情を表現することができる。文中の単語の相互依存を学習する文脈影響検出フレームワークを提案する。
論文参考訳（メタデータ） (2020-01-28T05:03:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。