論文の概要: Towards a Perspectivist Turn in Argument Quality Assessment
- arxiv url: http://arxiv.org/abs/2502.14501v1
- Date: Thu, 20 Feb 2025 12:30:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-21 14:28:01.450824
- Title: Towards a Perspectivist Turn in Argument Quality Assessment
- Title（参考訳）: 論証品質評価におけるパースペクティビストの転換に向けて
- Authors: Julia Romberg, Maximilian Maurer, Henning Wachsmuth, Gabriella Lapesa,
- Abstract要約: 議論品質データセットの体系的なレビューを行う。
品質の次元を整理し、だれが注釈を付けたかを説明します。
パースペクティビストモデルの開発に適したデータセットについて論じる。
- 参考スコア（独自算出の注目度）: 21.915319388303914
- License:
- Abstract: The assessment of argument quality depends on well-established logical, rhetorical, and dialectical properties that are unavoidably subjective: multiple valid assessments may exist, there is no unequivocal ground truth. This aligns with recent paths in machine learning, which embrace the co-existence of different perspectives. However, this potential remains largely unexplored in NLP research on argument quality. One crucial reason seems to be the yet unexplored availability of suitable datasets. We fill this gap by conducting a systematic review of argument quality datasets. We assign them to a multi-layered categorization targeting two aspects: (a) What has been annotated: we collect the quality dimensions covered in datasets and consolidate them in an overarching taxonomy, increasing dataset comparability and interoperability. (b) Who annotated: we survey what information is given about annotators, enabling perspectivist research and grounding our recommendations for future actions. To this end, we discuss datasets suitable for developing perspectivist models (i.e., those containing individual, non-aggregated annotations), and we showcase the importance of a controlled selection of annotators in a pilot study.
- Abstract（参考訳）: 議論の質の評価は、十分に確立された論理的、修辞的、弁証的特性に依存し、必然的に主観的である:複数の有効な評価が存在するかもしれない。
これは、さまざまな視点の共存を取り入れた最近の機械学習のパスと一致している。
しかし、このポテンシャルは、議論品質に関するNLP研究においてほとんど解明されていない。
重要な理由のひとつは、適切なデータセットがまだ探索されていないことだ。
議論品質データセットの体系的なレビューを行うことで、このギャップを埋める。
我々はこれらを2つの側面を対象とする多層分類に割り当てる。
(a) 注釈付けされたものは、データセットでカバーされる品質の次元を収集し、それらを包括的な分類で統合し、データセットのコンパビリティと相互運用性を高めます。
b) 注釈を付けた者: アノテーションについてどのような情報が与えられるかを調査し, パースペクティビストの研究を可能にし, 今後の行動に対する勧告を根拠づける。
そこで本研究では, パースペクティビストモデル(個別の非集約アノテーションを含むもの)の開発に適したデータセットについて論じ, パイロットスタディにおいて, アノテーションの制御された選択の重要性を示す。
関連論文リスト
- Feature Importance Depends on Properties of the Data: Towards Choosing the Correct Explanations for Your Data and Decision Trees based Models [3.8246193345000226]
局所的な説明法によって提供される特徴重要度推定の質を評価する。
これらの手法により得られた特徴重要度評価の規模と指標に顕著な差異が認められた。
評価はこれらの制限を強調し,様々な説明手法の適合性と信頼性に関する貴重な知見を提供する。
論文 参考訳（メタデータ） (2025-02-11T00:29:55Z) - Class-constrained t-SNE: Combining Data Features and Class Probabilities [1.3285222309805058]
本稿では,データ特徴とクラス確率を併用したクラス制約t-SNEを提案する。
モデル評価と視覚対話型ラベリングにおけるその応用可能性について述べる。
論文 参考訳（メタデータ） (2023-08-26T10:05:07Z) - Towards Reliable Assessments of Demographic Disparities in Multi-Label
Image Classifiers [11.973749734226852]
マルチラベル画像分類と,特に対象分類タスクについて検討する。
測定のための設計選択とトレードオフは、以前のコンピュータビジョン文学で議論されたよりもニュアンスが高い。
実装の詳細にだけ似ているが、評価の結論に大きな影響を及ぼすいくつかの設計選択を特定します。
論文 参考訳（メタデータ） (2023-02-16T20:34:54Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳（メタデータ） (2022-11-07T16:19:42Z) - Exploring the Trade-off between Plausibility, Change Intensity and
Adversarial Power in Counterfactual Explanations using Multi-objective
Optimization [73.89239820192894]
自動対物生成は、生成した対物インスタンスのいくつかの側面を考慮すべきである。
本稿では, 対実例生成のための新しい枠組みを提案する。
論文 参考訳（メタデータ） (2022-05-20T15:02:53Z) - Agreeing to Disagree: Annotating Offensive Language Datasets with
Annotators' Disagreement [7.288480094345606]
我々は、アノテータ間の合意のレベルに着目し、攻撃的な言語データセットを作成するためにデータを選択する。
本研究は、異なるトピックをカバーする英語ツイートの3つの新しいデータセットを作成することを含む。
合意の低さがあるような難しいケースは、必ずしも品質の悪いアノテーションによるものではないことを示す。
論文 参考訳（メタデータ） (2021-09-28T08:55:04Z) - ConvoSumm: Conversation Summarization Benchmark and Improved Abstractive
Summarization with Argument Mining [61.82562838486632]
我々は、さまざまなオンライン会話形式のニュースコメント、ディスカッションフォーラム、コミュニティ質問応答フォーラム、電子メールスレッドに関する4つの新しいデータセットをクラウドソースする。
我々は、データセットの最先端モデルをベンチマークし、データに関連する特徴を分析します。
論文 参考訳（メタデータ） (2021-06-01T22:17:13Z) - Learning From Revisions: Quality Assessment of Claims in Argumentation
at Scale [12.883536911500062]
本研究は,同一クレームの異なるリビジョンを比較することにより,議論された側面に関わらずクレーム品質評価を行う。
本稿では,どのリビジョンペアのクレームがよいかを評価し,クレームのすべてのバージョンを品質でランク付けする2つのタスクを提案する。
論文 参考訳（メタデータ） (2021-01-25T17:32:04Z) - Through the Data Management Lens: Experimental Analysis and Evaluation
of Fair Classification [75.49600684537117]
データ管理研究は、データとアルゴリズムの公平性に関連するトピックに対する存在感と関心が高まっている。
我々は,その正しさ,公平性,効率性,スケーラビリティ,安定性よりも,13の公正な分類アプローチと追加の変種を幅広く分析している。
我々の分析は、異なるメトリクスとハイレベルなアプローチ特性がパフォーマンスの異なる側面に与える影響に関する新しい洞察を強調します。
論文 参考訳（メタデータ） (2021-01-18T22:55:40Z) - Towards Understanding Sample Variance in Visually Grounded Language
Generation: Evaluations and Observations [67.4375210552593]
視覚的基盤言語生成において,重要だがしばしば無視される問題を理解するために実験を設計する。
人間にはさまざまなユーティリティと視覚的注意があるので、マルチ参照データセットのサンプルのばらつきはモデルの性能にどのように影響しますか?
人為的な参照は、異なるデータセットやタスクで大きく変化する可能性があり、それぞれのタスクの性質が明らかになる。
論文 参考訳（メタデータ） (2020-10-07T20:45:14Z) - Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
データ管理の統合コンポーネントにおける公平性について検討する。
本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
論文 参考訳（メタデータ） (2020-06-10T20:20:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。