論文の概要: Creating a Domain-diverse Corpus for Theory-based Argument Quality Assessment

• arxiv url: http://arxiv.org/abs/2011.01589v1
• Date: Tue, 3 Nov 2020 09:40:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 04:43:29.819434
• Title: Creating a Domain-diverse Corpus for Theory-based Argument Quality Assessment
• Title（参考訳）: 理論に基づく議論品質評価のためのドメイン多様性コーパスの作成
• Authors: Lily Ng, Anne Lauscher, Joel Tetreault, Courtney Napoles
• Abstract要約: GAQCorpus は理論ベース AQ の最初の大領域多元アノテートコーパスである。 本稿では,クラウドソーシングによる多数の判断を確実に収集するアノテーションタスクの設計方法について論じる。 本研究は,理論に基づく議論アノテーションの研究を報告し,より多様なコーパスを作成して計算AQアセスメントを支援することを目的とする。
• 参考スコア（独自算出の注目度）: 6.654552816487819
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Computational models of argument quality (AQ) have focused primarily on assessing the overall quality or just one specific characteristic of an argument, such as its convincingness or its clarity. However, previous work has claimed that assessment based on theoretical dimensions of argumentation could benefit writers, but developing such models has been limited by the lack of annotated data. In this work, we describe GAQCorpus, the first large, domain-diverse annotated corpus of theory-based AQ. We discuss how we designed the annotation task to reliably collect a large number of judgments with crowdsourcing, formulating theory-based guidelines that helped make subjective judgments of AQ more objective. We demonstrate how to identify arguments and adapt the annotation task for three diverse domains. Our work will inform research on theory-based argumentation annotation and enable the creation of more diverse corpora to support computational AQ assessment.
• Abstract（参考訳）: 議論品質の計算モデル(AQ)は、主に、その説得力や明快さなど、議論の全体的な品質または1つの特定の特性を評価することに焦点を当てている。 しかし、以前の研究は、議論の理論的な次元に基づく評価は作家にとって有益であると主張したが、そのようなモデルの開発は注釈付きデータの欠如によって制限されている。 本稿では,理論に基づくAQの最初の大域多言語コーパスであるGAQCorpusについて述べる。 我々は,AQの主観的判断をより客観的にするための理論に基づくガイドラインを定式化した,クラウドソーシングによる多数の判断を確実に収集するアノテーションタスクを設計した方法について論じる。 3つの異なるドメインに対して、引数を識別し、アノテーションタスクを適用する方法を示します。 本研究は,理論に基づく議論アノテーションの研究を報告し,より多様なコーパスの作成により,計算AQアセスメントを支援する。

関連論文リスト

• The Foundations of Tokenization: Statistical and Computational Concerns [51.370165245628975]
  トークン化は、NLPパイプラインにおける重要なステップである。 NLPにおける標準表現法としての重要性は認識されているが、トークン化の理論的基盤はまだ完全には理解されていない。 本稿では,トークン化モデルの表現と解析のための統一的な形式的枠組みを提案することによって,この理論的ギャップに対処することに貢献している。
  論文  参考訳（メタデータ） (2024-07-16T11:12:28Z)
• Argument Quality Assessment in the Age of Instruction-Following Large Language Models [45.832808321166844]
  そのような応用において重要なタスクは、議論の質を評価することである。 我々は,質概念の多様性と認識の主観性を,議論品質評価における実質的な進歩への主要なハードルとみなす。 インストラクション追従型大規模言語モデル(LLM)がコンテキストを越えた知識を活用できることは,より信頼性の高い評価を可能にしている,と我々は主張する。
  論文  参考訳（メタデータ） (2024-03-24T10:43:21Z)
• Generation of Explanations for Logic Reasoning [0.0]
  この研究は、GPT-3.5-turboを用いて、フォーティオリの議論の分析を自動化することに集中している。 この論文は人工知能と論理的推論の分野に多大な貢献をしている。
  論文  参考訳（メタデータ） (2023-11-22T15:22:04Z)
• Coherent Entity Disambiguation via Modeling Topic and Categorical Dependency [87.16283281290053]
  従来のエンティティ曖昧化(ED)メソッドは、参照コンテキストと候補エンティティの一致するスコアに基づいて予測を行う、識別パラダイムを採用している。 本稿では,エンティティ予測のコヒーレンス向上を目的とした新しいデザインを備えたEDシステムであるCoherentedを提案する。 我々は、人気EDベンチマークにおいて、平均1.3F1ポイントの改善により、最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-11-06T16:40:13Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach [77.61131357420201]
  我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。 我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。 我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
  論文  参考訳（メタデータ） (2022-11-07T16:19:42Z)
• Learning From Revisions: Quality Assessment of Claims in Argumentation at Scale [12.883536911500062]
  本研究は,同一クレームの異なるリビジョンを比較することにより,議論された側面に関わらずクレーム品質評価を行う。 本稿では,どのリビジョンペアのクレームがよいかを評価し,クレームのすべてのバージョンを品質でランク付けする2つのタスクを提案する。
  論文  参考訳（メタデータ） (2021-01-25T17:32:04Z)
• Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
  アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。 次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
  論文  参考訳（メタデータ） (2020-10-13T21:33:24Z)
• A Generalised Approach for Encoding and Reasoning with Qualitative Theories in Answer Set Programming [3.963609604649393]
  バイナリ関係を持つ定性計算を扱えるASPエンコーディングのファミリーが提案されている。 本論文はTPLPの受容について検討中である。
  論文  参考訳（メタデータ） (2020-08-04T13:31:25Z)
• Rhetoric, Logic, and Dialectic: Advancing Theory-based Argument Quality Assessment in Natural Language Processing [6.654552816487819]
  GAQコーパス(GAQCorpus):理論に基づくAQスコアを付加した最初の大規模英語マルチドメイン(コミュニティQ&Aフォーラム、議論フォーラム、レビューフォーラム)を提示する。 本稿では,大規模AQアノテーションの実現可能性を示すとともに,次元間の関係を活用すれば性能が向上することを示すとともに,理論に基づく予測と実用的なAQ評価の相乗効果について検討する。
  論文  参考訳（メタデータ） (2020-06-01T10:39:50Z)
• Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
  分析による特徴に基づく説明の新たな評価基準を確立する。 我々は、緩やかに必要であり、予測に十分である新しい説明を得る。 我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
  論文  参考訳（メタデータ） (2020-05-31T05:52:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。