論文の概要: Contextualizing Argument Quality Assessment with Relevant Knowledge

• arxiv url: http://arxiv.org/abs/2305.12280v1
• Date: Sat, 20 May 2023 21:04:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 23:21:24.016246
• Title: Contextualizing Argument Quality Assessment with Relevant Knowledge
• Title（参考訳）: 関連知識を用いた品質評価の文脈化
• Authors: Darshan Deshpande, Zhivar Sourati, Filip Ilievski, Fred Morstatter
• Abstract要約: 本稿では,関連知識による文脈化に基づく議論品質評価手法であるSPARKを提案する。 我々は、大きな言語モデルを利用してフィードバックを提供したり、隠れた仮定を推測したり、同様の品質の議論を提供したり、あるいは反論をしたりする4つの拡張を考案する。 ドメイン内設定とゼロショット設定の両方の実験では、SPARKは複数のメトリクスで一貫してベースラインを上回ります。
• 参考スコア（独自算出の注目度）: 7.201994166641792
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic assessment of the quality of arguments has been recognized as a challenging task with significant implications for misinformation and targeted speech. While real world arguments are tightly anchored in context, existing efforts to judge argument quality analyze arguments in isolation, ultimately failing to accurately assess arguments. We propose SPARK: a novel method for scoring argument quality based on contextualization via relevant knowledge. We devise four augmentations that leverage large language models to provide feedback, infer hidden assumptions, supply a similar-quality argument, or a counterargument. We use a dual-encoder Transformer architecture to enable the original argument and its augmentation to be considered jointly. Our experiments in both in-domain and zero-shot setups show that SPARK consistently outperforms baselines across multiple metrics. We make our code available to encourage further work on argument assessment.
• Abstract（参考訳）: 議論の質の自動評価は、誤った情報とターゲット音声に重大な意味を持つ課題として認識されている。 現実世界の議論は文脈に密着しているが、既存の議論の品質を判断するための努力は、議論を独立して分析し、最終的に議論を正確に評価できない。 本稿では,関連知識による文脈化に基づく議論品質評価手法であるSPARKを提案する。 私たちは、大きな言語モデルを利用してフィードバックを提供し、隠れた仮定を推測し、同様の品質の議論または反論を提供する4つの拡張を考案する。 我々は、二重エンコーダ変換器アーキテクチャを用いて、元の引数とその拡張を共同で考慮できるようにする。 ドメイン内設定とゼロショット設定の両方の実験では、SPARKは複数のメトリクスで一貫してベースラインを上回ります。 コードを利用可能にして、引数評価に関するさらなる作業を奨励しています。

関連論文リスト

• Localizing Factual Inconsistencies in Attributable Text Generation [91.981439746404]
  本稿では,帰属可能なテキスト生成における事実の不整合をローカライズするための新しい形式であるQASemConsistencyを紹介する。 まず,人間のアノテーションに対するQASemConsistency法の有効性を示す。 そこで我々は,局所的な事実の不整合を自動的に検出するいくつかの手法を実装した。
  論文  参考訳（メタデータ） (2024-10-09T22:53:48Z)
• Are Large Language Models Reliable Argument Quality Annotators? [7.966402845339264]
  議論品質アノテータのプロキシとして,最先端の大規模言語モデル (LLM) を用いる可能性について検討する。 以上の結果から,LSMは人間専門家と中程度に高い合意を得て,一貫したアノテーションを生成できることが示唆された。
  論文  参考訳（メタデータ） (2024-04-15T11:54:27Z)
• Argue with Me Tersely: Towards Sentence-Level Counter-Argument Generation [62.069374456021016]
  本稿では,文レベル逆問題生成のためのArgTerselyベンチマークを提案する。 また,Arg-LlaMAによる高品質な逆問題生成手法を提案する。
  論文  参考訳（メタデータ） (2023-12-21T06:51:34Z)
• A Unifying Framework for Learning Argumentation Semantics [50.69905074548764]
  Inductive Logic Programmingアプローチを用いて、抽象的および構造化された議論フレームワークのアクセシビリティセマンティクスを解釈可能な方法で学習する新しいフレームワークを提案する。 提案手法は既存の議論解法よりも優れており,フォーマルな議論や人間と機械の対話の領域において,新たな研究の方向性が開けることになる。
  論文  参考訳（メタデータ） (2023-10-18T20:18:05Z)
• Large Language Models are Diverse Role-Players for Summarization Evaluation [82.31575622685902]
  文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。 BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。 目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-27T10:40:59Z)
• Towards a Holistic View on Argument Quality Prediction [3.182597245365433]
  議論の決定的な性質は、その強さまたは品質である。 議論の強さを自動推定する作業は存在するが、その範囲は狭い。 多様な領域にわたる議論品質推定の一般化能力,関連する議論マイニング課題との相互作用,および知覚された議論強度に対する感情の影響を評価する。
  論文  参考訳（メタデータ） (2022-05-19T18:44:23Z)
• Automatic Debate Evaluation with Argumentation Semantics and Natural Language Argument Graph Networks [2.4861619769660637]
  本稿では,議論的議論を自動的に評価する独自のハイブリッド手法を提案する。 その目的のために、議論理論の概念とTransformerベースのアーキテクチャとニューラルグラフネットワークを組み合わせる。 我々は、未探索の自然言語引数の自動解析の新たな事例に基づく有望な結果を得る。
  論文  参考訳（メタデータ） (2022-03-28T11:09:07Z)
• KAT: A Knowledge Augmented Transformer for Vision-and-Language [56.716531169609915]
  我々は、OK-VQAのオープンドメインマルチモーダルタスクにおいて、最先端の強力な結果をもたらす新しいモデルである知識拡張トランスフォーマー(KAT)を提案する。 提案手法は,エンド・ツー・エンドのエンコーダ・デコーダアーキテクチャにおいて暗黙的かつ明示的な知識を統合しつつ,回答生成時に両知識源を共同で推論する。 我々の分析では、モデル予測の解釈可能性の向上に、明示的な知識統合のさらなる利点が見られる。
  論文  参考訳（メタデータ） (2021-12-16T04:37:10Z)
• Learning From Revisions: Quality Assessment of Claims in Argumentation at Scale [12.883536911500062]
  本研究は,同一クレームの異なるリビジョンを比較することにより,議論された側面に関わらずクレーム品質評価を行う。 本稿では,どのリビジョンペアのクレームがよいかを評価し,クレームのすべてのバージョンを品質でランク付けする2つのタスクを提案する。
  論文  参考訳（メタデータ） (2021-01-25T17:32:04Z)
• A Generalised Approach for Encoding and Reasoning with Qualitative Theories in Answer Set Programming [3.963609604649393]
  バイナリ関係を持つ定性計算を扱えるASPエンコーディングのファミリーが提案されている。 本論文はTPLPの受容について検討中である。
  論文  参考訳（メタデータ） (2020-08-04T13:31:25Z)
• Aspect-Controlled Neural Argument Generation [65.91772010586605]
  我々は、与えられたトピック、スタンス、アスペクトの文レベル引数を生成するために、きめ細かいレベルで制御できる引数生成のための言語モデルを訓練する。 評価の結果,我々の生成モデルは高品質なアスペクト特異的な議論を生成できることがわかった。 これらの議論は、データ拡張による姿勢検出モデルの性能向上と、逆問題の生成に使用できる。
  論文  参考訳（メタデータ） (2020-04-30T20:17:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。