論文の概要: CASA: Causality-driven Argument Sufficiency Assessment

• arxiv url: http://arxiv.org/abs/2401.05249v1
• Date: Wed, 10 Jan 2024 16:21:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-11 14:05:39.145296
• Title: CASA: Causality-driven Argument Sufficiency Assessment
• Title（参考訳）: CASA: 因果性駆動型議論満足度評価
• Authors: Xiao Liu, Yansong Feng, Kai-Wei Chang
• Abstract要約: ゼロショット因果関係に基づく議論十分性評価フレームワークであるCASAを提案する。 PSは、前提イベントと結論イベントの両方が欠落している場合に、前提イベントの導入が結論につながる可能性を測る。 2つの論理的誤り検出データセットの実験により、CASAは不十分な議論を正確に識別することを示した。
• 参考スコア（独自算出の注目度）: 88.9397744157365
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The argument sufficiency assessment task aims to determine if the premises of a given argument support its conclusion. To tackle this task, existing works often train a classifier on data annotated by humans. However, annotating data is laborious, and annotations are often inconsistent due to subjective criteria. Motivated by the probability of sufficiency (PS) definition in the causal literature, we propose CASA, a zero-shot causality-driven argument sufficiency assessment framework. PS measures how likely introducing the premise event would lead to the conclusion, when both the premise and conclusion events are absent. To estimate this probability, we propose to use large language models (LLMs) to generate contexts that are inconsistent with the premise and conclusion, and revise them by injecting the premise event. Experiments on two logical fallacy detection datasets demonstrate that CASA accurately identifies insufficient arguments. We further deploy CASA in a writing assistance application, and find that suggestions generated by CASA enhance the sufficiency of student-written arguments. Code and data are available at https://github.com/xxxiaol/CASA.
• Abstract（参考訳）: 議論満足度評価タスクは、与えられた議論の前提がその結論を支持するかどうかを決定することを目的としている。 このタスクに取り組むために、既存の作業は、人間が注釈したデータで分類器を訓練することが多い。 しかし、データの注釈付けは面倒であり、しばしば主観的基準のため矛盾する。 因果文献におけるsufficiency (ps) 定義の確率に動機づけられ, ゼロショット因果性に基づく議論満足度評価フレームワークcasaを提案する。 PSは、前提イベントと結論イベントの両方が欠落している場合に、前提イベントの導入が結論につながる可能性を測定する。 この確率を推定するために,大規模言語モデル(LLM)を用いて前提と結論に矛盾するコンテキストを生成し,前提イベントを注入して修正することを提案する。 2つの論理誤り検出データセットの実験により、casaは不十分な引数を正確に識別できることが示されている。 我々はさらにCASAを書き込み支援アプリケーションにデプロイし、CASAが生成した提案が学生による議論の十分性を高めることを確認する。 コードとデータはhttps://github.com/xxxiaol/casaで入手できる。

関連論文リスト

• QUITE: Quantifying Uncertainty in Natural Language Text in Bayesian Reasoning Scenarios [15.193544498311603]
  本稿では,カテゴリー的確率変数と複雑な関係を持つ実世界のベイズ推論シナリオのデータセットであるQUITEを提案する。 我々は幅広い実験を行い、論理ベースのモデルが全ての推論型において、アウト・オブ・ボックスの大規模言語モデルより優れていることを発見した。 以上の結果から,ニューロシンボリックモデルが複雑な推論を改善する上で有望な方向であることを示す。
  論文  参考訳（メタデータ） (2024-10-14T12:44:59Z)
• AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation [57.8363998797433]
  抽象的意味表現(AMR)を用いた摂動要約を生成するフレームワークであるAMRFactを提案する。 提案手法は,AMRグラフに一貫した要約を解析し,制御された事実不整合を注入して負の例を生成し,一貫性のない事実不整合要約を高い誤差型カバレッジで生成する。
  論文  参考訳（メタデータ） (2023-11-16T02:56:29Z)
• From Chaos to Clarity: Claim Normalization to Empower Fact-Checking [57.024192702939736]
  Claim Normalization(別名 ClaimNorm)は、複雑でノイズの多いソーシャルメディア投稿を、より単純で分かりやすい形式に分解することを目的としている。 本稿では,チェーン・オブ・ソートとクレーム・チェック・バシネス推定を利用した先駆的アプローチであるCACNを提案する。 実験により, CACNは様々な評価尺度において, いくつかの基準値を上回る性能を示した。
  論文  参考訳（メタデータ） (2023-10-22T16:07:06Z)
• DAPrompt: Deterministic Assumption Prompt Learning for Event Causality Identification [8.102227953905206]
  事象因果同定(ECI)は、2つの事象の言及の間に因果関係があるかどうかを決定することを目的としている。 ECIタスクに対して,DAPromptと呼ばれる決定論的仮定プロンプト学習モデルを提案する。 我々は、予測事象の確率を用いて、最終事象因果決定の仮定合理性を評価する。
  論文  参考訳（メタデータ） (2023-07-19T08:02:20Z)
• Testing for Overfitting [0.0]
  オーバーフィッティング問題について議論し、トレーニングデータによる評価に標準値と集中値が成立しない理由を説明する。 本稿では,モデルの性能をトレーニングデータを用いて評価できる仮説テストを紹介し,議論する。
  論文  参考訳（メタデータ） (2023-05-09T22:49:55Z)
• Case-Based Reasoning with Language Models for Classification of Logical Fallacies [3.511369967593153]
  本稿では,論理的誤りの新たな事例を分類するケースベース推論手法を提案する。 本実験は,ケースベース推論が言語モデルの精度と一般化性を向上させることを示唆している。
  論文  参考訳（メタデータ） (2023-01-27T17:49:16Z)
• Logical Satisfiability of Counterfactuals for Faithful Explanations in NLI [60.142926537264714]
  本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。 これは、説明に表される論理述語に基づいて、反実仮説を生成する。 そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
  論文  参考訳（メタデータ） (2022-05-25T03:40:59Z)
• Visual Abductive Reasoning [85.17040703205608]
  帰納的推論は、部分的な観察の可能な限りの可能な説明を求める。 本稿では,日常的な視覚的状況下でのマシンインテリジェンスの帰納的推論能力を調べるために,新たなタスクとデータセットであるVisual Abductive Reasoning(VAR)を提案する。
  論文  参考訳（メタデータ） (2022-03-26T10:17:03Z)
• L2R2: Leveraging Ranking for Abductive Reasoning [65.40375542988416]
  学習システムの帰納的推論能力を評価するために,帰納的自然言語推論タスク(alpha$NLI)を提案する。 新たな$L2R2$アプローチは、Learning-to-rankフレームワークの下で提案されている。 ARTデータセットの実験は、公開リーダボードの最先端に到達します。
  論文  参考訳（メタデータ） (2020-05-22T15:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。