論文の概要: Assessing the Sufficiency of Arguments through Conclusion Generation
- arxiv url: http://arxiv.org/abs/2110.13495v1
- Date: Tue, 26 Oct 2021 08:47:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-28 01:30:18.068405
- Title: Assessing the Sufficiency of Arguments through Conclusion Generation
- Title(参考訳): 結論生成による議論の不十分性の評価
- Authors: Timon Gurcke, Milad Alshomary, Henning Wachsmuth
- Abstract要約: 前提が合理的に妥当な結論を下す議論は、議論品質研究において十分と呼ばれる。
本稿では,その前提から十分な議論の結論を導き出すことができると仮定する。
我々の最良のモデルはF1スコアの.885を達成し、過去の最先端を上回り、人間の専門家と同等である。
- 参考スコア(独自算出の注目度): 15.69811781628757
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The premises of an argument give evidence or other reasons to support a
conclusion. However, the amount of support required depends on the generality
of a conclusion, the nature of the individual premises, and similar. An
argument whose premises make its conclusion rationally worthy to be drawn is
called sufficient in argument quality research. Previous work tackled
sufficiency assessment as a standard text classification problem, not modeling
the inherent relation of premises and conclusion. In this paper, we hypothesize
that the conclusion of a sufficient argument can be generated from its
premises. To study this hypothesis, we explore the potential of assessing
sufficiency based on the output of large-scale pre-trained language models. Our
best model variant achieves an F1-score of .885, outperforming the previous
state-of-the-art and being on par with human experts. While manual evaluation
reveals the quality of the generated conclusions, their impact remains low
ultimately.
- Abstract(参考訳): 議論の前提は、結論を支持する証拠または他の理由を与える。
しかし、必要な支援の量は、結論の一般性、個々の前提の性質などによって異なる。
議論の品質研究において、その前提が引き出すに値する結論を合理的に示す論証は十分である。
これまでの研究は、前提と結論の関係をモデル化せず、標準テキスト分類問題として十分性評価に取り組んできた。
本稿では,その前提から十分な議論の結論を導き出すことができると仮定する。
この仮説を考察するために,大規模事前学習言語モデルの出力に基づいて,十分性を評価する可能性を検討する。
我々の最良のモデル変種は、.885のF1スコアを達成し、以前の最先端を上回り、人間の専門家と同等である。
手動による評価は生成した結論の品質を明らかにするが、その影響は最終的に低いままである。
関連論文リスト
- Conceptual and Unbiased Reasoning in Language Models [98.90677711523645]
本稿では,抽象的質問に対する概念的推論をモデルに強制する,新しい概念化フレームワークを提案する。
既存の大規模言語モデルは概念的推論では不足しており、様々なベンチマークでは9%から28%に低下している。
ハイレベルな抽象的推論が不偏で一般化可能な意思決定の鍵となるので、モデルがどのように改善できるかについて議論する。
論文 参考訳(メタデータ) (2024-03-30T00:53:53Z) - CASA: Causality-driven Argument Sufficiency Assessment [79.13496878681309]
ゼロショット因果関係に基づく議論十分性評価フレームワークであるCASAを提案する。
PSは前提イベントの導入が前提イベントと結論イベントの両方が欠落した場合の結論につながる可能性を測っている。
2つの論理的誤り検出データセットの実験により、CASAは不十分な議論を正確に識別することを示した。
論文 参考訳(メタデータ) (2024-01-10T16:21:18Z) - Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。
提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。
複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
論文 参考訳(メタデータ) (2023-06-09T08:30:51Z) - Conclusion-based Counter-Argument Generation [26.540485804067536]
現実世界の議論では、議論に対処する最も一般的な方法は、その主要なポイント、すなわち結論に対する推論である。
本稿では、入力引数の結論とカウンタの両方を生成するために共同で学習するマルチタスクアプローチを提案する。
論文 参考訳(メタデータ) (2023-01-24T10:49:01Z) - MetaLogic: Logical Reasoning Explanations with Fine-Grained Structure [129.8481568648651]
複雑な実生活シナリオにおけるモデルの論理的推論能力を調べるためのベンチマークを提案する。
推論のマルチホップ連鎖に基づいて、説明形式は3つの主成分を含む。
この新たな説明形式を用いて,現在のベストモデルの性能を評価した。
論文 参考訳(メタデータ) (2022-10-22T16:01:13Z) - Analyzing and Evaluating Faithfulness in Dialogue Summarization [67.07947198421421]
まず,対話要約の忠実度に関するきめ細かな人間の分析を行い,生成した要約の35%以上がソース対話に忠実に一致していないことを観察する。
そこで本研究では,ルールベース変換により生成した複数選択質問を用いたモデルレベルの忠実度評価手法を提案する。
論文 参考訳(メタデータ) (2022-10-21T07:22:43Z) - Comparing and extending the use of defeasible argumentation with
quantitative data in real-world contexts [5.482532589225552]
非単調な形式主義(英: non-monotonic formalism)は、新しい証拠に照らして、前提から以前の結論や主張を撤回できる形式である。
本研究は, 難解な議論の活用を通じて知識の体系に寄与し, 類似したアプローチとの比較を行った。
論文 参考訳(メタデータ) (2022-06-28T12:28:47Z) - Logical Satisfiability of Counterfactuals for Faithful Explanations in
NLI [60.142926537264714]
本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。
これは、説明に表される論理述語に基づいて、反実仮説を生成する。
そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
論文 参考訳(メタデータ) (2022-05-25T03:40:59Z) - Interactive Model with Structural Loss for Language-based Abductive
Reasoning [36.02450824915494]
帰納的自然言語推論タスク(alpha$NLI)は、原因と事象の間の最も明確な説明を推測するために提案される。
我々はこの新モデルを$alpha$NLI: Interactive Model with Structure Loss (IMSL) と命名する。
IMSL は RoBERTa-large Pretrained model で最高性能を達成し,ACC と AUC はそれぞれ約1%,AUC は5% 向上した。
論文 参考訳(メタデータ) (2021-12-01T05:21:07Z) - The Role of Pragmatic and Discourse Context in Determining Argument
Impact [39.70446357000737]
本稿では,議論のこの側面を研究するための新しいデータセットを提案する。
741件の議論の的となり、47,000件以上の主張がある。
議論的クレームの実践的・言論的文脈を取り入れた予測モデルを提案し,そのモデルが,特定の主張行内で個々のクレームが知覚する影響を予測するために,クレーム固有の言語的特徴に依存するモデルより優れていることを示す。
論文 参考訳(メタデータ) (2020-04-06T23:00:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。