論文の概要: A Comparative Study on Collecting High-Quality Implicit Reasonings at a
Large-scale
- arxiv url: http://arxiv.org/abs/2104.07924v1
- Date: Fri, 16 Apr 2021 07:03:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-20 00:29:30.653553
- Title: A Comparative Study on Collecting High-Quality Implicit Reasonings at a
Large-scale
- Title(参考訳): 大規模における高品質インシシシト推論の収集に関する比較研究
- Authors: Keshav Singh, Paul Reisert, Naoya Inoue, Kentaro Inui
- Abstract要約: 令状発行の複雑な業務に取り組み、令状収集の様々な手法を考案します。
3つのトピックに対して600以上の引数をアノテートした6,000のプリミティブデータセットを構築した。
- 参考スコア(独自算出の注目度): 38.64478467145907
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Explicating implicit reasoning (i.e. warrants) in arguments is a
long-standing challenge for natural language understanding systems. While
recent approaches have focused on explicating warrants via crowdsourcing or
expert annotations, the quality of warrants has been questionable due to the
extreme complexity and subjectivity of the task. In this paper, we tackle the
complex task of warrant explication and devise various methodologies for
collecting warrants. We conduct an extensive study with trained experts to
evaluate the resulting warrants of each methodology and find that our
methodologies allow for high-quality warrants to be collected. We construct a
preliminary dataset of 6,000 warrants annotated over 600 arguments for 3
debatable topics. To facilitate research in related downstream tasks, we
release our guidelines and preliminary dataset.
- Abstract(参考訳): 暗黙の推論(すなわち)を明示する
論証) 議論は自然言語理解システムにとって長年の課題である。
最近のアプローチでは、クラウドソーシングやエキスパートアノテーションによる令状説明に重点を置いているが、タスクの複雑さと主観性のために、令状の品質は疑問視されている。
本稿では,令状抽出の複雑な課題に取り組み,令状収集のための様々な手法を考案する。
我々は、訓練された専門家と広範な調査を行い、それぞれの手法の保証内容を評価し、我々の手法が高品質の保証書を収集することを可能にすることを見出します。
3つの議論に600以上の議論を注釈付けした6000の令状からなる予備的データセットを構築した。
下流タスクの研究を容易にするため、我々はガイドラインと予備データセットをリリースする。
関連論文リスト
- PAQA: Toward ProActive Open-Retrieval Question Answering [34.883834970415734]
本研究の目的は、ユーザクエリとドキュメントの両方に存在する固有の曖昧さを考慮し、関連性のある明確な質問を生成するという課題に取り組むことである。
本稿では,既存のAmbiNQデータセットの拡張であるPAQAを提案する。
次に,様々なモデルの評価を行い,経路探索があいまいさの検出と明瞭な質問の生成にどのように影響するかを評価する。
論文 参考訳(メタデータ) (2024-02-26T14:40:34Z) - ExpertQA: Expert-Curated Questions and Attributed Answers [54.764273324907684]
本稿では,いくつかのシステムから得られる様々な事実と帰属の軸を解析する評価研究について述べる。
まず、32分野にわたる484人の被験者から専門家による質問を収集し、同じ専門家に自身の質問に対する回答を評価する。
また、専門家に言語モデルによる回答の修正を依頼し、32分野にわたる2177の質問からなる高品質の長文QAデータセットであるExpertQAを導いた。
論文 参考訳(メタデータ) (2023-09-14T16:54:34Z) - Extractive Summarization of Legal Decisions using Multi-task Learning
and Maximal Marginal Relevance [3.6847375967256295]
本稿では,限られた専門家アノテートデータを用いた低リソース環境における法的決定の抽出手法を提案する。
逐次モデルを用いて関連コンテンツを見つけるための一連のモデルを検証し,最大辺縁関係を利用して要約を構成する。
提案手法は,アノテーション間比較の結果と一致した要約を抽出し,ROUGEスコア vis-a-vis expert を得ることができることを示す。
論文 参考訳(メタデータ) (2022-10-22T12:51:52Z) - ArgLegalSumm: Improving Abstractive Summarization of Legal Documents
with Argument Mining [0.2538209532048867]
本稿では,議論ロールラベルを要約プロセスに統合することにより,法的文書の議論的構造を捉える手法を提案する。
事前訓練された言語モデルを用いた実験により,提案手法は強いベースラインよりも性能を向上することが示された。
論文 参考訳(メタデータ) (2022-09-04T15:55:56Z) - IAM: A Comprehensive and Large-Scale Dataset for Integrated Argument
Mining Tasks [59.457948080207174]
本稿では,一連の議論マイニングタスクに適用可能なIAMという,包括的で大規模なデータセットを提案する。
データセットの70k近い文は、引数特性に基づいて完全に注釈付けされている。
議論準備プロセスに関連する2つの新しい統合された議論マイニングタスクを提案する。(1) 姿勢分類付きクレーム抽出(CESC)と(2) クレーム・エビデンス・ペア抽出(CEPE)である。
論文 参考訳(メタデータ) (2022-03-23T08:07:32Z) - Algorithmic Fairness Datasets: the Story so Far [68.45921483094705]
データ駆動アルゴリズムは、人々の幸福に直接影響し、批判的な決定をサポートするために、さまざまな領域で研究されている。
研究者のコミュニティは、既存のアルゴリズムの株式を調査し、新しいアルゴリズムを提案し、歴史的に不利な人口に対する自動意思決定のリスクと機会の理解を深めてきた。
公正な機械学習の進歩はデータに基づいており、適切に文書化された場合にのみ適切に使用できる。
残念なことに、アルゴリズムフェアネスコミュニティは、特定のリソース(オパシティ)に関する情報の不足と利用可能な情報の分散(スパーシティ)によって引き起こされる、集合的なデータドキュメント負債に悩まされている。
論文 参考訳(メタデータ) (2022-02-03T17:25:46Z) - Discrete Reasoning Templates for Natural Language Understanding [79.07883990966077]
我々は,複雑な質問をより単純な質問に分解する手法を提案する。
事前定義された推論テンプレートの指示に従って最終回答を導出する。
我々のアプローチは、解釈可能でありながら最先端技術と競合し、監督をほとんど必要としないことを示す。
論文 参考訳(メタデータ) (2021-04-05T18:56:56Z) - Technical Question Answering across Tasks and Domains [47.80330046038137]
文書検索と読解作業のための調整可能な共同学習手法を提案する。
TechQAに関する我々の実験は、最先端の手法と比較して優れた性能を示している。
論文 参考訳(メタデータ) (2020-10-19T18:39:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。