論文の概要: A Comparative Study on Collecting High-Quality Implicit Reasonings at a Large-scale

• arxiv url: http://arxiv.org/abs/2104.07924v1
• Date: Fri, 16 Apr 2021 07:03:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 00:29:30.653553
• Title: A Comparative Study on Collecting High-Quality Implicit Reasonings at a Large-scale
• Title（参考訳）: 大規模における高品質インシシシト推論の収集に関する比較研究
• Authors: Keshav Singh, Paul Reisert, Naoya Inoue, Kentaro Inui
• Abstract要約: 令状発行の複雑な業務に取り組み、令状収集の様々な手法を考案します。 3つのトピックに対して600以上の引数をアノテートした6,000のプリミティブデータセットを構築した。
• 参考スコア（独自算出の注目度）: 38.64478467145907
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Explicating implicit reasoning (i.e. warrants) in arguments is a long-standing challenge for natural language understanding systems. While recent approaches have focused on explicating warrants via crowdsourcing or expert annotations, the quality of warrants has been questionable due to the extreme complexity and subjectivity of the task. In this paper, we tackle the complex task of warrant explication and devise various methodologies for collecting warrants. We conduct an extensive study with trained experts to evaluate the resulting warrants of each methodology and find that our methodologies allow for high-quality warrants to be collected. We construct a preliminary dataset of 6,000 warrants annotated over 600 arguments for 3 debatable topics. To facilitate research in related downstream tasks, we release our guidelines and preliminary dataset.
• Abstract（参考訳）: 暗黙の推論(すなわち)を明示する 論証) 議論は自然言語理解システムにとって長年の課題である。 最近のアプローチでは、クラウドソーシングやエキスパートアノテーションによる令状説明に重点を置いているが、タスクの複雑さと主観性のために、令状の品質は疑問視されている。 本稿では,令状抽出の複雑な課題に取り組み,令状収集のための様々な手法を考案する。 我々は、訓練された専門家と広範な調査を行い、それぞれの手法の保証内容を評価し、我々の手法が高品質の保証書を収集することを可能にすることを見出します。 3つの議論に600以上の議論を注釈付けした6000の令状からなる予備的データセットを構築した。 下流タスクの研究を容易にするため、我々はガイドラインと予備データセットをリリースする。

関連論文リスト

• JudgeRank: Leveraging Large Language Models for Reasoning-Intensive Reranking [81.88787401178378]
  本稿では,文書関連性を評価する際に,人間の認知過程をエミュレートする新しいエージェント・リランカであるJiceRankを紹介する。 我々は,推論集約型BRIGHTベンチマークを用いて判定Rankを評価し,第1段階の検索手法よりも性能が大幅に向上したことを示す。 さらに、JiceRankは、人気の高いBEIRベンチマークの細調整された最先端リランカと同等に動作し、ゼロショットの一般化能力を検証している。
  論文  参考訳（メタデータ） (2024-10-31T18:43:12Z)
• Benchmarking Large Language Models for Conversational Question Answering in Multi-instructional Documents [61.41316121093604]
  対話型質問応答(CQA)の文脈における大規模言語モデル(LLM)を評価するための新しいベンチマークであるInsCoQAを提案する。 InsCoQAは、百科事典スタイルの教育内容から派生したもので、複数の文書から手続き的ガイダンスを抽出し、解釈し、正確に要約する能力のモデルを評価する。 また,LLM支援型評価器であるInsEvalを提案する。
  論文  参考訳（メタデータ） (2024-10-01T09:10:00Z)
• Measuring Retrieval Complexity in Question Answering Systems [64.74106622822424]
  検索複雑性(Retrieval complexity, RC)は、検索された文書の完全性に基づく新しい計量である。 任意の検索システムを用いてRCを計測するための教師なしパイプラインを提案する。 本システムは検索システムに大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2024-06-05T19:30:52Z)
• Judgement Citation Retrieval using Contextual Similarity [0.0]
  本稿では,自然言語処理(NLP)と機械学習技術を組み合わせて,訴訟記述の組織化と活用を促進する手法を提案する。 提案手法は,教師なしクラスタリングと教師付き引用検索の2つの主要な目的に対処する。 我々の手法は90.9%という驚くべき精度を達成した。
  論文  参考訳（メタデータ） (2024-05-28T04:22:28Z)
• PAQA: Toward ProActive Open-Retrieval Question Answering [34.883834970415734]
  本研究の目的は、ユーザクエリとドキュメントの両方に存在する固有の曖昧さを考慮し、関連性のある明確な質問を生成するという課題に取り組むことである。 本稿では,既存のAmbiNQデータセットの拡張であるPAQAを提案する。 次に,様々なモデルの評価を行い,経路探索があいまいさの検出と明瞭な質問の生成にどのように影響するかを評価する。
  論文  参考訳（メタデータ） (2024-02-26T14:40:34Z)
• Extractive Summarization of Legal Decisions using Multi-task Learning and Maximal Marginal Relevance [3.6847375967256295]
  本稿では,限られた専門家アノテートデータを用いた低リソース環境における法的決定の抽出手法を提案する。 逐次モデルを用いて関連コンテンツを見つけるための一連のモデルを検証し,最大辺縁関係を利用して要約を構成する。 提案手法は,アノテーション間比較の結果と一致した要約を抽出し,ROUGEスコア vis-a-vis expert を得ることができることを示す。
  論文  参考訳（メタデータ） (2022-10-22T12:51:52Z)
• ArgLegalSumm: Improving Abstractive Summarization of Legal Documents with Argument Mining [0.2538209532048867]
  本稿では,議論ロールラベルを要約プロセスに統合することにより,法的文書の議論的構造を捉える手法を提案する。 事前訓練された言語モデルを用いた実験により,提案手法は強いベースラインよりも性能を向上することが示された。
  論文  参考訳（メタデータ） (2022-09-04T15:55:56Z)
• IAM: A Comprehensive and Large-Scale Dataset for Integrated Argument Mining Tasks [59.457948080207174]
  本稿では,一連の議論マイニングタスクに適用可能なIAMという,包括的で大規模なデータセットを提案する。 データセットの70k近い文は、引数特性に基づいて完全に注釈付けされている。 議論準備プロセスに関連する2つの新しい統合された議論マイニングタスクを提案する。(1) 姿勢分類付きクレーム抽出(CESC)と(2) クレーム・エビデンス・ペア抽出(CEPE)である。
  論文  参考訳（メタデータ） (2022-03-23T08:07:32Z)
• Technical Question Answering across Tasks and Domains [47.80330046038137]
  文書検索と読解作業のための調整可能な共同学習手法を提案する。 TechQAに関する我々の実験は、最先端の手法と比較して優れた性能を示している。
  論文  参考訳（メタデータ） (2020-10-19T18:39:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。