論文の概要: Natural Language Inference in Context -- Investigating Contextual Reasoning over Long Texts

• arxiv url: http://arxiv.org/abs/2011.04864v1
• Date: Tue, 10 Nov 2020 02:31:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 07:24:11.261559
• Title: Natural Language Inference in Context -- Investigating Contextual Reasoning over Long Texts
• Title（参考訳）: 文脈における自然言語推論 -長文に対する文脈推論の検討-
• Authors: Hanmeng Liu, Leyang Cui, Jian Liu, Yue Zhang
• Abstract要約: ConTRoLは、Longテキスト上のConTextual Reasoningのための新しいデータセットである。 8,325人の専門家が設計した"context-hypothesis"ペアとゴールドラベルで構成されている。 これは、警察の徴兵のための競争的選択と採用試験(言語推論テスト)から派生し、専門家レベルの品質を持つ。
• 参考スコア（独自算出の注目度）: 19.894104911338353
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural language inference (NLI) is a fundamental NLP task, investigating the entailment relationship between two texts. Popular NLI datasets present the task at sentence-level. While adequate for testing semantic representations, they fall short for testing contextual reasoning over long texts, which is a natural part of the human inference process. We introduce ConTRoL, a new dataset for ConTextual Reasoning over Long texts. Consisting of 8,325 expert-designed "context-hypothesis" pairs with gold labels, ConTRoL is a passage-level NLI dataset with a focus on complex contextual reasoning types such as logical reasoning. It is derived from competitive selection and recruitment test (verbal reasoning test) for police recruitment, with expert level quality. Compared with previous NLI benchmarks, the materials in ConTRoL are much more challenging, involving a range of reasoning types. Empirical results show that state-of-the-art language models perform by far worse than educated humans. Our dataset can also serve as a testing-set for downstream tasks like Checking Factual Correctness of Summaries.
• Abstract（参考訳）: 自然言語推論(NLI)は2つのテキスト間の関連性を調べる基本的なNLPタスクである。 一般的なNLIデータセットは、タスクを文レベルで提示する。 意味表現のテストには適しているが、人間の推論プロセスの自然な部分である長いテキストに対する文脈推論のテストには不足している。 本稿では,ConTextual Reasoning on Longテキストのための新しいデータセットであるConTRoLを紹介する。 専門家が設計した8,325の"context-hypothesis"ペアとゴールドラベルで構成されるConTRoLは、論理的推論のような複雑なコンテキスト推論型に焦点を当てたパスレベルのNLIデータセットである。 これは、専門家レベルの品質で、警察採用のための競争選択および採用テスト(バーバル推論テスト)から派生したものである。 以前のNLIベンチマークと比較すると、ConTRoLの材料はより困難であり、様々な推論タイプを含んでいる。 実験の結果、最先端の言語モデルは教育を受けた人間よりもはるかに悪い結果が得られた。 私たちのデータセットは、アセンブリのFactual Correctnessチェックのような下流タスクのテストセットとしても機能します。

関連論文リスト

• Surveying the Landscape of Text Summarization with Deep Learning: A Comprehensive Review [2.4185510826808487]
  ディープラーニングは、言語データの複雑な表現を学習できるモデルの開発を可能にすることによって、自然言語処理(NLP)に革命をもたらした。 NLPのディープラーニングモデルは、通常、大量のデータを使用してディープニューラルネットワークをトレーニングし、言語データ内のパターンと関係を学習する。 テキスト要約にディープラーニングを適用することは、テキスト要約タスクを実行するためにディープニューラルネットワークを使用することを指す。
  論文  参考訳（メタデータ） (2023-10-13T21:24:37Z)
• An Investigation of LLMs' Inefficacy in Understanding Converse Relations [30.94718664430869]
  本稿では,知識グラフ補完データセットから抽出した17の関係と1240のトリプルを含む,逆関係に着目した新しいベンチマークであるConvReを紹介する。 我々のConvREは2つのタスク、Re2TextとText2Reを備えており、LLMが関連テキストと関連するテキストのマッチングを判定する能力を評価するために、多選択質問応答として定式化されている。
  論文  参考訳（メタデータ） (2023-10-08T13:45:05Z)
• MURMUR: Modular Multi-Step Reasoning for Semi-Structured Data-to-Text Generation [102.20036684996248]
  多段階推論を用いた半構造化データからテキストを生成するための,ニューロシンボリックなモジュラーアプローチであるMURMURを提案する。 WebNLG や LogicNLG のような2つのデータ・テキスト生成タスクについて実験を行った。
  論文  参考訳（メタデータ） (2022-12-16T17:36:23Z)
• LawngNLI: A Long-Premise Benchmark for In-Domain Generalization from Short to Long Contexts and for Implication-Based Retrieval [72.4859717204905]
  LawngNLIは米国法的な見解から構築されており、高い精度で自動ラベルが付けられている。 短いコンテキストから長いコンテキストまでドメイン内の一般化のベンチマークを行うことができる。 LawngNLIは、含意に基づくケース検索と議論のためのシステムを訓練し、テストすることができる。
  論文  参考訳（メタデータ） (2022-12-06T18:42:39Z)
• An Inclusive Notion of Text [69.36678873492373]
  テキストの概念の明確さは再現可能で一般化可能なNLPにとって不可欠である,と我々は主張する。 言語的および非言語的要素の2層分類を導入し,NLPモデリングに使用することができる。
  論文  参考訳（メタデータ） (2022-11-10T14:26:43Z)
• Full-Text Argumentation Mining on Scientific Publications [3.8754200816873787]
  フルテキストSAMに対してADURとAREを組み合わせた逐次パイプラインモデルを提案する。 両サブタスクにおける事前学習言語モデル(PLM)の性能について,最初の解析を行った。 本稿では,非連続型ADUと談話コネクタの解釈が重要な課題であることを示す。
  論文  参考訳（メタデータ） (2022-10-24T10:05:30Z)
• SCROLLS: Standardized CompaRison Over Long Language Sequences [62.574959194373264]
  SCROLLSは長いテキストに対する推論を必要とするタスクのスイートである。 SCROLLSには要約、質問応答、自然言語推論タスクが含まれる。 すべてのデータセットを統一されたテキスト・ツー・テキスト形式で利用可能にし、モデルアーキテクチャと事前学習方法の研究を容易にするために、ライブのリーダーボードをホストします。
  論文  参考訳（メタデータ） (2022-01-10T18:47:15Z)
• Toward the Understanding of Deep Text Matching Models for Information Retrieval [72.72380690535766]
  本稿では,既存の深層テキストマッチング手法が情報検索の基本的な勾配を満たすかどうかを検証することを目的とする。 具体的には, 項周波数制約, 項識別制約, 長さ正規化制約, TF長制約の4つの属性を用いる。 LETOR 4.0 と MS Marco の実験結果から,研究対象の深層テキストマッチング手法はすべて,統計学において高い確率で上記の制約を満たすことが示された。
  論文  参考訳（メタデータ） (2021-08-16T13:33:15Z)
• DocNLI: A Large-scale Dataset for Document-level Natural Language Inference [55.868482696821815]
  自然言語推論(NLI)は、様々なNLP問題を解決するための統一的なフレームワークとして定式化されている。 ドキュメントレベルのNLI用に新たに構築された大規模データセットであるDocNLIを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T13:02:26Z)
• Looking Beyond Sentence-Level Natural Language Inference for Downstream Tasks [15.624486319943015]
  近年,自然言語推論(NLI)タスクが注目されている。 本稿では,この不満足な約束を,質問応答(QA)とテキスト要約という2つの下流タスクのレンズから検討する。 我々は、NLIデータセットとこれらの下流タスクの主な違いが前提の長さに関係していると推測する。
  論文  参考訳（メタデータ） (2020-09-18T21:44:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。