論文の概要: Modeling Preconditions in Text with a Crowd-sourced Dataset

• arxiv url: http://arxiv.org/abs/2010.02429v3
• Date: Wed, 14 Oct 2020 17:56:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 06:39:49.665205
• Title: Modeling Preconditions in Text with a Crowd-sourced Dataset
• Title（参考訳）: クラウドソースデータセットを用いたテキストの事前条件のモデル化
• Authors: Heeyoung Kwon, Mahnaz Koupaee, Pratyush Singh, Gargi Sawhney, Anmol Shukla, Keerthi Kumar Kallur, Nathanael Chambers and Niranjan Balasubramanian
• Abstract要約: 本稿では,ニュースワイヤにおけるイベントペア間の事前条件のクラウドソースアノテーションであるPeKoを紹介する。 前提条件のモデル化を目的とした2つの課題タスクも導入する。 両方のタスクの評価は、今日の大規模言語モデルでさえ、事前条件のモデリングが困難であることを示している。
• 参考スコア（独自算出の注目度）: 17.828175478279654
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Preconditions provide a form of logical connection between events that explains why some events occur together and information that is complementary to the more widely studied relations such as causation, temporal ordering, entailment, and discourse relations. Modeling preconditions in text has been hampered in part due to the lack of large scale labeled data grounded in text. This paper introduces PeKo, a crowd-sourced annotation of preconditions between event pairs in newswire, an order of magnitude larger than prior text annotations. To complement this new corpus, we also introduce two challenge tasks aimed at modeling preconditions: (i) Precondition Identification -- a standard classification task defined over pairs of event mentions, and (ii) Precondition Generation -- a generative task aimed at testing a more general ability to reason about a given event. Evaluation on both tasks shows that modeling preconditions is challenging even for today's large language models (LM). This suggests that precondition knowledge is not easily accessible in LM-derived representations alone. Our generation results show that fine-tuning an LM on PeKo yields better conditional relations than when trained on raw text or temporally-ordered corpora.
• Abstract（参考訳）: 前提条件は、ある出来事が一緒に起こる理由と、因果関係、時間的順序付け、含意関係、会話関係など、より広く研究されている関係に相補する情報とを論理的に結びつける。 テキストのプリコンディションのモデリングは、テキストによる大規模なラベル付きデータの欠如によって、一部が妨げられている。 本稿では,newswireにおけるイベントペア間の前提条件に関するクラウドソースアノテーションであるpekoを紹介する。 この新たなコーパスを補完するために,前提条件のモデル化を目的とした2つの課題も紹介する。 i)事前条件識別 -- イベント参照のペア上で定義された標準分類タスク、 (ii)事前条件生成 -- あるイベントについてより一般的な推論能力をテストすることを目的とした生成タスク。 両タスクの評価は,今日の大規模言語モデル(LM)においても,事前条件のモデル化が難しいことを示している。 このことは、前提条件知識がlm由来の表現だけでは容易にアクセスできないことを示唆する。 生成結果から,PEKo 上の LM の微調整は,原文や時間順コーパスで訓練した場合よりも条件関係が良好であることが示唆された。

関連論文リスト

• Large Language Models as Event Forecasters [10.32127659470566]
  人間の出来事の鍵となる要素は、主題、関係、対象、タイムスタンプからなる四重項として抽出される。 これらの四重項または四重項は、特定の領域内で組織化されると、時間知識グラフ(TKG)を形成する。
  論文  参考訳（メタデータ） (2024-06-15T04:09:31Z)
• A Generative Approach for Script Event Prediction via Contrastive Fine-tuning [35.87615178251874]
  Scriptイベント予測は、コンテキストが与えられた後続のイベントを予測することを目的としている。 近年の研究では,事前学習言語モデルと外部知識の導入により,事象相関推論の改善が試みられている。 本稿では,事前学習した言語モデルをイベント中心の事前学習目的で微調整する,新しい生成手法を提案する。
  論文  参考訳（メタデータ） (2022-12-07T07:32:47Z)
• Zero-Shot On-the-Fly Event Schema Induction [61.91468909200566]
  本稿では,大規模な言語モデルを用いて,高レベルなイベント定義,特定のイベント,引数,それらの関係を予測・付与するソースドキュメントを生成する手法を提案する。 我々のモデルを用いて、任意のトピックに関する完全なスキーマを、手動のデータ収集、すなわちゼロショットの方法で、オンザフライで生成することができる。
  論文  参考訳（メタデータ） (2022-10-12T14:37:00Z)
• An Explanation of In-context Learning as Implicit Bayesian Inference [117.19809377740188]
  In-context Learning の出現における事前学習分布の役割について検討した。 本研究では,潜在概念のベイズ的推論を通じて,文脈内学習が暗黙的に起こることを証明した。 我々は,事前学習損失が同じであっても,スケーリングモデルのサイズがコンテキスト内精度を向上させることを実証的に見出した。
  論文  参考訳（メタデータ） (2021-11-03T09:12:33Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)
• Improving Commonsense Causal Reasoning by Adversarial Training and Data Augmentation [14.92157586545743]
  本稿では,因果推論の領域において,モデルをより堅牢にするための多くの手法を提案する。 少数の追加生成データポイントがなくても、パフォーマンスと両方のデータセットの統計的に有意な改善を示します。
  論文  参考訳（メタデータ） (2021-01-13T09:55:29Z)
• Syntax-Enhanced Pre-trained Model [49.1659635460369]
  BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。 既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。 事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
  論文  参考訳（メタデータ） (2020-12-28T06:48:04Z)
• Lexically-constrained Text Generation through Commonsense Knowledge Extraction and Injection [62.071938098215085]
  我々は、ある入力概念のセットに対して妥当な文を生成することを目的としているcommongenベンチマークに焦点を当てる。 生成したテキストの意味的正しさを高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2020-12-19T23:23:40Z)
• Severing the Edge Between Before and After: Neural Architectures for Temporal Ordering of Events [41.35277143634441]
  本稿では,時間的関係を予測してイベントを順序付けするためのニューラルネットワークと一連のトレーニング手法を提案する。 このタスクにおける重要な課題は、アノテーション付きデータの不足であることを考えると、当社のモデルは事前訓練された表現や転送、マルチタスク学習のいずれかに依存しています。 英語文書のMATRESデータセットの実験は、このタスクに新たな最先端技術を確立する。
  論文  参考訳（メタデータ） (2020-04-08T23:17:10Z)
• Pre-training for Abstractive Document Summarization by Reinstating Source Text [105.77348528847337]
  本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
  論文  参考訳（メタデータ） (2020-04-04T05:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。