論文の概要: proScript: Partially Ordered Scripts Generation via Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2104.08251v1
• Date: Fri, 16 Apr 2021 17:35:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-19 16:07:42.064302
• Title: proScript: Partially Ordered Scripts Generation via Pre-trained Language Models
• Title（参考訳）: proScript: 事前訓練された言語モデルによる部分順序付きスクリプト生成
• Authors: Keisuke Sakaguchi, Chandra Bhagavatula, Ronan Le Bras, Niket Tandon, Peter Clark, Yejin Choi
• Abstract要約: 我々は、トレーニング済みのニューラルネットワークモデル(LM)が高品質なスクリプトを生成するために微調整できることを初めて実証した。 クラウドソースされた部分的に順序付けられたスクリプト(proScriptという名前)を収集しました。 私たちの実験では、これまでのスクリプトコレクションの障壁を克服するための新しいアプローチを示す(例えば、タスク(i)中のf1=75.7)。
• 参考スコア（独自算出の注目度）: 49.03193243699244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scripts - standardized event sequences describing typical everyday activities - have been shown to help understand narratives by providing expectations, resolving ambiguity, and filling in unstated information. However, to date they have proved hard to author or extract from text. In this work, we demonstrate for the first time that pre-trained neural language models (LMs) can be be finetuned to generate high-quality scripts, at varying levels of granularity, for a wide range of everyday scenarios (e.g., bake a cake). To do this, we collected a large (6.4k), crowdsourced partially ordered scripts (named proScript), which is substantially larger than prior datasets, and developed models that generate scripts with combining language generation and structure prediction. We define two complementary tasks: (i) edge prediction: given a scenario and unordered events, organize the events into a valid (possibly partial-order) script, and (ii) script generation: given only a scenario, generate events and organize them into a (possibly partial-order) script. Our experiments show that our models perform well (e.g., F1=75.7 in task (i)), illustrating a new approach to overcoming previous barriers to script collection. We also show that there is still significant room for improvement toward human level performance. Together, our tasks, dataset, and models offer a new research direction for learning script knowledge.
• Abstract（参考訳）: スクリプト - 典型的な日常のアクティビティを記述した標準化されたイベントシーケンス - は、期待を提供すること、曖昧さの解消、未定の情報の充足によって物語を理解するのに役立つ。 しかし、これまでテキストの執筆や抽出は困難であった。 本研究では,事前学習されたニューラルネットワークモデル(LM)を,様々なレベルの粒度で,さまざまな日常シナリオ(例えばケーキを焼くなど)に対して,高品質なスクリプトを生成するための微調整を初めて実施する。 これを実現するために、大きな(6.4k)を収集し、以前のデータセットよりもかなり大きな部分順序付けされたスクリプト(proscriptという名前)をクラウドソースし、言語生成と構造予測を組み合わせたスクリプトを生成するモデルを開発しました。 エッジ予測: シナリオと順序付けされていないイベントが与えられた場合、イベントを有効な(おそらく部分順序付けされた)スクリプトに整理し、(ii) スクリプト生成: シナリオのみを付与し、イベントを生成し、それらを(おそらく部分順序付けされた)スクリプトに整理する。 私たちの実験では、これまでのスクリプトコレクションの障壁を克服するための新しいアプローチを示す(例えば、タスク(i)中のf1=75.7)。 また、人間レベルのパフォーマンス向上のための重要な改善の余地があることも示しています。 タスク、データセット、モデルとともに、スクリプト知識を学ぶための新しい研究の方向性を提供します。

関連論文リスト

• MULTISCRIPT: Multimodal Script Learning for Supporting Open Domain Everyday Tasks [28.27986773292919]
  新しいベンチマークチャレンジであるMultiScriptを提示します。 どちらのタスクも、入力はターゲットタスク名と、ターゲットタスクを完了するために何をしたかを示すビデオから成っている。 期待される出力は、(1)デモビデオに基づくテキスト中の構造化されたステップ記述のシーケンス、(2)次のステップのための単一のテキスト記述である。
  論文  参考訳（メタデータ） (2023-10-08T01:51:17Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Probing Script Knowledge from Pre-Trained Models [24.80244106746926]
  我々は,包括的サブイベント選択,サブイベント選択開始,時間的順序付けという3つの探索タスクを設計する。 3つのプローブタスクは、可能なすべてのサブイベントから、メインイベントごとにスクリプトを自動的に誘導するために、さらに使用することができる。 BERTをケーススタディとして,サブイベント間のステレオタイプ的時間的知識はBERTでよく捉えられていると結論付けた。
  論文  参考訳（メタデータ） (2022-04-16T05:13:39Z)
• A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
  我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。 本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。 提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-04-11T18:31:53Z)
• What do Large Language Models Learn about Scripts? [5.429894958215681]
  本稿では,自然言語のプロンプト形式でシナリオが与えられたイベントシーケンス記述を生成するタスクについて紹介する。 ゼロショット探索実験では、生成型LMは、主に省略、無関係、繰り返し、または誤順序のイベントを発生させる。 本稿では,パイプラインベースのスクリプト誘導フレームワーク(SIF)を提案する。
  論文  参考訳（メタデータ） (2021-12-27T18:51:18Z)
• Integrating Deep Event-Level and Script-Level Information for Script Event Prediction [60.67635412135681]
  本稿では,MCPredictorと呼ばれるTransformerベースのモデルを提案する。 The experimental results on the wide-useed New York Times corpus showed the effectiveness and superiority of the proposed model。
  論文  参考訳（メタデータ） (2021-09-24T07:37:32Z)
• Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing [78.8500633981247]
  本稿では,自然言語処理における新たなパラダイムにおける研究成果の探索と整理を行う。 入力xを取り込んで出力yをP(y|x)として予測するようにモデルを訓練する従来の教師付き学習とは異なり、プロンプトベースの学習は直接テキストの確率をモデル化する言語モデルに基づいている。
  論文  参考訳（メタデータ） (2021-07-28T18:09:46Z)
• Goal-Oriented Script Construction [23.6227797113877]
  目標指向のスクリプト構築タスクを提案し、モデルが与えられた目標を達成するための一連のステップを生成する。 wikiHowから収集した18言語をサポートする,最初の多言語スクリプト学習データセットの試験を行った。
  論文  参考訳（メタデータ） (2021-07-28T06:39:31Z)
• Pre-training via Paraphrasing [96.79972492585112]
  教師なし多言語パラフレージング目的を用いて学習した,事前学習されたシーケンス・ツー・シーケンスモデルであるMARGEを紹介する。 ランダムな初期化のみを前提として,検索と再構築を共同で行うことができることを示す。 例えば、追加のタスク固有のトレーニングがなければ、文書翻訳のBLEUスコアは最大35.8に達する。
  論文  参考訳（メタデータ） (2020-06-26T14:43:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。