論文の概要: Probing Script Knowledge from Pre-Trained Models

• arxiv url: http://arxiv.org/abs/2204.10176v1
• Date: Sat, 16 Apr 2022 05:13:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-24 15:43:00.319005
• Title: Probing Script Knowledge from Pre-Trained Models
• Title（参考訳）: 事前学習モデルからのスクリプト知識の探索
• Authors: Zijian Jin, Xingyu Zhang, Mo Yu, Lifu Huang
• Abstract要約: 我々は,包括的サブイベント選択,サブイベント選択開始,時間的順序付けという3つの探索タスクを設計する。 3つのプローブタスクは、可能なすべてのサブイベントから、メインイベントごとにスクリプトを自動的に誘導するために、さらに使用することができる。 BERTをケーススタディとして,サブイベント間のステレオタイプ的時間的知識はBERTでよく捉えられていると結論付けた。
• 参考スコア（独自算出の注目度）: 24.80244106746926
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Script knowledge is critical for humans to understand the broad daily tasks and routine activities in the world. Recently researchers have explored the large-scale pre-trained language models (PLMs) to perform various script related tasks, such as story generation, temporal ordering of event, future event prediction and so on. However, it's still not well studied in terms of how well the PLMs capture the script knowledge. To answer this question, we design three probing tasks: inclusive sub-event selection, starting sub-event selection and temporal ordering to investigate the capabilities of PLMs with and without fine-tuning. The three probing tasks can be further used to automatically induce a script for each main event given all the possible sub-events. Taking BERT as a case study, by analyzing its performance on script induction as well as each individual probing task, we conclude that the stereotypical temporal knowledge among the sub-events is well captured in BERT, however the inclusive or starting sub-event knowledge is barely encoded.
• Abstract（参考訳）: 人間にとってスクリプト知識は、世界の幅広い日々のタスクや日常的な活動を理解する上で重要である。 近年,大規模事前学習型言語モデル(PLM)を探索し,物語生成やイベントの時間的順序付け,将来のイベント予測など,様々なスクリプト関連タスクを遂行している。 しかし、plmがスクリプトの知識をいかにうまく捉えているかという点では、まだ十分に研究されていない。 この疑問に答えるために,我々は,包括的サブイベント選択,サブイベント選択開始,時間順序付けという3つの探索タスクを設計し,微調整なしでPLMの能力を調べる。 3つのプローブタスクは、可能なすべてのサブイベントから、メインイベントごとにスクリプトを自動的に誘導するために、さらに使用できる。 BERTをケーススタディとして、スクリプトインジェクションと個々の探索タスクのパフォーマンスを解析することにより、サブイベント間のステレオタイプ的時間的知識はBERTでよく捉えられているが、包括的あるいは開始的サブイベント知識はほとんどコード化されていないと結論付ける。

関連論文リスト

• Grounding Partially-Defined Events in Multimodal Data [61.0063273919745]
  部分定義イベントに対するマルチモーダル定式化を導入し、これらのイベントの抽出を3段階スパン検索タスクとしてキャストする。 このタスクのベンチマークであるMultiVENT-Gを提案し,22.8Kのラベル付きイベント中心エンティティを含む,14.5時間の高密度アノテーション付き現在のイベントビデオと1,168のテキストドキュメントからなる。 結果は、イベント理解の抽象的な課題を示し、イベント中心のビデオ言語システムにおける約束を実証する。
  論文  参考訳（メタデータ） (2024-10-07T17:59:48Z)
• TemPrompt: Multi-Task Prompt Learning for Temporal Relation Extraction in RAG-based Crowdsourcing Systems [21.312052922118585]
  時間的関係抽出(TRE)は、出来事や行動の進化を把握し、関連するタスクのワークフローを形成することを目的としている。 本稿では,TRE(TemPrompt)のためのマルチタスク・プロンプト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-21T01:52:37Z)
• TransPrompt v2: A Transferable Prompting Framework for Cross-task Text Classification [37.824031151922604]
  そこで本研究では,テキスト分類タスク間の数ショット学習を実現するための,トランスプロンプトv2を提案する。 類似したタスクを学習するために、メタラーナーを訓練するためにマルチタスクメタ知識獲得(MMA)手順を用いる。 遠隔タスクを学習するために、タスクタイプ記述をプロンプトに注入し、タイプ内およびタイプ間プロンプト埋め込みをキャプチャする。
  論文  参考訳（メタデータ） (2023-08-29T04:16:57Z)
• Prompt2Gaussia: Uncertain Prompt-learning for Script Event Prediction [11.54608099442562]
  Script Event Prediction (SEP) は、あるイベントチェーンのその後のイベントを候補リストから予測することを目的としている。 公開事前学習型言語モデルを知識ベースとして検討し,即時学習によるスクリプト関連知識の自動マイニングを行う。 事前学習した言語モデルから得られる知識の恩恵を受ける手法は,2つのベンチマークにおいて,事前ベースラインを1.46%,1.05%向上させる。
  論文  参考訳（メタデータ） (2023-08-04T01:34:46Z)
• Pre-training Multi-task Contrastive Learning Models for Scientific Literature Understanding [52.723297744257536]
  事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。 文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
  論文  参考訳（メタデータ） (2023-05-23T16:47:22Z)
• Integrating Deep Event-Level and Script-Level Information for Script Event Prediction [60.67635412135681]
  本稿では,MCPredictorと呼ばれるTransformerベースのモデルを提案する。 The experimental results on the wide-useed New York Times corpus showed the effectiveness and superiority of the proposed model。
  論文  参考訳（メタデータ） (2021-09-24T07:37:32Z)
• CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented Dialog Systems [56.302581679816775]
  本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。 命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。 これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
  論文  参考訳（メタデータ） (2021-09-10T03:23:06Z)
• proScript: Partially Ordered Scripts Generation via Pre-trained Language Models [49.03193243699244]
  我々は、トレーニング済みのニューラルネットワークモデル(LM)が高品質なスクリプトを生成するために微調整できることを初めて実証した。 クラウドソースされた部分的に順序付けられたスクリプト(proScriptという名前)を収集しました。 私たちの実験では、これまでのスクリプトコレクションの障壁を克服するための新しいアプローチを示す(例えば、タスク(i)中のf1=75.7)。
  論文  参考訳（メタデータ） (2021-04-16T17:35:10Z)
• Temporally Correlated Task Scheduling for Sequence Learning [143.70523777803723]
  多くのアプリケーションにおいて、シーケンス学習タスクは通常、複数の時間的に相関した補助タスクと関連付けられている。 シーケンス学習に学習可能なスケジューラを導入し、トレーニングのための補助的なタスクを適応的に選択できる。 本手法は,同時翻訳とストックトレンド予測の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2020-07-10T10:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。