論文の概要: Are All Steps Equally Important? Benchmarking Essentiality Detection of
Events
- arxiv url: http://arxiv.org/abs/2210.04074v3
- Date: Sat, 28 Oct 2023 06:37:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 01:28:14.179253
- Title: Are All Steps Equally Important? Benchmarking Essentiality Detection of
Events
- Title(参考訳): すべてのステップは平等に重要か?
イベントのベンチマーク基本性検出
- Authors: Haoyu Wang, Hongming Zhang, Yueguan Wang, Yuqian Deng, Muhao Chen, Dan
Roth
- Abstract要約: 本稿では,現在のモデルが目標イベントに関連するステップイベントの本質をどの程度理解しているかについて検討する。
コミュニティガイドサイトWikiHowから収集した高品質なペア(ゴール,ステップ)コーパスをコントリビュートする。
高いアノテータ間の合意は、人間が事象の本質について一貫した理解を持っていることを証明している。
- 参考スコア(独自算出の注目度): 92.92425231146433
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Natural language expresses events with varying granularities, where
coarse-grained events (goals) can be broken down into finer-grained event
sequences (steps). A critical yet overlooked aspect of understanding event
processes is recognizing that not all step events hold equal importance toward
the completion of a goal. In this paper, we address this gap by examining the
extent to which current models comprehend the essentiality of step events in
relation to a goal event. Cognitive studies suggest that such capability
enables machines to emulate human commonsense reasoning about preconditions and
necessary efforts of everyday tasks. We contribute a high-quality corpus of
(goal, step) pairs gathered from the community guideline website WikiHow, with
steps manually annotated for their essentiality concerning the goal by experts.
The high inter-annotator agreement demonstrates that humans possess a
consistent understanding of event essentiality. However, after evaluating
multiple statistical and largescale pre-trained language models, we find that
existing approaches considerably underperform compared to humans. This
observation highlights the need for further exploration into this critical and
challenging task. The dataset and code are available at
http://cogcomp.org/page/publication_view/1023.
- Abstract(参考訳): 自然言語は様々な粒度のイベントを表現し、粗い粒度のイベント(ゴール)をより細かい粒度のイベントシーケンス(ステップ)に分解することができる。
イベントプロセスを理解する上で批判的だが見過ごされている側面は、すべてのステップイベントが目標の完了に対して等しく重要であるとは限らないことだ。
本稿では,現在のモデルが目標イベントに関連するステップイベントの本質をどの程度理解しているかを検討することで,このギャップに対処する。
認知研究は、このような能力により機械は前提条件や日常的な作業に必要な努力について人間の常識を模倣できることを示唆している。
コミュニティガイドサイトWikiHowから収集した高品質な(ゴール,ステップ)ペアのコーパスに,専門家による目標に関する本質的な説明を手作業で行う。
高いアノテーション間の合意は、人間が事象の本質について一貫した理解を持っていることを示している。
しかし,複数の統計的および大規模事前学習言語モデルを評価すると,既存のアプローチは人間に比べてかなり性能が劣っていることがわかった。
この観察は、この批判的かつ困難なタスクに対するさらなる調査の必要性を浮き彫りにしている。
データセットとコードはhttp://cogcomp.org/page/publication_view/1023で入手できる。
関連論文リスト
- Improving Event Definition Following For Zero-Shot Event Detection [66.27883872707523]
ゼロショットイベント検出に対する既存のアプローチは通常、既知のイベントタイプをアノテートしたデータセット上でモデルをトレーニングする。
イベント定義に従うためのトレーニングモデルによるゼロショットイベント検出の改善を目指しています。
論文 参考訳(メタデータ) (2024-03-05T01:46:50Z) - Pedestrian Crossing Action Recognition and Trajectory Prediction with 3D
Human Keypoints [25.550524178542833]
歩行者の横断行動認識と軌道予測のための新しいマルチタスク学習フレームワークを提案する。
生のセンサデータから抽出した3D人間のキーポイントを用いて、人間のポーズや活動に関する豊富な情報をキャプチャする。
提案手法は,幅広い評価指標を用いて最先端の性能を実現する。
論文 参考訳(メタデータ) (2023-06-01T18:27:48Z) - Semantic Pivoting Model for Effective Event Detection [19.205550116466604]
Event Detectionは、構造化されていない記事からイベントインスタンスの参照を識別し、分類することを目的としている。
イベント検出の既存のテクニックは、イベントタイプクラスを表現するために、均質な1ホットベクトルのみを使用しており、型の意味がタスクにとって重要であるという事実を無視している。
本稿では,学習中の事前情報を明示的に組み込んで,入力とイベント間の意味的に意味のある相関関係を捉えるセマンティック・ピロリング・モデル(SPEED)を提案する。
論文 参考訳(メタデータ) (2022-11-01T19:20:34Z) - An Ordinal Latent Variable Model of Conflict Intensity [59.49424978353101]
ゴールドスタインスケール(Goldstein scale)は、紛争・協力的なスケールでイベントをスコアする、広く使われている専門家ベースの尺度である。
本稿では、競合強度を測定するために、潜伏変数に基づくアプローチをとる。
論文 参考訳(メタデータ) (2022-10-08T08:59:17Z) - ClarET: Pre-training a Correlation-Aware Context-To-Event Transformer
for Event-Centric Generation and Classification [74.6318379374801]
本稿では,イベント中心推論のための一般相関対応コンテキスト・イベント変換器(ClarET)の事前学習を提案する。
提案されたClarETは、幅広いイベント中心の推論シナリオに適用できる。
論文 参考訳(メタデータ) (2022-03-04T10:11:15Z) - ESTER: A Machine Reading Comprehension Dataset for Event Semantic
Relation Reasoning [49.795767003586235]
イベントセマンティックリレーション推論のための包括的な機械学習理解データセットESTERを紹介します。
もっともよく使われるイベント意味関係を5つ検討し、質問応答タスクとして定式化します。
実験の結果、現在のSOTAシステムは、イベントベースF1、トークンベースF1、HIT@1スコアそれぞれ60.5%、57.8%、76.3%を達成した。
論文 参考訳(メタデータ) (2021-04-16T19:59:26Z) - Visual Goal-Step Inference using wikiHow [29.901908251322684]
目標のステップのサブシーケンスを推測することは、人工知能システムが人間の活動について推論するのに役立ちます。
モデルにテキスト目標を付与し、4つの候補画像の中からその目標に向けての有効なステップを選択する,Visual Goal-Step Inference (VGSI) タスクを提案する。
我々のデータから学んだ知識は、HowTo100Mのような他のデータセットに効果的に転送できることを示し、多重選択の精度を15%から20%向上させる。
論文 参考訳(メタデータ) (2021-04-12T22:20:09Z) - Human in Events: A Large-Scale Benchmark for Human-centric Video
Analysis in Complex Events [106.19047816743988]
我々は、Human-in-Events(Human-in-Events)またはHiEve(HiEve)という、包括的なアノテーションを備えた新しい大規模データセットを提案する。
これには、複雑なイベントにおけるアクションインスタンスの最大数(>56k)と、長時間続くトラジェクトリの最大数(>1M)が含まれている。
多様なアノテーションに基づいて、アクション認識とポーズ推定のための2つのシンプルなベースラインを提示する。
論文 参考訳(メタデータ) (2020-05-09T18:24:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。