論文の概要: Are All Steps Equally Important? Benchmarking Essentiality Detection of Events

• arxiv url: http://arxiv.org/abs/2210.04074v3
• Date: Sat, 28 Oct 2023 06:37:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 01:28:14.179253
• Title: Are All Steps Equally Important? Benchmarking Essentiality Detection of Events
• Title（参考訳）: すべてのステップは平等に重要か? イベントのベンチマーク基本性検出
• Authors: Haoyu Wang, Hongming Zhang, Yueguan Wang, Yuqian Deng, Muhao Chen, Dan Roth
• Abstract要約: 本稿では,現在のモデルが目標イベントに関連するステップイベントの本質をどの程度理解しているかについて検討する。 コミュニティガイドサイトWikiHowから収集した高品質なペア(ゴール,ステップ)コーパスをコントリビュートする。 高いアノテータ間の合意は、人間が事象の本質について一貫した理解を持っていることを証明している。
• 参考スコア（独自算出の注目度）: 92.92425231146433
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Natural language expresses events with varying granularities, where coarse-grained events (goals) can be broken down into finer-grained event sequences (steps). A critical yet overlooked aspect of understanding event processes is recognizing that not all step events hold equal importance toward the completion of a goal. In this paper, we address this gap by examining the extent to which current models comprehend the essentiality of step events in relation to a goal event. Cognitive studies suggest that such capability enables machines to emulate human commonsense reasoning about preconditions and necessary efforts of everyday tasks. We contribute a high-quality corpus of (goal, step) pairs gathered from the community guideline website WikiHow, with steps manually annotated for their essentiality concerning the goal by experts. The high inter-annotator agreement demonstrates that humans possess a consistent understanding of event essentiality. However, after evaluating multiple statistical and largescale pre-trained language models, we find that existing approaches considerably underperform compared to humans. This observation highlights the need for further exploration into this critical and challenging task. The dataset and code are available at http://cogcomp.org/page/publication_view/1023.
• Abstract（参考訳）: 自然言語は様々な粒度のイベントを表現し、粗い粒度のイベント(ゴール)をより細かい粒度のイベントシーケンス(ステップ)に分解することができる。 イベントプロセスを理解する上で批判的だが見過ごされている側面は、すべてのステップイベントが目標の完了に対して等しく重要であるとは限らないことだ。 本稿では,現在のモデルが目標イベントに関連するステップイベントの本質をどの程度理解しているかを検討することで,このギャップに対処する。 認知研究は、このような能力により機械は前提条件や日常的な作業に必要な努力について人間の常識を模倣できることを示唆している。 コミュニティガイドサイトWikiHowから収集した高品質な(ゴール,ステップ)ペアのコーパスに,専門家による目標に関する本質的な説明を手作業で行う。 高いアノテーション間の合意は、人間が事象の本質について一貫した理解を持っていることを示している。 しかし,複数の統計的および大規模事前学習言語モデルを評価すると,既存のアプローチは人間に比べてかなり性能が劣っていることがわかった。 この観察は、この批判的かつ困難なタスクに対するさらなる調査の必要性を浮き彫りにしている。 データセットとコードはhttp://cogcomp.org/page/publication_view/1023で入手できる。

関連論文リスト

• SAGA: A Participant-specific Examination of Story Alternatives and Goal Applicability for a Deeper Understanding of Complex Events [13.894639630989563]
  このような知識は参加者達成レンズを通じて引き出すことができると我々は主張する。 我々は,参加者の意図した成果に基づいて,物語の中の複雑な出来事を分析する。 データセットに微調整された小さなモデルでは、より大きなモデルを上回るパフォーマンスが得られることを示す。
  論文  参考訳（メタデータ） (2024-08-11T14:52:40Z)
• Double Mixture: Towards Continual Event Detection from Speech [60.33088725100812]
  音声イベント検出は、セマンティックイベントと音響イベントの両方のタグ付けを含むマルチメディア検索に不可欠である。 本稿では, 音声イベント検出における主な課題として, 過去の出来事を忘れることなく新たな事象を連続的に統合すること, 音響イベントからの意味のゆがみについて述べる。 本稿では,適応性を向上し,忘れることを防止するために,音声の専門知識と堅牢な記憶機構を融合する新しい手法「ダブルミキチャー」を提案する。
  論文  参考訳（メタデータ） (2024-04-20T06:32:00Z)
• Improving Event Definition Following For Zero-Shot Event Detection [66.27883872707523]
  ゼロショットイベント検出に対する既存のアプローチは通常、既知のイベントタイプをアノテートしたデータセット上でモデルをトレーニングする。 イベント定義に従うためのトレーニングモデルによるゼロショットイベント検出の改善を目指しています。
  論文  参考訳（メタデータ） (2024-03-05T01:46:50Z)
• An Ordinal Latent Variable Model of Conflict Intensity [59.49424978353101]
  ゴールドスタインスケール(Goldstein scale)は、紛争・協力的なスケールでイベントをスコアする、広く使われている専門家ベースの尺度である。 本稿では、競合強度を測定するために、潜伏変数に基づくアプローチをとる。
  論文  参考訳（メタデータ） (2022-10-08T08:59:17Z)
• ESTER: A Machine Reading Comprehension Dataset for Event Semantic Relation Reasoning [49.795767003586235]
  イベントセマンティックリレーション推論のための包括的な機械学習理解データセットESTERを紹介します。 もっともよく使われるイベント意味関係を5つ検討し、質問応答タスクとして定式化します。 実験の結果、現在のSOTAシステムは、イベントベースF1、トークンベースF1、HIT@1スコアそれぞれ60.5%、57.8%、76.3%を達成した。
  論文  参考訳（メタデータ） (2021-04-16T19:59:26Z)
• Visual Goal-Step Inference using wikiHow [29.901908251322684]
  目標のステップのサブシーケンスを推測することは、人工知能システムが人間の活動について推論するのに役立ちます。 モデルにテキスト目標を付与し、4つの候補画像の中からその目標に向けての有効なステップを選択する,Visual Goal-Step Inference (VGSI) タスクを提案する。 我々のデータから学んだ知識は、HowTo100Mのような他のデータセットに効果的に転送できることを示し、多重選択の精度を15%から20%向上させる。
  論文  参考訳（メタデータ） (2021-04-12T22:20:09Z)
• Human in Events: A Large-Scale Benchmark for Human-centric Video Analysis in Complex Events [106.19047816743988]
  我々は、Human-in-Events(Human-in-Events)またはHiEve(HiEve)という、包括的なアノテーションを備えた新しい大規模データセットを提案する。 これには、複雑なイベントにおけるアクションインスタンスの最大数(>56k)と、長時間続くトラジェクトリの最大数(>1M)が含まれている。 多様なアノテーションに基づいて、アクション認識とポーズ推定のための2つのシンプルなベースラインを提示する。
  論文  参考訳（メタデータ） (2020-05-09T18:24:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。