論文の概要: SAGA: A Participant-specific Examination of Story Alternatives and Goal Applicability for a Deeper Understanding of Complex Events
- arxiv url: http://arxiv.org/abs/2408.05793v1
- Date: Sun, 11 Aug 2024 14:52:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-13 15:27:01.110140
- Title: SAGA: A Participant-specific Examination of Story Alternatives and Goal Applicability for a Deeper Understanding of Complex Events
- Title（参考訳）: SAGA:複雑事象のより深い理解のためのストーリー代替案とゴール適用性の検討
- Authors: Sai Vallurupalli, Katrin Erk, Francis Ferraro,
- Abstract要約: このような知識は参加者達成レンズを通じて引き出すことができると我々は主張する。
我々は,参加者の意図した成果に基づいて,物語の中の複雑な出来事を分析する。
データセットに微調整された小さなモデルでは、より大きなモデルを上回るパフォーマンスが得られることを示す。
- 参考スコア（独自算出の注目度）: 13.894639630989563
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Interpreting and assessing goal driven actions is vital to understanding and reasoning over complex events. It is important to be able to acquire the knowledge needed for this understanding, though doing so is challenging. We argue that such knowledge can be elicited through a participant achievement lens. We analyze a complex event in a narrative according to the intended achievements of the participants in that narrative, the likely future actions of the participants, and the likelihood of goal success. We collect 6.3K high quality goal and action annotations reflecting our proposed participant achievement lens, with an average weighted Fleiss-Kappa IAA of 80%. Our collection contains annotated alternate versions of each narrative. These alternate versions vary minimally from the "original" story, but can license drastically different inferences. Our findings suggest that while modern large language models can reflect some of the goal-based knowledge we study, they find it challenging to fully capture the design and intent behind concerted actions, even when the model pretraining included the data from which we extracted the goal knowledge. We show that smaller models fine-tuned on our dataset can achieve performance surpassing larger models.
- Abstract（参考訳）: 複雑なイベントに対する理解と推論には、目標駆動行動の解釈と評価が不可欠です。
この理解に必要な知識を習得できることは重要ですが、それは難しいことです。
このような知識は参加者達成レンズを通じて引き出すことができると我々は主張する。
我々は,その物語における参加者の意図した成果,参加者の今後の行動,そして目標達成の可能性に応じて,物語における複雑な出来事を分析する。
我々は、提案した参加者達成レンズを反映した6.3Kの高品質な目標とアクションアノテーションを収集し、平均重み付きFleiss-Kappa IAAは80%である。
私たちのコレクションには、各物語の注釈付きの別バージョンが含まれています。
これらの代替バージョンは、"オリジナル"ストーリーと最小限に異なるが、大幅に異なる推論をライセンスすることができる。
我々の研究結果によると、現代の大規模言語モデルは、私たちが研究しているゴールベース知識の一部を反映できるが、モデル事前学習にゴール知識を抽出したデータが含まれていたとしても、協調行動の背後にある設計と意図を完全に把握することは困難である。
データセットに微調整された小さなモデルでは、より大きなモデルを上回るパフォーマンスが得られることを示す。
関連論文リスト
- ActionCOMET: A Zero-shot Approach to Learn Image-specific Commonsense Concepts about Actions [66.20773952864802]
我々は8.5k画像と59.3k画像に接地されたアクションに関する59.3kの推論からなるデータセットを開発する。
本稿では、提供された視覚入力に特有の言語モデルに存在する知識を識別するフレームワークであるActionCOMETを提案する。
論文 参考訳（メタデータ） (2024-10-17T15:22:57Z) - A Comprehensive Review of Few-shot Action Recognition [64.47305887411275]
アクション認識は、複雑で可変なビデオデータを手動でラベル付けすることのコストと非現実性に対処することを目的としている。
ビデオ中の人間のアクションを正確に分類するには、クラスごとにいくつかのラベル付き例だけを使用する必要がある。
論文 参考訳（メタデータ） (2024-07-20T03:53:32Z) - GameEval: Evaluating LLMs on Conversational Games [93.40433639746331]
大規模言語モデル(LLM)を評価する新しいアプローチであるGameEvalを提案する。
GameEvalはLSMをゲームプレイヤーとして扱い、様々な形式の会話を起動することで達成した特定の目標にそれぞれ異なる役割を割り当てる。
我々は,GameEvalが様々なLLMの能力を効果的に差別化することができ,複雑な問題を解決するための統合能力を総合的に評価できることを示した。
論文 参考訳（メタデータ） (2023-08-19T14:33:40Z) - Discovering Novel Actions from Open World Egocentric Videos with Object-Grounded Visual Commonsense Reasoning [6.253919624802853]
本稿では,自己中心型ビデオにおける活動を限定的に推測する,ALGOと呼ばれる2段階のニューロシンボリック・フレームワークを提案する。
まず,物体中心の視覚言語モデルを用いたニューロシンボリック・プロンプト手法を提案する。
第二に、事前のコモンセンス知識により、エネルギーに基づく象徴的パターン理論の枠組みを通して、プラプシブルな活動を発見する。
論文 参考訳（メタデータ） (2023-05-26T03:21:30Z) - POQue: Asking Participant-specific Outcome Questions for a Deeper
Understanding of Complex Events [26.59626509200256]
群衆労働者は、状況を構成する健全な出来事の集団的影響を推測できることを示す。
マルチステップインタフェースを作成することで、8K短いニュースワイヤ物語とROCStoriesの高品質な注釈付きデータセットを収集する。
我々のデータセットであるPOQueは、意味理解の複数の側面に対処するモデルの探索と開発を可能にする。
論文 参考訳（メタデータ） (2022-12-05T22:23:27Z) - H-SAUR: Hypothesize, Simulate, Act, Update, and Repeat for Understanding
Object Articulations from Interactions [62.510951695174604]
The Hypothesize, Simulate, Act, Update, and Repeat (H-SAUR) is a probabilistic generative framework that generated hypotheses about objects articulate given input observed。
提案手法は,現在最先端のオブジェクト操作フレームワークよりも優れていることを示す。
我々は、学習に基づく視覚モデルから学習前の学習を統合することにより、H-SAURのテスト時間効率をさらに向上する。
論文 参考訳（メタデータ） (2022-10-22T18:39:33Z) - Are All Steps Equally Important? Benchmarking Essentiality Detection of
Events [92.92425231146433]
本稿では,現在のモデルが目標イベントに関連するステップイベントの本質をどの程度理解しているかについて検討する。
コミュニティガイドサイトWikiHowから収集した高品質なペア(ゴール,ステップ)コーパスをコントリビュートする。
高いアノテータ間の合意は、人間が事象の本質について一貫した理解を持っていることを証明している。
論文 参考訳（メタデータ） (2022-10-08T18:00:22Z) - WinoGAViL: Gamified Association Benchmark to Challenge
Vision-and-Language Models [91.92346150646007]
本研究では,視覚・言語関係を収集するオンラインゲームであるWinoGAViLを紹介する。
私たちはこのゲームを使って3.5Kのインスタンスを収集し、それらが人間には直感的だが最先端のAIモデルには挑戦的であることを発見した。
我々の分析とプレイヤーからのフィードバックは、収集された協会が多様な推論スキルを必要とすることを示している。
論文 参考訳（メタデータ） (2022-07-25T23:57:44Z) - It's the Same Old Story! Enriching Event-Centric Knowledge Graphs by
Narrative Aspects [0.3655021726150368]
イベント中心の知識グラフのための新しい軽量な構造を導入し,視点依存と物語的側面を取り入れたクエリを初めて実現した。
本実験は、イベント参加者に対する主観的帰属の効果的な取り込みを証明し、物語クエリ処理に特化して調整された指標の利点を示すものである。
論文 参考訳（メタデータ） (2022-05-08T14:00:41Z) - Visual Goal-Step Inference using wikiHow [29.901908251322684]
目標のステップのサブシーケンスを推測することは、人工知能システムが人間の活動について推論するのに役立ちます。
モデルにテキスト目標を付与し、4つの候補画像の中からその目標に向けての有効なステップを選択する,Visual Goal-Step Inference (VGSI) タスクを提案する。
我々のデータから学んだ知識は、HowTo100Mのような他のデータセットに効果的に転送できることを示し、多重選択の精度を15%から20%向上させる。
論文 参考訳（メタデータ） (2021-04-12T22:20:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。