論文の概要: OpenPI2.0: An Improved Dataset for Entity Tracking in Texts

• arxiv url: http://arxiv.org/abs/2305.14603v2
• Date: Thu, 25 Jan 2024 18:15:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-26 18:25:14.169413
• Title: OpenPI2.0: An Improved Dataset for Entity Tracking in Texts
• Title（参考訳）: OpenPI2.0: テキストにおけるエンティティ追跡のための改善されたデータセット
• Authors: Li Zhang, Hainiu Xu, Abhinav Kommula, Chris Callison-Burch, Niket Tandon
• Abstract要約: 以前のデータセットであるOpenPIは、テキスト内のエンティティ状態の変更をクラウドソースでアノテーションとして提供していた。 改良されたデータセットであるOpenPI2.0では、エンティティと属性が完全に標準化され、追加のエンティティサリエンスアノテーションが追加される。 その結果,質問応答や古典的計画といったタスクにおいて,適切なエンティティの状態変化をチェーン・オブ・シークレットのプロンプトとして利用することで,ダウンストリームのパフォーマンスが向上することを示す。
• 参考スコア（独自算出の注目度）: 36.84433853139042
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Much text describes a changing world (e.g., procedures, stories, newswires), and understanding them requires tracking how entities change. An earlier dataset, OpenPI, provided crowdsourced annotations of entity state changes in text. However, a major limitation was that those annotations were free-form and did not identify salient changes, hampering model evaluation. To overcome these limitations, we present an improved dataset, OpenPI2.0, where entities and attributes are fully canonicalized and additional entity salience annotations are added. On our fairer evaluation setting, we find that current state-of-the-art language models are far from competent. We also show that using state changes of salient entities as a chain-of-thought prompt, downstream performance is improved on tasks such as question answering and classical planning, outperforming the setting involving all related entities indiscriminately. We offer OpenPI2.0 for the continued development of models that can understand the dynamics of entities in text.
• Abstract（参考訳）: 多くのテキストは、変化する世界(手順、ストーリー、ニュースワイヤーなど)を記述し、それらを理解するには、エンティティがどのように変化するかを追跡する必要がある。 以前のデータセットであるOpenPIは、テキストのエンティティ状態変更のクラウドソースアノテーションを提供する。 しかし、これらのアノテーションは自由形式であり、健全な変化を特定しておらず、モデル評価を妨げている。 これらの制限を克服するために、改善されたデータセットであるOpenPI2.0を紹介し、エンティティと属性は完全に標準化され、追加のエンティティサリエンスアノテーションが追加される。 より公平な評価設定では、現在の最先端の言語モデルはもはや有能ではない。 また,質問応答や古典的な計画といったタスクにおいて,提案するエンティティの状態変化を考慮の連鎖的なプロンプトとして使用することにより,下流のパフォーマンスが向上し,関連するエンティティのすべてに関わる設定を無差別に上回ることを示した。 テキスト内のエンティティのダイナミクスを理解できるモデルの開発を継続する上で、OpenPI2.0を提供する。

関連論文リスト

• Dynamic Retrieval-Augmented Generation [4.741884506444161]
  動的検索・拡張生成(DRAG)のための新しい手法を提案する。 DRAGは、取得したエンティティの圧縮埋め込みを生成モデルに注入する。 提案手法は,(1)コンテキストウィンドウの長さ制限を解除し,迅速なサイズを節約すること,(2)コンテキストに利用可能な検索エンティティの数を膨大に拡張すること,(3)ミススペルや関連エンティティ名検索の失敗を緩和すること,の3つの目標を達成する。
  論文  参考訳（メタデータ） (2023-12-14T14:26:57Z)
• OpenPI-C: A Better Benchmark and Stronger Baseline for Open-Vocabulary State Tracking [55.62705574507595]
  OpenPIは、オープン語彙状態トラッキング用に注釈付けされた唯一のデータセットである。 手順レベル,ステップレベル,状態変化レベルの3つの問題を分類する。 評価指標として,クラスタベースの計量法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T16:48:20Z)
• Understand the Dynamic World: An End-to-End Knowledge Informed Framework for Open Domain Entity State Tracking [15.421012879083463]
  Open Domain entity state trackingは、アクション記述が与えられたエンティティの妥当な状態変化(すなわち、[entity]の[属性]は、[before_state]と[after_state])を予測することを目的としています。 モデルがアクションによって引き起こされる任意の数のエンティティ状態変化を予測する必要がある一方で、ほとんどのエンティティはアクションとその属性に暗黙的に関連しており、状態はオープンな語彙から来ているため、それは難しいです。 我々は、オープンドメインのエンティティ状態追跡のための新しいエンドツーエンドの知識インフォームドフレームワーク、KIESTを提案し、関連するエンティティと属性を明示的に取り出す。
  論文  参考訳（メタデータ） (2023-04-26T22:45:30Z)
• Modeling Entities as Semantic Points for Visual Information Extraction in the Wild [55.91783742370978]
  文書画像から鍵情報を正確かつ堅牢に抽出する手法を提案する。 我々は、エンティティを意味的ポイントとして明示的にモデル化する。つまり、エンティティの中心点は、異なるエンティティの属性と関係を記述する意味情報によって豊かになる。 提案手法は,従来の最先端モデルと比較して,エンティティラベルとリンクの性能を著しく向上させることができる。
  論文  参考訳（メタデータ） (2023-03-23T08:21:16Z)
• Coalescing Global and Local Information for Procedural Text Understanding [70.10291759879887]
  完全な手続き的理解ソリューションは、入力のローカル・グローバル・ビューとアウトプットのグローバル・ビューの3つの中核的な側面を組み合わせるべきである。 本稿では,エンティティと時間表現を構築する新しいモデルであるCoalescing Global and Local InformationCGを提案する。 一般的な手続き的テキスト理解データセットの実験は、我々のモデルが最先端の結果を得ることを示す。
  論文  参考訳（メタデータ） (2022-08-26T19:16:32Z)
• Entity Cloze By Date: What LMs Know About Unseen Entities [79.34707800653597]
  言語モデル(LM)は通常、大規模なコーパスで一度訓練され、更新されずに数年間使用される。 本研究では,LMの事前学習時に存在しなかった新しいエンティティについて,LMがどのような推論ができるのかを解析する枠組みを提案する。 本論文は,その発祥日によって索引付けされたエンティティのデータセットを,英語のウィキペディア記事と組み合わせて作成し,各エンティティに関する文章を検索する。
  論文  参考訳（メタデータ） (2022-05-05T17:59:31Z)
• Towards Entity Alignment in the Open World: An Unsupervised Approach [29.337157862514204]
  これは知識のカバレッジと品質を高めるために知識グラフ(kgs)を統合する上で重要なステップである。 最先端のソリューションは、モデルトレーニングにラベル付きデータに頼る傾向があります。 オープンな世界でエンティティアライメントを行う監視されていないフレームワークを提供します。
  論文  参考訳（メタデータ） (2021-01-26T03:10:24Z)
• LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention [37.111204321059084]
  両方向変換器に基づく単語と実体の事前学習した文脈表現を提案する。 我々のモデルは、BERTのマスキング言語モデルに基づく新しい事前訓練タスクを用いて訓練される。 また,変換器の自己認識機構の拡張である自己認識機構を提案する。
  論文  参考訳（メタデータ） (2020-10-02T15:38:03Z)
• Interpretable Entity Representations through Large-Scale Typing [61.4277527871572]
  本稿では,人間の読みやすいエンティティ表現を作成し,箱から高パフォーマンスを実現する手法を提案する。 我々の表現は、微粒な実体型に対する後続確率に対応するベクトルである。 特定のドメインに対して,学習に基づく方法で,型セットのサイズを縮小できることを示す。
  論文  参考訳（メタデータ） (2020-04-30T23:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。