論文の概要: Evaluation of Unsupervised Entity and Event Salience Estimation
- arxiv url: http://arxiv.org/abs/2104.06924v1
- Date: Wed, 14 Apr 2021 15:23:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-15 13:23:36.893732
- Title: Evaluation of Unsupervised Entity and Event Salience Estimation
- Title(参考訳): 教師なしエンティティとイベントサージェンス推定の評価
- Authors: Jiaying Lu, Jinho D. Choi
- Abstract要約: Salience Estimationは、文書における用語の重要性を予測することを目的としている。
過去の研究は通常、評価のための疑似根拠の真実を生成します。
本研究では,軽量で実用的な実体とイベントサリエンス評価プロトコルを提案する。
- 参考スコア(独自算出の注目度): 17.74208462902158
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Salience Estimation aims to predict term importance in documents. Due to few
existing human-annotated datasets and the subjective notion of salience,
previous studies typically generate pseudo-ground truth for evaluation.
However, our investigation reveals that the evaluation protocol proposed by
prior work is difficult to replicate, thus leading to few follow-up studies
existing. Moreover, the evaluation process is problematic: the entity linking
tool used for entity matching is very noisy, while the ignorance of event
argument for event evaluation leads to boosted performance. In this work, we
propose a light yet practical entity and event salience estimation evaluation
protocol, which incorporates the more reliable syntactic dependency parser.
Furthermore, we conduct a comprehensive analysis among popular entity and event
definition standards, and present our own definition for the Salience
Estimation task to reduce noise during the pseudo-ground truth generation
process. Furthermore, we construct dependency-based heterogeneous graphs to
capture the interactions of entities and events. The empirical results show
that both baseline methods and the novel GNN method utilizing the heterogeneous
graph consistently outperform the previous SOTA model in all proposed metrics.
- Abstract(参考訳): Salience Estimationは、文書における用語の重要性を予測することを目的としている。
既存の人間の注釈付きデータセットがほとんどなく、主観的なサリエンスの概念のため、以前の研究は一般に評価のために擬似地下真実を生成する。
しかし,先行研究が提案する評価プロトコルを再現することは困難であり,追従研究は少ないことが判明した。
さらに、エンティティマッチングに使用されるエンティティリンクツールは非常にうるさいが、イベント評価のためのイベント引数の無知は、性能の向上につながる。
本研究では,より信頼性の高い構文依存パーサを組み込んだ,軽量で実用的なエンティティとイベントサリエンス評価プロトコルを提案する。
さらに、一般的なエンティティおよびイベント定義標準の包括的分析を行い、擬似的真実生成過程におけるノイズを低減するために、Salience Estimationタスクに対する独自の定義を示す。
さらに,エンティティとイベントの相互作用を捉えるために,依存性に基づくヘテロジニアスグラフを構築する。
実験結果から, ヘテロジニアスグラフを用いたベースライン法と新しいGNN法が, 提案した指標すべてにおいて, 従来のSOTAモデルより一貫して優れていることが示された。
関連論文リスト
- On Discprecncies between Perturbation Evaluations of Graph Neural
Network Attributions [49.8110352174327]
我々は、グラフ領域で以前に検討されていない視点から帰属法を評価する:再学習。
中心となる考え方は、属性によって識別される重要な(あるいは重要でない)関係でネットワークを再訓練することである。
我々は4つの最先端GNN属性法と5つの合成および実世界のグラフ分類データセットについて分析を行った。
論文 参考訳(メタデータ) (2024-01-01T02:03:35Z) - AMRFact: Enhancing Summarization Factuality Evaluation with AMR-driven
Training Data Generation [63.18211192998151]
本稿では,現実的に一貫性のない要約を生成する新しいフレームワークであるAMRFactを提案する。
提案手法は, 現実的に正しい要約をAMRグラフに解析し, 否定的な例を生成するために制御された事実矛盾を注入する。
提案手法は,AggreFact-SOTAデータセットにおいて,従来のシステムよりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2023-11-16T02:56:29Z) - Evaluating Pedestrian Trajectory Prediction Methods for the Application
in Autonomous Driving [1.03590082373586]
本稿では,単一軌跡生成の文脈における歩行者軌跡予測における技術の現状を評価する。
評価は、平均変位誤差(ADE)と最終変位誤差(FDE)を報告した広く使われているETH/UCYデータセット上で行われる。
論文 参考訳(メタデータ) (2023-08-09T19:21:50Z) - Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。
提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。
複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
論文 参考訳(メタデータ) (2023-06-09T08:30:51Z) - TRUE: Re-evaluating Factual Consistency Evaluation [29.888885917330327]
TRUE: 多様なタスクから既存のテキストの標準化されたコレクション上での、事実整合性メトリクスの総合的な研究である。
我々の標準化により、前述した相関よりも動作可能で解釈可能なサンプルレベルのメタ評価プロトコルが実現される。
さまざまな最先端のメトリクスと11のデータセットから、大規模NLIと質問生成と回答に基づくアプローチが、強力で相補的な結果をもたらすことが分かりました。
論文 参考訳(メタデータ) (2022-04-11T10:14:35Z) - Evaluating Causal Inference Methods [0.4588028371034407]
我々は、因果推論手法を検証するために、深層生成モデルに基づくフレームワーク、クレデンスを導入する。
我々の研究は、因果推論手法を検証するために、深層生成モデルに基づくフレームワーク、クレデンスを導入している。
論文 参考訳(メタデータ) (2022-02-09T00:21:22Z) - Stateful Offline Contextual Policy Evaluation and Learning [88.9134799076718]
我々は、シーケンシャルデータから、政治以外の評価と学習について研究する。
動的パーソナライズされた価格設定などの問題の因果構造を形式化する。
本報告では,本クラスにおけるアウト・オブ・サンプル・ポリシーの性能改善について述べる。
論文 参考訳(メタデータ) (2021-10-19T16:15:56Z) - SAIS: Supervising and Augmenting Intermediate Steps for Document-Level
Relation Extraction [51.27558374091491]
本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。
そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
論文 参考訳(メタデータ) (2021-09-24T17:37:35Z) - A Critical Assessment of State-of-the-Art in Entity Alignment [1.7725414095035827]
本稿では,知識グラフにおけるエンティティアライメントのタスクに対する2つの最先端(SotA)手法について検討する。
まず、ベンチマークプロセスについて慎重に検討し、いくつかの欠点を特定した。
論文 参考訳(メタデータ) (2020-10-30T15:09:19Z) - Aligning Intraobserver Agreement by Transitivity [1.0152838128195467]
我々は、アノテータの整合性やアノテータのオブザーバ内合意(IA)を計測する新しい手法を提案する。
提案手法は、合理的意思決定の文脈で徹底的に研究されている推移性に基づく。
論文 参考訳(メタデータ) (2020-09-29T09:55:04Z) - A Revised Generative Evaluation of Visual Dialogue [80.17353102854405]
本稿では,VisDialデータセットの改訂評価手法を提案する。
モデルが生成した回答と関連する回答の集合のコンセンサスを測定する。
DenseVisDialとして改訂された評価スキームのこれらのセットとコードをリリースする。
論文 参考訳(メタデータ) (2020-04-20T13:26:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。