論文の概要: Evaluation of Unsupervised Entity and Event Salience Estimation

• arxiv url: http://arxiv.org/abs/2104.06924v1
• Date: Wed, 14 Apr 2021 15:23:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-15 13:23:36.893732
• Title: Evaluation of Unsupervised Entity and Event Salience Estimation
• Title（参考訳）: 教師なしエンティティとイベントサージェンス推定の評価
• Authors: Jiaying Lu, Jinho D. Choi
• Abstract要約: Salience Estimationは、文書における用語の重要性を予測することを目的としている。 過去の研究は通常、評価のための疑似根拠の真実を生成します。 本研究では,軽量で実用的な実体とイベントサリエンス評価プロトコルを提案する。
• 参考スコア（独自算出の注目度）: 17.74208462902158
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Salience Estimation aims to predict term importance in documents. Due to few existing human-annotated datasets and the subjective notion of salience, previous studies typically generate pseudo-ground truth for evaluation. However, our investigation reveals that the evaluation protocol proposed by prior work is difficult to replicate, thus leading to few follow-up studies existing. Moreover, the evaluation process is problematic: the entity linking tool used for entity matching is very noisy, while the ignorance of event argument for event evaluation leads to boosted performance. In this work, we propose a light yet practical entity and event salience estimation evaluation protocol, which incorporates the more reliable syntactic dependency parser. Furthermore, we conduct a comprehensive analysis among popular entity and event definition standards, and present our own definition for the Salience Estimation task to reduce noise during the pseudo-ground truth generation process. Furthermore, we construct dependency-based heterogeneous graphs to capture the interactions of entities and events. The empirical results show that both baseline methods and the novel GNN method utilizing the heterogeneous graph consistently outperform the previous SOTA model in all proposed metrics.
• Abstract（参考訳）: Salience Estimationは、文書における用語の重要性を予測することを目的としている。 既存の人間の注釈付きデータセットがほとんどなく、主観的なサリエンスの概念のため、以前の研究は一般に評価のために擬似地下真実を生成する。 しかし,先行研究が提案する評価プロトコルを再現することは困難であり,追従研究は少ないことが判明した。 さらに、エンティティマッチングに使用されるエンティティリンクツールは非常にうるさいが、イベント評価のためのイベント引数の無知は、性能の向上につながる。 本研究では,より信頼性の高い構文依存パーサを組み込んだ,軽量で実用的なエンティティとイベントサリエンス評価プロトコルを提案する。 さらに、一般的なエンティティおよびイベント定義標準の包括的分析を行い、擬似的真実生成過程におけるノイズを低減するために、Salience Estimationタスクに対する独自の定義を示す。 さらに,エンティティとイベントの相互作用を捉えるために,依存性に基づくヘテロジニアスグラフを構築する。 実験結果から, ヘテロジニアスグラフを用いたベースライン法と新しいGNN法が, 提案した指標すべてにおいて, 従来のSOTAモデルより一貫して優れていることが示された。

関連論文リスト

• Rethinking Affect Analysis: A Protocol for Ensuring Fairness and Consistency [24.737468736951374]
  本稿では,データベース分割のための統一プロトコルを提案する。 我々は、(人種、性別、年齢の観点から)詳細な統計アノテーション、評価指標、および表現認識のための共通のフレームワークを提供する。 また、新しいプロトコルでメソッドを再実行し、より公平な比較で影響認識の今後の研究を促進するための新しいリーダーボードを導入します。
  論文  参考訳（メタデータ） (2024-08-04T23:21:46Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation [57.8363998797433]
  抽象的意味表現(AMR)を用いた摂動要約を生成するフレームワークであるAMRFactを提案する。 提案手法は,AMRグラフに一貫した要約を解析し,制御された事実不整合を注入して負の例を生成し,一貫性のない事実不整合要約を高い誤差型カバレッジで生成する。
  論文  参考訳（メタデータ） (2023-11-16T02:56:29Z)
• SocREval: Large Language Models with the Socratic Method for Reference-Free Reasoning Evaluation [78.23119125463964]
  我々は,参照フリー推論評価における新規な設計手法であるSocREvalを開発した。 SocREvalはGPT-4の性能を大幅に改善し、既存の参照フリーおよび参照ベース推論評価指標を上回っている。
  論文  参考訳（メタデータ） (2023-09-29T18:25:46Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• Evaluating Causal Inference Methods [0.4588028371034407]
  我々は、因果推論手法を検証するために、深層生成モデルに基づくフレームワーク、クレデンスを導入する。 我々の研究は、因果推論手法を検証するために、深層生成モデルに基づくフレームワーク、クレデンスを導入している。
  論文  参考訳（メタデータ） (2022-02-09T00:21:22Z)
• Stateful Offline Contextual Policy Evaluation and Learning [88.9134799076718]
  我々は、シーケンシャルデータから、政治以外の評価と学習について研究する。 動的パーソナライズされた価格設定などの問題の因果構造を形式化する。 本報告では,本クラスにおけるアウト・オブ・サンプル・ポリシーの性能改善について述べる。
  論文  参考訳（メタデータ） (2021-10-19T16:15:56Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• A Critical Assessment of State-of-the-Art in Entity Alignment [1.7725414095035827]
  本稿では,知識グラフにおけるエンティティアライメントのタスクに対する2つの最先端(SotA)手法について検討する。 まず、ベンチマークプロセスについて慎重に検討し、いくつかの欠点を特定した。
  論文  参考訳（メタデータ） (2020-10-30T15:09:19Z)
• Aligning Intraobserver Agreement by Transitivity [1.0152838128195467]
  我々は、アノテータの整合性やアノテータのオブザーバ内合意(IA)を計測する新しい手法を提案する。 提案手法は、合理的意思決定の文脈で徹底的に研究されている推移性に基づく。
  論文  参考訳（メタデータ） (2020-09-29T09:55:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。