論文の概要: Streamlining Cross-Document Coreference Resolution: Evaluation and
Modeling
- arxiv url: http://arxiv.org/abs/2009.11032v3
- Date: Fri, 23 Oct 2020 13:40:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-15 16:02:01.199441
- Title: Streamlining Cross-Document Coreference Resolution: Evaluation and
Modeling
- Title(参考訳): 文書間の照合の合理化:評価とモデリング
- Authors: Arie Cattan, Alon Eirew, Gabriel Stanovsky, Mandar Joshi, and Ido
Dagan
- Abstract要約: クロスドキュメント(CD)コア参照解決のための最近の評価プロトコルは、しばしば矛盾または寛大である。
我々の主な貢献は、原文のみにアクセスすることを前提とした実用的評価手法を提案することである。
我々のモデルは、CDコア参照設定に対処するためにドキュメント内コア参照解決のために、最近のニューラルモデルを適用し、拡張する。
- 参考スコア(独自算出の注目度): 25.94435242086499
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent evaluation protocols for Cross-document (CD) coreference resolution
have often been inconsistent or lenient, leading to incomparable results across
works and overestimation of performance. To facilitate proper future research
on this task, our primary contribution is proposing a pragmatic evaluation
methodology which assumes access to only raw text -- rather than assuming gold
mentions, disregards singleton prediction, and addresses typical targeted
settings in CD coreference resolution. Aiming to set baseline results for
future research that would follow our evaluation methodology, we build the
first end-to-end model for this task. Our model adapts and extends recent
neural models for within-document coreference resolution to address the CD
coreference setting, which outperforms state-of-the-art results by a
significant margin.
- Abstract(参考訳): クロスドキュメント(CD)コア参照解決のための最近の評価プロトコルは、しばしば矛盾または寛大であり、作業間での相容れない結果と性能の過大評価をもたらす。
本課題の今後の適切な研究を促進するため,本研究の主な貢献は,金の言及やシングルトン予測を無視し,CDコア参照解決における典型的なターゲット設定に対処するよりも,原文のみへのアクセスを前提とした実用的評価手法を提案することである。
評価手法を踏襲する今後の研究のベースラインとなる結果の設定を目指して,この課題に対する最初のエンドツーエンドモデルを構築した。
我々のモデルは最近のニューラルモデルに適応し、CDコア参照設定に対処するため、文書内コア参照解決のために拡張する。
関連論文リスト
- Coherent Entity Disambiguation via Modeling Topic and Categorical
Dependency [87.16283281290053]
従来のエンティティ曖昧化(ED)メソッドは、参照コンテキストと候補エンティティの一致するスコアに基づいて予測を行う、識別パラダイムを採用している。
本稿では,エンティティ予測のコヒーレンス向上を目的とした新しいデザインを備えたEDシステムであるCoherentedを提案する。
我々は、人気EDベンチマークにおいて、平均1.3F1ポイントの改善により、最先端の新たな結果を得る。
論文 参考訳(メタデータ) (2023-11-06T16:40:13Z) - Investigating Crowdsourcing Protocols for Evaluating the Factual
Consistency of Summaries [59.27273928454995]
要約に適用される現在の事前学習モデルは、ソーステキストを誤って表現したり、外部情報を導入したりする事実上の矛盾がちである。
評価ベースのLikertスケールとランキングベースのBest-Worst Scalingプロトコルを用いた,事実整合性のためのクラウドソーシング評価フレームワークを構築した。
ランキングベースのプロトコルは、データセット間の要約品質をより信頼性の高い尺度を提供するのに対して、Likertレーティングの信頼性はターゲットデータセットと評価設計に依存する。
論文 参考訳(メタデータ) (2021-09-19T19:05:00Z) - Instance-Level Relative Saliency Ranking with Graph Reasoning [126.09138829920627]
そこで本研究では,有意な事例を分割し,相対的有意な有意なランク順序を推定するための統一モデルを提案する。
また、サラレンシーランキングブランチを効果的にトレーニングするために、新しい損失関数も提案されている。
実験の結果,提案手法は従来の手法よりも有効であることがわかった。
論文 参考訳(メタデータ) (2021-07-08T13:10:42Z) - Realistic Evaluation Principles for Cross-document Coreference
Resolution [19.95214898312209]
我々は、モデルが標準ECB+データセットの合成トピック構造を利用するべきではないと主張している。
私たちは、より現実的な評価原則が競争モデルに与える影響を実証的に示します。
論文 参考訳(メタデータ) (2021-06-08T09:05:21Z) - Cross-document Coreference Resolution over Predicted Mentions [19.95214898312209]
原文からのCDコア参照解決のための最初のエンドツーエンドモデルを提案する。
我々のモデルは、金の言及に対するイベントとエンティティのコア参照の解決のための競合的な結果を達成する。
論文 参考訳(メタデータ) (2021-06-02T14:56:28Z) - Sequential Cross-Document Coreference Resolution [14.099694053823765]
クロスドキュメントのコリファレンス解決は、マルチドキュメント分析タスクへの関心が高まる上で重要である。
コアファレンス分解能の効率的なシーケンシャル予測パラダイムを文書間設定に拡張する新しいモデルを提案する。
私たちのモデルは、参照をクラスタ表現にインクリメンタルに合成し、参照とすでに構築されたクラスタ間のリンクを予測する。
論文 参考訳(メタデータ) (2021-04-17T00:46:57Z) - Evaluation of Unsupervised Entity and Event Salience Estimation [17.74208462902158]
Salience Estimationは、文書における用語の重要性を予測することを目的としている。
過去の研究は通常、評価のための疑似根拠の真実を生成します。
本研究では,軽量で実用的な実体とイベントサリエンス評価プロトコルを提案する。
論文 参考訳(メタデータ) (2021-04-14T15:23:08Z) - Reliable Evaluations for Natural Language Inference based on a Unified
Cross-dataset Benchmark [54.782397511033345]
クラウドソースの自然言語推論(NLI)データセットは、アノテーションアーティファクトのような重大なバイアスに悩まされる可能性がある。
14のNLIデータセットと9つの広く使用されているニューラルネットワークベースのNLIモデルを再評価した、新しいクロスデータセットベンチマークを提案する。
提案した評価手法と実験ベースラインは,将来信頼性の高いNLI研究を刺激する基盤となる可能性がある。
論文 参考訳(メタデータ) (2020-10-15T11:50:12Z) - Evaluating Text Coherence at Sentence and Paragraph Levels [17.99797111176988]
本稿では,既存の文順序付け手法の段落順序付けタスクへの適応について検討する。
また、ミニデータセットとノイズの多いデータセットを人工的に作成することで、既存のモデルの学習性と堅牢性を比較する。
我々は、リカレントグラフニューラルネットワークに基づくモデルがコヒーレンスモデリングの最適選択であると結論付けている。
論文 参考訳(メタデータ) (2020-06-05T03:31:49Z) - Pre-training Is (Almost) All You Need: An Application to Commonsense
Reasoning [61.32992639292889]
事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。
そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。
提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
論文 参考訳(メタデータ) (2020-04-29T10:54:40Z) - Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。
提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
論文 参考訳(メタデータ) (2020-03-14T22:29:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。