論文の概要: Contrastive Representation Learning for Cross-Document Coreference
Resolution of Events and Entities
- arxiv url: http://arxiv.org/abs/2205.11438v1
- Date: Mon, 23 May 2022 16:30:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-24 17:02:44.803669
- Title: Contrastive Representation Learning for Cross-Document Coreference
Resolution of Events and Entities
- Title(参考訳): イベントとエンティティのクロスドキュメント参照解決のためのコントラスト表現学習
- Authors: Benjamin Hsu, Graham Horwood
- Abstract要約: コントラスト表現学習を利用したエンティティとイベントのコア参照解決手法を提案する。
本手法は,ECB+コーパスにおける多くの重要な指標について,最先端の結果を得る。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Identifying related entities and events within and across documents is
fundamental to natural language understanding. We present an approach to entity
and event coreference resolution utilizing contrastive representation learning.
Earlier state-of-the-art methods have formulated this problem as a binary
classification problem and leveraged large transformers in a cross-encoder
architecture to achieve their results. For large collections of documents and
corresponding set of $n$ mentions, the necessity of performing $n^{2}$
transformer computations in these earlier approaches can be computationally
intensive. We show that it is possible to reduce this burden by applying
contrastive learning techniques that only require $n$ transformer computations
at inference time. Our method achieves state-of-the-art results on a number of
key metrics on the ECB+ corpus and is competitive on others.
- Abstract(参考訳): 文書内の関連エンティティやイベントを識別することは、自然言語の理解に不可欠である。
本稿では,コントラスト表現学習を用いたエンティティおよびイベントコリファレンス解決手法を提案する。
従来の最先端手法では、この問題をバイナリ分類問題として定式化し、クロスエンコーダアーキテクチャで大きなトランスフォーマーを活用して結果を得た。
大量の文書と対応する$n$の言及に対して、これらの初期のアプローチで$n^{2}$のトランスフォーマー計算を実行する必要性は計算量的に強い。
推定時に$n$のトランスフォーマー計算しか必要としないコントラスト学習手法を適用することで,この負担を軽減できることを示す。
本手法は,ECB+コーパスにおける多くの重要な指標に関する最先端の成果を達成し,他と競合する。
関連論文リスト
- Incrementally-Computable Neural Networks: Efficient Inference for
Dynamic Inputs [75.40636935415601]
ディープラーニングは、センサーデータやユーザ入力などの動的入力を効率的に処理するという課題に直面していることが多い。
インクリメンタルな計算アプローチを採用し、入力の変化に応じて計算を再利用する。
本稿では,この手法をトランスフォーマーアーキテクチャに適用し,修正入力の分数に比例した複雑性を持つ効率的なインクリメンタル推論アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-07-27T16:30:27Z) - Evaluating and Improving Tool-Augmented Computation-Intensive Math
Reasoning [75.74103236299477]
CoT(Chain-of- Thought prompting)とツール拡張は、大きな言語モデルを改善するための効果的なプラクティスとして検証されている。
ツールインターフェース,すなわち textbfDELI を用いた推論ステップを考慮に入れた新しい手法を提案する。
CARPと他の6つのデータセットの実験結果から、提案されたDELIは、主に競合ベースラインを上回っていることが示された。
論文 参考訳(メタデータ) (2023-06-04T17:02:59Z) - $2 * n$ is better than $n^2$: Decomposing Event Coreference Resolution
into Two Tractable Problems [3.777476692151661]
イベント参照解決(ECR)は、ドキュメント内またはドキュメント間で同じイベントの参照をリンクするタスクである。
2つの人気のあるECRデータセットで、アートの状況に匹敵する結果が得られることを示す。
また、コアフェレントまたは非コアフェレントを正確に分類するために、"ハード"な参照ペアも分析します。
論文 参考訳(メタデータ) (2023-05-09T05:33:32Z) - HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text
Extractive Summarization [57.798070356553936]
HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。
単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
論文 参考訳(メタデータ) (2021-10-12T22:42:31Z) - Focus on what matters: Applying Discourse Coherence Theory to Cross
Document Coreference [22.497877069528087]
ドキュメント間でのイベントとエンティティのコア参照の解決は、候補参照の数を大幅に増加させ、完全な$n2$ペアワイズ比較を行うことを難しくする。
既存のアプローチでは、ドキュメントクラスタ内でのコア参照のみを考慮することで単純化されているが、クラスタ間のコア参照を処理できない。
我々は、談話コヒーレンス理論の洞察に基づいて、潜在的コア推論は、読者の談話焦点によって制約される。
本手法は,ECB+,ガン・バイオレンス,フットボール・コアス,クロスドメイン・クロスドキュメント・コアス・コーパスにおけるイベントとエンティティの両面での最先端の成果を達成する。
論文 参考訳(メタデータ) (2021-10-11T15:41:47Z) - Semantic Correspondence with Transformers [68.37049687360705]
本稿では,変換器を用いたコストアグリゲーション(CAT)を提案し,意味論的に類似した画像間の密接な対応を見出す。
初期相関マップと多レベルアグリゲーションを曖昧にするための外観親和性モデリングを含む。
提案手法の有効性を示す実験を行い,広範囲にわたるアブレーション研究を行った。
論文 参考訳(メタデータ) (2021-06-04T14:39:03Z) - FeatMatch: Feature-Based Augmentation for Semi-Supervised Learning [64.32306537419498]
本稿では,複雑な変換を多様に生成する特徴量に基づく改良・拡張手法を提案する。
これらの変換は、クラスタリングを通じて抽出したクラス内およびクラス間の両方の情報も利用します。
提案手法は,大規模データセットにスケールアップしながら,より小さなデータセットに対して,現在の最先端技術に匹敵するものであることを実証する。
論文 参考訳(メタデータ) (2020-07-16T17:55:31Z) - Propositionalization and Embeddings: Two Sides of the Same Coin [0.0]
本稿では,リレーショナル学習におけるデータ処理技術について概説する。
それは命題化とデータ変換のアプローチの埋め込みに焦点を当てている。
統一手法の2つの効率的な実装を提案する。
論文 参考訳(メタデータ) (2020-06-08T08:33:21Z) - General Purpose Text Embeddings from Pre-trained Language Models for
Scalable Inference [34.47592026375839]
我々は,共用テキストエンコーダを用いて,推論中の計算コストの一部を異なるタスクで償却可能であることを示す。
また、このようなエンコーダをトレーニングするためのアプローチを比較し、複数のタスクで事前訓練されたエンコーダが、見当たらないタスクによく当てはまることを示す。
論文 参考訳(メタデータ) (2020-04-29T16:11:26Z) - Pre-training Tasks for Embedding-based Large-scale Retrieval [68.01167604281578]
本稿では,大規模クエリ文書検索問題について考察する。
クエリ(例えば質問)が与えられたら、関連するドキュメントのセットを大きなドキュメントコーパスから返します。
本稿では, 組込み型トランスフォーマーモデルの学習の鍵となる要素が, 事前学習作業のセットであることを示す。
論文 参考訳(メタデータ) (2020-02-10T16:44:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。