論文の概要: Modeling Label Correlations for Ultra-Fine Entity Typing with Neural
Pairwise Conditional Random Field
- arxiv url: http://arxiv.org/abs/2212.01581v1
- Date: Sat, 3 Dec 2022 09:49:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-06 16:31:00.546443
- Title: Modeling Label Correlations for Ultra-Fine Entity Typing with Neural
Pairwise Conditional Random Field
- Title（参考訳）: ニューラルペアワイズ条件付確率場を用いた超微細エンティティ型付けのためのラベル相関のモデル化
- Authors: Chengyue Jiang, Yong Jiang, Weiqi Wu, Pengjun Xie, Kewei Tu
- Abstract要約: We use an undirected graphical model called pairwise Conditional random field (PCRF) to formulaing the UFET problem。
我々は、エンティティ型付けに様々な現代的なバックボーンを使用し、一意ポテンシャルを計算し、型句表現からペアのポテンシャルを導出する。
我々は、非常に大きな型集合に対する効率的な型推論に平均場変分推論を使用し、それをニューラルネットワークモジュールとして展開し、エンドツーエンドのトレーニングを可能にする。
- 参考スコア（独自算出の注目度）: 47.22366788848256
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ultra-fine entity typing (UFET) aims to predict a wide range of type phrases
that correctly describe the categories of a given entity mention in a sentence.
Most recent works infer each entity type independently, ignoring the
correlations between types, e.g., when an entity is inferred as a president, it
should also be a politician and a leader. To this end, we use an undirected
graphical model called pairwise conditional random field (PCRF) to formulate
the UFET problem, in which the type variables are not only unarily influenced
by the input but also pairwisely relate to all the other type variables. We use
various modern backbones for entity typing to compute unary potentials, and
derive pairwise potentials from type phrase representations that both capture
prior semantic information and facilitate accelerated inference. We use
mean-field variational inference for efficient type inference on very large
type sets and unfold it as a neural network module to enable end-to-end
training. Experiments on UFET show that the Neural-PCRF consistently
outperforms its backbones with little cost and results in a competitive
performance against cross-encoder based SOTA while being thousands of times
faster. We also find Neural- PCRF effective on a widely used fine-grained
entity typing dataset with a smaller type set. We pack Neural-PCRF as a network
module that can be plugged onto multi-label type classifiers with ease and
release it in https://github.com/modelscope/adaseq/tree/master/examples/NPCRF.
- Abstract（参考訳）: ウルトラファインエンティティタイピング(UFET)は、ある文に言及されているエンティティのカテゴリを正しく記述する幅広いタイプのフレーズを予測することを目的としている。
最近の研究のほとんどは、それぞれのエンティティタイプを独立して推測し、例えば、あるエンティティが大統領として推測される場合、それは政治家でありリーダーであるべきです。
この目的のために、我々はペアワイズ条件付きランダムフィールド(PCRF)と呼ばれる非方向性のグラフィカルモデルを用いてUFET問題を定式化し、型変数は入力によって不適切に影響されるだけでなく、他のすべての型変数とペアワイズに関連付けられる。
我々は、エンティティ型付けに様々な現代的なバックボーンを用いて一意ポテンシャルを計算し、事前のセマンティック情報をキャプチャし、加速推論を促進する型句表現からペアワイズポテンシャルを導出する。
我々は、非常に大きな型集合に対する効率的な型推論に平均場変分推論を使用し、それをニューラルネットワークモジュールとして展開し、エンドツーエンドのトレーニングを可能にする。
UFETの実験では、Neural-PCRFは背骨よりもコストが低く、何千倍も高速でありながら、クロスエンコーダベースのSOTAと競合する性能を示している。
また、より小さな型セットで広く使われているエンティティ型付けデータセットに対して、Neural-PCRFが有効であることを示す。
Neural-PCRFを複数ラベルの型分類器に簡単にプラグインできるネットワークモジュールとしてパッケージ化し、https://github.com/modelscope/adaseq/tree/master/examples/NPCRFでリリースします。
関連論文リスト
- Graph Neural Network Approach to Semantic Type Detection in Tables [3.929053351442136]
本研究では,関係表中の意味列型を検出することの課題に対処する。
本稿では,グラフニューラルネットワーク(GNN)を用いてテーブル内依存関係をモデル化する手法を提案する。
提案手法は,既存の最先端アルゴリズムよりも優れているだけでなく,意味型検出のための様々なGNN型の有用性と機能に関する新たな知見を提供する。
論文 参考訳（メタデータ） (2024-04-30T18:17:44Z) - Probabilistic Transformer: A Probabilistic Dependency Model for
Contextual Word Representation [52.270712965271656]
本稿では,文脈表現の新しいモデルを提案する。
モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。
実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
論文 参考訳（メタデータ） (2023-11-26T06:56:02Z) - Calibrated Seq2seq Models for Efficient and Generalizable Ultra-fine
Entity Typing [10.08153231108538]
超微細エンティティタイピング用に設計されたseq2seqモデルであるCASENTを提案する。
我々のモデルは、エンティティを入力として参照し、制約されたビームサーチを用いて複数のタイプを自動回帰的に生成する。
提案手法は,F1スコアとキャリブレーション誤差の点から,50倍以上の推算速度を達成しながら,従来の最先端技術よりも優れていた。
論文 参考訳（メタデータ） (2023-11-01T20:39:12Z) - Neural networks for insurance pricing with frequency and severity data: a benchmark study from data preprocessing to technical tariff [2.4578723416255754]
本稿では,複数種類の入力機能が存在する場合に,頻度と重大度を目標とした4つの保険データ集合に関するベンチマーク研究を行う。
本稿では,2つの入力データに対する一般化線形モデル,勾配ブースト木モデル,フィードフォワードニューラルネットワーク(FFNN),複合アクチュエータニューラルネットワーク(CANN)の性能を詳細に比較する。
論文 参考訳（メタデータ） (2023-10-19T12:00:33Z) - Recall, Expand and Multi-Candidate Cross-Encode: Fast and Accurate
Ultra-Fine Entity Typing [46.85183839946139]
State-of-the-art(SOTA)メソッドは、クロスエンコーダ(CE)ベースのアーキテクチャを使用する。
我々は、MCCEと呼ばれる新しいモデルを用いて、これらのK候補を同時に符号化し、スコア付けする。
また,MCCEは細粒度 (130型) と粗粒度 (9型) のエンティティタイピングに非常に有効であることがわかった。
論文 参考訳（メタデータ） (2022-12-18T16:42:52Z) - Discovering Invariant Rationales for Graph Neural Networks [104.61908788639052]
グラフニューラルネットワーク(GNN)の固有の解釈可能性とは、入力グラフの特徴の小さなサブセットを見つけることである。
本稿では,本質的に解釈可能なGNNを構築するために,不変理性(DIR)を発見するための新しい戦略を提案する。
論文 参考訳（メタデータ） (2022-01-30T16:43:40Z) - Cherry-Picking Gradients: Learning Low-Rank Embeddings of Visual Data
via Differentiable Cross-Approximation [53.95297550117153]
本稿では,大規模な視覚データテンソルの処理を行うエンドツーエンドのトレーニング可能なフレームワークを提案する。
提案手法は大規模多次元グリッドデータや,大規模受容領域上のコンテキストを必要とするタスクに特に有用である。
論文 参考訳（メタデータ） (2021-05-29T08:39:57Z) - A Correspondence Variational Autoencoder for Unsupervised Acoustic Word
Embeddings [50.524054820564395]
そこで本稿では,変数分割音声セグメントを固定次元表現にマッピングするための教師なしモデルを提案する。
結果として得られる音響単語の埋め込みは、低リソース言語とゼロリソース言語のための検索、発見、インデックスシステムの基礎を形成することができる。
論文 参考訳（メタデータ） (2020-12-03T19:24:42Z) - Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。
本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。
このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
論文 参考訳（メタデータ） (2020-10-10T14:04:44Z) - PushNet: Efficient and Adaptive Neural Message Passing [1.9121961872220468]
メッセージパッシングニューラルネットワークは、最近、グラフ上での表現学習に対する最先端のアプローチへと進化した。
既存のメソッドは、複数のラウンドですべてのエッジに沿って同期メッセージパッシングを実行する。
我々は、収束するまで最も関連性の高いエッジに沿ってのみ情報をプッシュする、新しい非同期メッセージパッシングアプローチについて検討する。
論文 参考訳（メタデータ） (2020-03-04T18:15:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。