論文の概要: Modeling Fine-Grained Entity Types with Box Embeddings

• arxiv url: http://arxiv.org/abs/2101.00345v1
• Date: Sat, 2 Jan 2021 00:59:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-13 07:24:06.929207
• Title: Modeling Fine-Grained Entity Types with Box Embeddings
• Title（参考訳）: ボックス埋め込みによるきめ細かいエンティティ型モデリング
• Authors: Yasumasa Onoe, Michael Boratko, Greg Durrett
• Abstract要約: きめ細かいエンティティタイプのラベルの階層を表現するために,ボックス埋め込みの能力を検討する。 我々は,このアプローチをベクトル型付けモデルと比較し,いくつかのエンティティ型付けベンチマークで最先端のパフォーマンスを観察した。
• 参考スコア（独自算出の注目度）: 32.85605894725522
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural entity typing models typically represent entity types as vectors in a high-dimensional space, but such spaces are not well-suited to modeling these types' complex interdependencies. We study the ability of box embeddings, which represent entity types as d-dimensional hyperrectangles, to represent hierarchies of fine-grained entity type labels even when these relationships are not defined explicitly in the ontology. Our model represents both types and entity mentions as boxes. Each mention and its context are fed into a BERT-based model to embed that mention in our box space; essentially, this model leverages typological clues present in the surface text to hypothesize a type representation for the mention. Soft box containment can then be used to derive probabilities, both the posterior probability of a mention exhibiting a given type and the conditional probability relations between types themselves. We compare our approach with a strong vector-based typing model, and observe state-of-the-art performance on several entity typing benchmarks. In addition to competitive typing performance, our box-based model shows better performance in prediction consistency (predicting a supertype and a subtype together) and confidence (i.e., calibration), implying that the box-based model captures the latent type hierarchies better than the vector-based model does.
• Abstract（参考訳）: ニューラルエンティティ型モデルは通常、エンティティタイプを高次元空間内のベクトルとして表現するが、そのような空間はこれらのタイプの複雑な相互依存性のモデル化には適していない。 これらの関係がオントロジーで明示的に定義されていない場合でも,d-次元超矩形として表現するボックス埋め込みが細粒度エンティティ型ラベルの階層を表現できる能力について検討した。 私たちのモデルは、型とエンティティ参照の両方をボックスとして表現します。 各参照とそのコンテキストは、bertベースのモデルに送られて、その参照をボックス空間に埋め込む;本質的に、このモデルは、参照のための型表現を仮定するために、表面テキストに存在するタイプ論的手がかりを利用する。 ソフトボックスの封じ込めは、与えられた型を示す言及の後続確率と、タイプ間の条件付き確率関係の両方を導出するために用いられる。 我々は,このアプローチをベクトル型付けモデルと比較し,いくつかのエンティティ型付けベンチマークで最先端のパフォーマンスを観察した。 競合型付け性能に加えて,ボックスベースモデルでは予測一貫性(スーパータイプとサブタイプを同時に予測する)と信頼性(キャリブレーション)が向上し,ボックスベースモデルの方がベクトルベースモデルよりも遅延型階層を捕えることが示唆された。

関連論文リスト

• Seed-Guided Fine-Grained Entity Typing in Science and Engineering Domains [51.02035914828596]
  科学・工学分野において,シード誘導型細粒度エンティティタイピングの課題について検討する。 まず、ラベルのないコーパスから各タイプのエンティティを抽出し、弱い監視力を高めるSETypeを提案する。 そして、リッチなエンティティをラベルなしのテキストにマッチさせ、擬似ラベル付きサンプルを取得し、見知らぬ型と見えない型の両方に推論できるテキストエンテリメントモデルを訓練する。
  論文  参考訳（メタデータ） (2024-01-23T22:36:03Z)
• Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
  入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。 この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。 我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
  論文  参考訳（メタデータ） (2023-10-23T04:35:58Z)
• Polar Ducks and Where to Find Them: Enhancing Entity Linking with Duck Typing and Polar Box Embeddings [11.164501311947124]
  DUCKは、エンティティ表現の空間に構造情報を注入するアプローチである。 知識グラフ内の他のエンティティとの関連性に基づいてエンティティの型を定義する。 関係に対応するボックス内に配置することで,類似型のエンティティをクラスタリングするモデルを最適化する。
  論文  参考訳（メタデータ） (2023-05-19T22:42:16Z)
• Prototype-based Embedding Network for Scene Graph Generation [105.97836135784794]
  現在のシーングラフ生成(SGG)手法は、コンテキスト情報を探索し、エンティティペア間の関係を予測する。 被写体と対象物の組み合わせが多様であるため、各述語カテゴリーには大きなクラス内変異が存在する。 プロトタイプベースのEmbedding Network (PE-Net) は、エンティティ/述語を、プロトタイプに準拠したコンパクトで独特な表現でモデル化する。 PLは、PE-Netがそのようなエンティティ述語マッチングを効率的に学習するのを助けるために導入され、不明瞭なエンティティ述語マッチングを緩和するためにプロトタイプ正規化(PR)が考案されている。
  論文  参考訳（メタデータ） (2023-03-13T13:30:59Z)
• Type-enriched Hierarchical Contrastive Strategy for Fine-Grained Entity Typing [8.885149784531807]
  きめ細かいエンティティ型付けは、テキストで言及されるエンティティの特定の意味型を推論することを目的としています。 型の違いを直接モデル化する作業はほとんどなく、ある型が他と異なる範囲をモデルに知らせる。 本手法は,階層型の違いを直接モデル化し,多粒度類似型を識別する能力を向上させる。
  論文  参考訳（メタデータ） (2022-08-22T06:38:08Z)
• Language Model Cascades [72.18809575261498]
  テスト時に1つのモデルで繰り返し対話する、あるいは複数のモデルの合成は、さらに機能を拡張する。 制御フローと動的構造を持つ場合、確率的プログラミングのテクニックが必要となる。 この観点から、スクラッチパッド/思考連鎖、検証器、STaR、選択推論、ツール利用など、いくつかの既存のテクニックを定式化します。
  論文  参考訳（メタデータ） (2022-07-21T07:35:18Z)
• Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
  この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。 言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
  論文  参考訳（メタデータ） (2022-01-08T00:47:50Z)
• Interpretable Entity Representations through Large-Scale Typing [61.4277527871572]
  本稿では,人間の読みやすいエンティティ表現を作成し,箱から高パフォーマンスを実現する手法を提案する。 我々の表現は、微粒な実体型に対する後続確率に対応するベクトルである。 特定のドメインに対して,学習に基づく方法で,型セットのサイズを縮小できることを示す。
  論文  参考訳（メタデータ） (2020-04-30T23:58:03Z)
• E2EET: From Pipeline to End-to-end Entity Typing via Transformer-Based Embeddings [7.431445082017672]
  エンティティタイピング(ET)と呼ばれる新しいタイプのエンティティタイピングを提案する。 ETは、各エンティティの言及を1つ以上のクラスラベルでラベル付けする。 本稿では,参照レベルモデルに対するトランスフォーマーベースの埋め込みと,Bi-GRUを用いたエンドツーエンドモデルを用いてコンテキストを組み込むことを提案する。 広範囲にわたるアブレーション研究は、参照レベルのモデルに対する文脈的埋め込みの有効性と、エンティティ型付けのためのエンドツーエンドモデルの競争性を示している。
  論文  参考訳（メタデータ） (2020-03-23T06:46:28Z)
• Improving Entity Linking by Modeling Latent Entity Type Information [25.33342677359822]
  本稿では,事前学習したBERTに基づいて,潜在エンティティの型情報をエンティティ埋め込みに注入することを提案する。 さらに、BERTに基づくエンティティ類似度スコアを最先端モデルのローカルコンテキストモデルに統合し、潜在エンティティの型情報をよりよくキャプチャする。 我々のモデルは、標準ベンチマーク(AIDA-CoNLL)における最先端エンティティリンクモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-01-06T09:18:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。