論文の概要: Entities as Experts: Sparse Memory Access with Entity Supervision

• arxiv url: http://arxiv.org/abs/2004.07202v2
• Date: Tue, 6 Oct 2020 19:00:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 02:45:53.620068
• Title: Entities as Experts: Sparse Memory Access with Entity Supervision
• Title（参考訳）: エキスパートとしてのエンティティ: Entity Supervisionによるスパースメモリアクセス
• Authors: Thibault F\'evry, Livio Baldini Soares, Nicholas FitzGerald, Eunsol Choi, Tom Kwiatkowski
• Abstract要約: 我々は、テキストに言及されたエンティティの異なる記憶にアクセスすることができる新しいモデル、Entities as Experts (EAE)を紹介します。 EAEの学習表現はTriviaQAの質問に答えるために十分な知識を得られることを示す。
• 参考スコア（独自算出の注目度）: 31.90630901747025
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We focus on the problem of capturing declarative knowledge about entities in the learned parameters of a language model. We introduce a new model - Entities as Experts (EAE) - that can access distinct memories of the entities mentioned in a piece of text. Unlike previous efforts to integrate entity knowledge into sequence models, EAE's entity representations are learned directly from text. We show that EAE's learned representations capture sufficient knowledge to answer TriviaQA questions such as "Which Dr. Who villain has been played by Roger Delgado, Anthony Ainley, Eric Roberts?", outperforming an encoder-generator Transformer model with 10x the parameters. According to the LAMA knowledge probes, EAE contains more factual knowledge than a similarly sized BERT, as well as previous approaches that integrate external sources of entity knowledge. Because EAE associates parameters with specific entities, it only needs to access a fraction of its parameters at inference time, and we show that the correct identification and representation of entities is essential to EAE's performance.
• Abstract（参考訳）: 言語モデルの学習パラメータにおいて,エンティティに関する宣言的知識をキャプチャする問題に焦点を当てた。 我々は、テキストに言及されたエンティティの異なる記憶にアクセスすることができる新しいモデル、Entities as Experts (EAE)を紹介します。 エンティティ知識をシーケンスモデルに統合する以前の取り組みとは異なり、EAEのエンティティ表現はテキストから直接学習される。 我々は、eaeの学習した表現がトリビアカの質問に答えるのに十分な知識を捉えていることを示す: "who dr. who villain have been by roger delgado, anthony ainley, eric roberts?" パラメータの10倍のエンコーダ-ジェネレータトランスフォーマーモデルよりも優れている。 LAMAの知識調査によると、EAEは同様の大きさのBERTよりも現実的な知識を持ち、また外部のエンティティ知識を統合した以前のアプローチも含んでいる。 EAEはパラメータと特定のエンティティを関連付けるため、推論時にのみそのパラメータのごく一部にアクセスする必要があり、EAEのパフォーマンスにはエンティティの正確な識別と表現が不可欠であることを示す。

関連論文リスト

• DERA: Dense Entity Retrieval for Entity Alignment in Knowledge Graphs [3.500936203815729]
  エンティティアライメント(EA)のための高密度エンティティ検索フレームワークを提案する。 我々は言語モデルを活用し、エンティティの様々な特徴を均一にエンコードし、知識グラフ(KG)をまたいで最も近いエンティティ検索を容易にする。 提案手法は,既存のEA手法と比較して最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-08-02T10:12:42Z)
• Entity Disambiguation via Fusion Entity Decoding [68.77265315142296]
  より詳細なエンティティ記述を持つエンティティを曖昧にするためのエンコーダ・デコーダモデルを提案する。 GERBILベンチマークでは、EntQAと比較して、エンド・ツー・エンドのエンティティリンクが+1.5%改善されている。
  論文  参考訳（メタデータ） (2024-04-02T04:27:54Z)
• GE-Blender: Graph-Based Knowledge Enhancement for Blender [3.8841367260456487]
  見えないエンティティは対話生成タスクに大きな影響を与える可能性がある。 我々は、エンティティノードを抽出してグラフを構築し、コンテキストの表現を強化する。 未確認のエンティティがグラフに存在しない問題を適用するために、名前付きエンティティタグ予測タスクを追加します。
  論文  参考訳（メタデータ） (2023-01-30T13:00:20Z)
• A Multi-Format Transfer Learning Model for Event Argument Extraction via Variational Information Bottleneck [68.61583160269664]
  イベント引数抽出(EAE)は、テキストから所定の役割を持つ引数を抽出することを目的としている。 変動情報のボトルネックを考慮したマルチフォーマット変換学習モデルを提案する。 3つのベンチマークデータセットに対して広範な実験を行い、EAE上での新たな最先端性能を得る。
  論文  参考訳（メタデータ） (2022-08-27T13:52:01Z)
• Class-Specific Semantic Reconstruction for Open Set Recognition [101.24781422480406]
  オープンセット認識により、ディープニューラルネットワーク(DNN)は未知のクラスのサンプルを識別できる。 本稿では,自動エンコーダ(AE)とプロトタイプ学習を統合したCSSR(Class-Specific Semantic Reconstruction)を提案する。 複数のデータセットで実験を行った結果,提案手法は閉集合認識と開集合認識の両方において優れた性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2022-07-05T16:25:34Z)
• A Simple but Effective Pluggable Entity Lookup Table for Pre-trained Language Models [93.39977756450354]
  本稿では,シンプルで効果的なPugable Entity Lookup Table (PELT) をオンデマンドで構築することを提案する。 PELTは、事前訓練された言語モデルにエンティティ補足的知識を注入するための入力として、相互に接続することができる。 知識関連タスクの実験により,私たちの手法であるPELTが,関連コーパスからのエンティティ知識をPLMに柔軟かつ効果的に伝達できることが実証された。
  論文  参考訳（メタデータ） (2022-02-27T16:30:22Z)
• KAT: A Knowledge Augmented Transformer for Vision-and-Language [56.716531169609915]
  我々は、OK-VQAのオープンドメインマルチモーダルタスクにおいて、最先端の強力な結果をもたらす新しいモデルである知識拡張トランスフォーマー(KAT)を提案する。 提案手法は,エンド・ツー・エンドのエンコーダ・デコーダアーキテクチャにおいて暗黙的かつ明示的な知識を統合しつつ,回答生成時に両知識源を共同で推論する。 我々の分析では、モデル予測の解釈可能性の向上に、明示的な知識統合のさらなる利点が見られる。
  論文  参考訳（メタデータ） (2021-12-16T04:37:10Z)
• Interpretable and Low-Resource Entity Matching via Decoupling Feature Learning from Decision Making [22.755892575582788]
  Entity Matchingは、同じ現実世界のオブジェクトを表すエンティティレコードを認識することを目的としている。 異種情報融合(HIF)とキー属性ツリー(KAT)誘導からなる新しいEMフレームワークを提案する。 提案手法は効率が高く,ほとんどの場合SOTA EMモデルより優れている。
  論文  参考訳（メタデータ） (2021-06-08T08:27:31Z)
• LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention [37.111204321059084]
  両方向変換器に基づく単語と実体の事前学習した文脈表現を提案する。 我々のモデルは、BERTのマスキング言語モデルに基づく新しい事前訓練タスクを用いて訓練される。 また,変換器の自己認識機構の拡張である自己認識機構を提案する。
  論文  参考訳（メタデータ） (2020-10-02T15:38:03Z)
• Interpretability Analysis for Named Entity Recognition to Understand System Predictions and How They Can Improve [49.878051587667244]
  名前付きエンティティ認識のためのLSTM-CRFアーキテクチャの性能について検討する。 文脈表現はシステムの性能に寄与するが、ハイパフォーマンスを駆動する主な要因は、名前トークン自体を学習することにある。 我々は、コンテキストのみからエンティティタイプを推測する可能性を評価するために、人間アノテーションを登録し、コンテキストのみのシステムによるエラーの大部分に対してエンティティタイプを推論することはできないが、改善の余地はいくつかある。
  論文  参考訳（メタデータ） (2020-04-09T14:37:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。