論文の概要: Interpretable Entity Representations through Large-Scale Typing
- arxiv url: http://arxiv.org/abs/2005.00147v2
- Date: Tue, 13 Oct 2020 01:18:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 03:11:43.588931
- Title: Interpretable Entity Representations through Large-Scale Typing
- Title（参考訳）: 大規模タイピングによる解釈可能なエンティティ表現
- Authors: Yasumasa Onoe and Greg Durrett
- Abstract要約: 本稿では,人間の読みやすいエンティティ表現を作成し,箱から高パフォーマンスを実現する手法を提案する。
我々の表現は、微粒な実体型に対する後続確率に対応するベクトルである。
特定のドメインに対して,学習に基づく方法で,型セットのサイズを縮小できることを示す。
- 参考スコア（独自算出の注目度）: 61.4277527871572
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In standard methodology for natural language processing, entities in text are
typically embedded in dense vector spaces with pre-trained models. The
embeddings produced this way are effective when fed into downstream models, but
they require end-task fine-tuning and are fundamentally difficult to interpret.
In this paper, we present an approach to creating entity representations that
are human readable and achieve high performance on entity-related tasks out of
the box. Our representations are vectors whose values correspond to posterior
probabilities over fine-grained entity types, indicating the confidence of a
typing model's decision that the entity belongs to the corresponding type. We
obtain these representations using a fine-grained entity typing model, trained
either on supervised ultra-fine entity typing data (Choi et al. 2018) or
distantly-supervised examples from Wikipedia. On entity probing tasks involving
recognizing entity identity, our embeddings used in parameter-free downstream
models achieve competitive performance with ELMo- and BERT-based embeddings in
trained models. We also show that it is possible to reduce the size of our type
set in a learning-based way for particular domains. Finally, we show that these
embeddings can be post-hoc modified through a small number of rules to
incorporate domain knowledge and improve performance.
- Abstract（参考訳）: 自然言語処理の標準的な方法論では、テキストの実体は通常、事前学習されたモデルを持つ密閉ベクトル空間に埋め込まれる。
このような埋め込みは下流モデルに入力すると効果的であるが、エンドタスクの微調整が必要であり、基本的に解釈が難しい。
本稿では,人間の読みやすいエンティティ表現を作成し,エンティティ関連タスクを最初から実行し,高いパフォーマンスを実現するためのアプローチを提案する。
我々の表現は、細粒度エンティティタイプに対する後続確率に対応するベクトルであり、そのエンティティが対応するタイプに属するというタイピングモデルの決定の信頼性を示す。
これらの表現は細粒度エンティティタイピングモデルを用いて得られ、教師ありエンティティタイピングデータ(choi et al. 2018)またはwikipediaからの遠方の教師付き例に基づいて訓練される。
エンティティの同一性を認識することを含むエンティティ探索タスクにおいて,パラメータフリーな下流モデルで使用される埋め込みは,訓練されたモデルにおけるELMoおよびBERTベースの埋め込みと競合する性能を達成する。
また、特定のドメインに対する学習ベースの方法で、型セットのサイズを削減できることも示しています。
最後に、これらの埋め込みは、ドメイン知識を取り入れ、パフォーマンスを向上させるために、少数のルールによってポストホックな修正が可能であることを示す。
関連論文リスト
- Seed-Guided Fine-Grained Entity Typing in Science and Engineering
Domains [51.02035914828596]
科学・工学分野において,シード誘導型細粒度エンティティタイピングの課題について検討する。
まず、ラベルのないコーパスから各タイプのエンティティを抽出し、弱い監視力を高めるSETypeを提案する。
そして、リッチなエンティティをラベルなしのテキストにマッチさせ、擬似ラベル付きサンプルを取得し、見知らぬ型と見えない型の両方に推論できるテキストエンテリメントモデルを訓練する。
論文 参考訳（メタデータ） (2024-01-23T22:36:03Z) - Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。
この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。
我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
論文 参考訳（メタデータ） (2023-10-23T04:35:58Z) - Adapting Large Language Models for Content Moderation: Pitfalls in Data
Engineering and Supervised Fine-tuning [79.53130089003986]
大規模言語モデル(LLM)は、様々なドメインでタスクを処理するための実現可能なソリューションとなっている。
本稿では、コンテンツモデレーションのためにプライベートにデプロイ可能なLLMモデルを微調整する方法を紹介する。
論文 参考訳（メタデータ） (2023-10-05T09:09:44Z) - Intermediate Entity-based Sparse Interpretable Representation Learning [37.128220450933625]
解釈可能なエンティティ表現(英: Interpretable entity representations、IER)は、粒度の細かいエンティティタイプに対応する「人間可読」なスパース埋め込みである。
中間エンティリティに基づくスパース解釈表現学習(ItsIRL)を提案する。
論文 参考訳（メタデータ） (2022-12-03T16:16:11Z) - Generative Entity Typing with Curriculum Learning [18.43562065432877]
本稿では,新しい生成エンティティタイピング(GET)パラダイムを提案する。
エンティティが言及したテキストが与えられた場合、エンティティがテキストで果たす役割の複数の型は、事前訓練された言語モデルで生成される。
我々の実験は、最先端エンティティ型付けモデルよりもGETモデルの方が優れていることを正当化します。
論文 参考訳（メタデータ） (2022-10-06T13:32:50Z) - Efficient and Interpretable Neural Models for Entity Tracking [3.1985066117432934]
この論文は、エンティティ追跡モデルの使用を促進するための2つの重要な問題に焦点を当てている。
我々は、リッチな固定次元ベクトル表現を持つエンティティを表現することによって、計算効率の良いエンティティ追跡モデルを開発することができると論じる。
i) NLPアプリケーションで現在ユビキタスに使われている事前学習言語モデルを考えると、より広い範囲のアプリケーションです。
論文 参考訳（メタデータ） (2022-08-30T13:25:27Z) - Few-Shot Fine-Grained Entity Typing with Automatic Label Interpretation
and Instance Generation [36.541309948222306]
各エンティティタイプに対して,アノテーション付きエンティティ参照が付与される場合,FET(Fall-shot Fine-fine Entity Typing)の問題について検討する。
そこで本稿では,(1) エンティティ型ラベル解釈モジュールが,少数ショットインスタンスとラベル階層を併用することで,タイプラベルと語彙の関連付けを自動的に学習し,(2) 型ベースのコンテキスト化インスタンス生成器は,与えられたインスタンスに基づいて新しいインスタンスを生成して,より一般化のためにトレーニングセットを拡大する,という,2つのモジュールからなる新しいFETフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-28T04:05:40Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z) - GRIT: Generative Role-filler Transformers for Document-level Event
Entity Extraction [134.5580003327839]
本稿では、文書レベルでコンテキストをモデル化するための生成トランスフォーマーベースのエンコーダデコーダフレームワーク(GRIT)を紹介する。
我々は,MUC-4データセットに対する我々のアプローチを評価し,我々のモデルが先行作業よりもかなり優れていることを示す。
論文 参考訳（メタデータ） (2020-08-21T01:07:36Z) - Improving Entity Linking by Modeling Latent Entity Type Information [25.33342677359822]
本稿では,事前学習したBERTに基づいて,潜在エンティティの型情報をエンティティ埋め込みに注入することを提案する。
さらに、BERTに基づくエンティティ類似度スコアを最先端モデルのローカルコンテキストモデルに統合し、潜在エンティティの型情報をよりよくキャプチャする。
我々のモデルは、標準ベンチマーク(AIDA-CoNLL)における最先端エンティティリンクモデルよりも大幅に優れている。
論文 参考訳（メタデータ） (2020-01-06T09:18:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。