論文の概要: Injecting Entity Types into Entity-Guided Text Generation
- arxiv url: http://arxiv.org/abs/2009.13401v3
- Date: Tue, 7 Sep 2021 03:07:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 20:55:52.971524
- Title: Injecting Entity Types into Entity-Guided Text Generation
- Title（参考訳）: Entity-Guided テキスト生成にEntity Typesを注入する
- Authors: Xiangyu Dong, Wenhao Yu, Chenguang Zhu, Meng Jiang
- Abstract要約: 本稿では,デコードフェーズにおけるエンティティタイプをモデル化し,文脈的単語を正確に生成することを目的とする。
私たちのモデルは、エンティティ型をエンティティ参照生成のプロセスに注入するマルチステップデコーダを持っています。
2つの公開ニュースデータセットの実験では、既存の型埋め込み結合ベースラインよりも、型インジェクションのパフォーマンスが向上している。
- 参考スコア（独自算出の注目度）: 39.96689831978859
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent successes in deep generative modeling have led to significant advances
in natural language generation (NLG). Incorporating entities into neural
generation models has demonstrated great improvements by assisting to infer the
summary topic and to generate coherent content. To enhance the role of entity
in NLG, in this paper, we aim to model the entity type in the decoding phase to
generate contextual words accurately. We develop a novel NLG model to produce a
target sequence based on a given list of entities. Our model has a multi-step
decoder that injects the entity types into the process of entity mention
generation. Experiments on two public news datasets demonstrate type injection
performs better than existing type embedding concatenation baselines.
- Abstract（参考訳）: 近年の深層生成モデリングの成功は、自然言語生成(NLG)に大きな進歩をもたらした。
ニューラルネットワーク生成モデルにエンティティを組み込むことで、サマリトピックの推測とコヒーレントなコンテンツの生成を支援することで、大きな改善が得られている。
NLGにおけるエンティティの役割を高めるため、本論文では、デコードフェーズにおけるエンティティタイプをモデル化し、文脈語を正確に生成することを目的とする。
我々は、与えられたエンティティのリストに基づいてターゲットシーケンスを生成する新しいNLGモデルを開発する。
私たちのモデルは、エンティティ参照生成プロセスにエンティティ型を注入するマルチステップデコーダを持っています。
2つの公開ニュースデータセットの実験では、既存の型埋め込み結合ベースラインよりも、型インジェクションのパフォーマンスが向上している。
関連論文リスト
- ToNER: Type-oriented Named Entity Recognition with Generative Language Model [14.11486479935094]
生成モデルに基づく新しいNERフレームワーク、すなわちToNERを提案する。
ToNERでは、文中に最も現れる可能性が最も高いエンティティタイプを特定するために、最初は型マッチングモデルが提案されている。
我々は、生成モデルのエンコーダを微調整するために、複数のバイナリ分類タスクを追加し、入力文の洗練された表現を生成する。
論文 参考訳（メタデータ） (2024-04-14T05:13:37Z) - Dynamic Retrieval-Augmented Generation [4.741884506444161]
動的検索・拡張生成(DRAG)のための新しい手法を提案する。
DRAGは、取得したエンティティの圧縮埋め込みを生成モデルに注入する。
提案手法は,(1)コンテキストウィンドウの長さ制限を解除し,迅速なサイズを節約すること,(2)コンテキストに利用可能な検索エンティティの数を膨大に拡張すること,(3)ミススペルや関連エンティティ名検索の失敗を緩和すること,の3つの目標を達成する。
論文 参考訳（メタデータ） (2023-12-14T14:26:57Z) - RenAIssance: A Survey into AI Text-to-Image Generation in the Era of
Large Model [93.8067369210696]
テキスト・ツー・イメージ生成(テキスト・トゥ・イメージ・ジェネレーション、英: Text-to-image Generation、TTI)とは、テキスト入力を処理し、テキスト記述に基づいて高忠実度画像を生成するモデルである。
拡散モデル (diffusion model) は、繰り返しステップによるノイズの体系的導入を通じて画像の生成に使用される顕著な生成モデルである。
大規模モデルの時代、モデルサイズを拡大し、大規模言語モデルとの統合により、TTIモデルの性能がさらに向上した。
論文 参考訳（メタデータ） (2023-09-02T03:27:20Z) - DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
本稿では,既存のDocREモデルの根本原因について検討する。
本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。
4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
論文 参考訳（メタデータ） (2022-10-28T11:18:10Z) - Generative Entity Typing with Curriculum Learning [18.43562065432877]
本稿では,新しい生成エンティティタイピング(GET)パラダイムを提案する。
エンティティが言及したテキストが与えられた場合、エンティティがテキストで果たす役割の複数の型は、事前訓練された言語モデルで生成される。
我々の実験は、最先端エンティティ型付けモデルよりもGETモデルの方が優れていることを正当化します。
論文 参考訳（メタデータ） (2022-10-06T13:32:50Z) - Few-Shot Fine-Grained Entity Typing with Automatic Label Interpretation
and Instance Generation [36.541309948222306]
各エンティティタイプに対して,アノテーション付きエンティティ参照が付与される場合,FET(Fall-shot Fine-fine Entity Typing)の問題について検討する。
そこで本稿では,(1) エンティティ型ラベル解釈モジュールが,少数ショットインスタンスとラベル階層を併用することで,タイプラベルと語彙の関連付けを自動的に学習し,(2) 型ベースのコンテキスト化インスタンス生成器は,与えられたインスタンスに基づいて新しいインスタンスを生成して,より一般化のためにトレーニングセットを拡大する,という,2つのモジュールからなる新しいFETフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-28T04:05:40Z) - Twist Decoding: Diverse Generators Guide Each Other [116.20780037268801]
様々なモデルの恩恵を受けながらテキストを生成するシンプルで一般的な推論アルゴリズムであるTwist decodingを導入する。
我々の方法は、語彙、トークン化、あるいは生成順序が共有されていると仮定しない。
論文 参考訳（メタデータ） (2022-05-19T01:27:53Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z) - Interpretable Entity Representations through Large-Scale Typing [61.4277527871572]
本稿では,人間の読みやすいエンティティ表現を作成し,箱から高パフォーマンスを実現する手法を提案する。
我々の表現は、微粒な実体型に対する後続確率に対応するベクトルである。
特定のドメインに対して,学習に基づく方法で,型セットのサイズを縮小できることを示す。
論文 参考訳（メタデータ） (2020-04-30T23:58:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。