論文の概要: Ered: Enhanced Text Representations with Entities and Descriptions

• arxiv url: http://arxiv.org/abs/2208.08954v1
• Date: Thu, 18 Aug 2022 16:51:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-19 13:26:53.827711
• Title: Ered: Enhanced Text Representations with Entities and Descriptions
• Title（参考訳）: Ered: エンティティと記述を備えた拡張テキスト表現
• Authors: Qinghua Zhao, Shuai Ma, Yuxuan Lei
• Abstract要約: 外部知識(エンティティやエンティティ記述など)は、人間がテキストを理解するのに役立つ。 本稿では、微調整段階において、エンティティとエンティティ記述の両方を明示的に含意することを目的としている。 我々は4つの知識指向タスクと2つの共通タスクについて実験を行い、その結果、いくつかのデータセットで新たな最先端を達成できた。
• 参考スコア（独自算出の注目度）: 5.977668609935748
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: External knowledge,e.g., entities and entity descriptions, can help humans understand texts. Many works have been explored to include external knowledge in the pre-trained models. These methods, generally, design pre-training tasks and implicitly introduce knowledge by updating model weights, alternatively, use it straightforwardly together with the original text. Though effective, there are some limitations. On the one hand, it is implicit and only model weights are paid attention to, the pre-trained entity embeddings are ignored. On the other hand, entity descriptions may be lengthy, and inputting into the model together with the original text may distract the model's attention. This paper aims to explicitly include both entities and entity descriptions in the fine-tuning stage. First, the pre-trained entity embeddings are fused with the original text representation and updated by the backbone model layer by layer. Second, descriptions are represented by the knowledge module outside the backbone model, and each knowledge layer is selectively connected to one backbone layer for fusing. Third, two knowledge-related auxiliary tasks, i.e., entity/description enhancement and entity enhancement/pollution task, are designed to smooth the semantic gaps among evolved representations. We conducted experiments on four knowledge-oriented tasks and two common tasks, and the results achieved new state-of-the-art on several datasets. Besides, we conduct an ablation study to show that each module in our method is necessary. The code is available at https://github.com/lshowway/Ered.
• Abstract（参考訳）: 外部知識、例えばエンティティやエンティティ記述は、人間がテキストを理解するのに役立つ。 事前訓練されたモデルに外部知識を含めるために多くの作品が研究されている。 これらの手法は一般に、事前学習タスクを設計し、モデルの重みを更新することで暗黙的に知識を導入する。 有効ではあるが、いくつかの制限がある。 一方、暗黙的であり、モデル重みだけが注意を払われ、事前訓練されたエンティティ埋め込みは無視される。 一方、エンティティ記述は長い場合があり、元のテキストと一緒にモデルに入力すると、モデルの注意をそらす可能性がある。 本稿では,エンティティ記述とエンティティ記述の両方を微調整段階に明示的に含むことを目的とする。 まず、事前訓練されたエンティティの埋め込みを元のテキスト表現と融合させ、バックボーンモデル層によって更新する。 第2に、記述はバックボーンモデルの外側のナレッジモジュールで表現され、各ナレッジ層は1つのバックボーン層に選択的に接続されて融合する。 第3に,2つの知識関連補助タスク,すなわちエンティティ/記述エンハンスメントとエンティティエンハンスメント/汚染タスクは,進化した表現間の意味的ギャップを円滑にするように設計されている。 4つのナレッジ指向タスクと2つの共通タスクについて実験を行い,いくつかのデータセットで新たな最先端の成果を得た。 さらに,本手法の各モジュールが必要であることを示すため,アブレーション実験を行った。 コードはhttps://github.com/lshowway/eredで入手できる。

関連論文リスト

• KETM:A Knowledge-Enhanced Text Matching method [0.0]
  知識強化テキストマッチングモデル(KETM)と呼ばれるテキストマッチングの新しいモデルを提案する。 テキストワード定義を外部知識として検索するために、Wiktionaryを使用します。 我々は、ゲーティング機構を用いてテキストと知識を融合させ、テキストと知識融合の比率を学習する。
  論文  参考訳（メタデータ） (2023-08-11T17:08:14Z)
• Modeling Entities as Semantic Points for Visual Information Extraction in the Wild [55.91783742370978]
  文書画像から鍵情報を正確かつ堅牢に抽出する手法を提案する。 我々は、エンティティを意味的ポイントとして明示的にモデル化する。つまり、エンティティの中心点は、異なるエンティティの属性と関係を記述する意味情報によって豊かになる。 提案手法は,従来の最先端モデルと比較して,エンティティラベルとリンクの性能を著しく向上させることができる。
  論文  参考訳（メタデータ） (2023-03-23T08:21:16Z)
• Representing Knowledge by Spans: A Knowledge-Enhanced Model for Information Extraction [7.077412533545456]
  本稿では,エンティティとリレーションの両方の表現を同時に学習する事前学習モデルを提案する。 スパンをスパンモジュールで効率的に符号化することで、私たちのモデルはエンティティとそれらの関係を表現できますが、既存のモデルよりもパラメータが少なくなります。
  論文  参考訳（メタデータ） (2022-08-20T07:32:25Z)
• Fashionformer: A simple, Effective and Unified Baseline for Human Fashion Segmentation and Recognition [80.74495836502919]
  本研究では,共同ファッションセグメンテーションと属性認識に着目した。 本稿では,セグメンテーションのためのオブジェクトクエリと属性予測のための属性クエリを紹介する。 属性ストリームのために,よりきめ細かい特徴を探索する新しいマルチレイヤレンダリングモジュールを設計する。
  論文  参考訳（メタデータ） (2022-04-10T11:11:10Z)
• Syntax-Enhanced Pre-trained Model [49.1659635460369]
  BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。 既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。 事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
  論文  参考訳（メタデータ） (2020-12-28T06:48:04Z)
• KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
  知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。 我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。 ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
  論文  参考訳（メタデータ） (2020-10-05T19:59:05Z)
• Knowledge-Aware Procedural Text Understanding with Multi-Stage Training [110.93934567725826]
  本稿では,このような文書の理解とプロセス中のエンティティの状態や場所の追跡を目的とした手続き的テキスト理解の課題に焦点をあてる。 常識的推論の難しさとデータ不足という2つの課題はまだ未解決のままである。 我々は、複数の外部知識を効果的に活用する、KnOwledge-Aware ProceduraL text understAnding (KOALA)モデルを提案する。
  論文  参考訳（メタデータ） (2020-09-28T10:28:40Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。