論文の概要: Show, Write, and Retrieve: Entity-aware Article Generation and Retrieval

• arxiv url: http://arxiv.org/abs/2112.05917v3
• Date: Fri, 20 Oct 2023 20:44:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 15:28:14.992830
• Title: Show, Write, and Retrieve: Entity-aware Article Generation and Retrieval
• Title（参考訳）: 表示、書き込み、検索:エンティティ・アウェアな記事の生成と検索
• Authors: Zhongping Zhang, Yiwen Gu, Bryan A. Plummer
• Abstract要約: 我々は、名前付きエンティティを言語モデルに明示的に組み込むために、ENtity対応の記事GeneratIoNとrEtrievalフレームワークを提案する。 我々は、GoodNews、VisualNews、WikiTextの3つの公開データセットで実験を行った。 その結果,本モデルでは,記事の検索性能が4～5倍向上し,リコール@1が3～4%向上した。
• 参考スコア（独自算出の注目度）: 18.270878909735256
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Article comprehension is an important challenge in natural language processing with many applications such as article generation or image-to-article retrieval. Prior work typically encodes all tokens in articles uniformly using pretrained language models. However, in many applications, such as understanding news stories, these articles are based on real-world events and may reference many named entities that are difficult to accurately recognize and predict by language models. To address this challenge, we propose an ENtity-aware article GeneratIoN and rEtrieval (ENGINE) framework, to explicitly incorporate named entities into language models. ENGINE has two main components: a named-entity extraction module to extract named entities from both metadata and embedded images associated with articles, and an entity-aware mechanism that enhances the model's ability to recognize and predict entity names. We conducted experiments on three public datasets: GoodNews, VisualNews, and WikiText, where our results demonstrate that our model can boost both article generation and article retrieval performance, with a 4-5 perplexity improvement in article generation and a 3-4% boost in recall@1 in article retrieval. We release our implementation at https://github.com/Zhongping-Zhang/ENGINE .
• Abstract（参考訳）: 記事理解は自然言語処理において重要な課題であり、記事生成や画像からアーティクルの検索など多くの応用がある。 以前の作業は通常、事前訓練された言語モデルを使用して、記事中のすべてのトークンを均一にエンコードする。 しかし、ニュース記事の理解などの多くのアプリケーションでは、これらの記事は現実世界の出来事に基づいており、言語モデルによって正確に認識し予測することが困難である多くの名前付きエンティティを参照することができる。 この課題に対処するために、名前付きエンティティを言語モデルに明示的に組み込むために、ENtity対応の記事GeneratIoNとrEtrieval(ENGINE)フレームワークを提案する。 ENGINEには、メタデータと記事に関連する埋め込みイメージの両方から名前付きエンティティを抽出する名前付きエンティティ抽出モジュールと、エンティティ名を認識および予測するモデルの能力を高めるエンティティ対応メカニズムの2つのコンポーネントがある。 goodnews、visualnews、wikitextの3つの公開データセットについて実験を行い、本モデルが記事生成と記事検索のパフォーマンスを向上し、記事生成における4～5のパープレキシティ向上と、記事検索におけるrecall@1の3～4%向上を実証した。 私たちは実装をhttps://github.com/zhongping-zhang/engineでリリースします。

関連論文リスト

• Seed-Guided Fine-Grained Entity Typing in Science and Engineering Domains [51.02035914828596]
  科学・工学分野において,シード誘導型細粒度エンティティタイピングの課題について検討する。 まず、ラベルのないコーパスから各タイプのエンティティを抽出し、弱い監視力を高めるSETypeを提案する。 そして、リッチなエンティティをラベルなしのテキストにマッチさせ、擬似ラベル付きサンプルを取得し、見知らぬ型と見えない型の両方に推論できるテキストエンテリメントモデルを訓練する。
  論文  参考訳（メタデータ） (2024-01-23T22:36:03Z)
• Informed Named Entity Recognition Decoding for Generative Language Models [3.5323691899538128]
  Informed Named Entity Recognition Decoding (iNERD) を提案する。 8つの名前付きエンティティ認識データセット上で5つの生成言語モデルを評価し、優れた結果を得るため、統合されたエンティティコーパス上でモデルを粗いチューニングを行い、その性能を向上させる。
  論文  参考訳（メタデータ） (2023-08-15T14:16:29Z)
• DesCo: Learning Object Recognition with Rich Language Descriptions [93.8177229428617]
  視覚言語アプローチの最近の発展は、言語指導から視覚認識モデルを学習するパラダイムシフトを引き起こしている。 本稿では,リッチ言語記述を用いたオブジェクト認識モデル学習のための記述条件付き(DesCo)パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-06-24T21:05:02Z)
• Multi-Modal Classifiers for Open-Vocabulary Object Detection [104.77331131447541]
  本論文の目的は,OVOD(Open-vocabulary Object Detection)である。 標準の2段階オブジェクト検出器アーキテクチャを採用する。 言語記述、画像例、これら2つの組み合わせの3つの方法を探究する。
  論文  参考訳（メタデータ） (2023-06-08T18:31:56Z)
• Focus! Relevant and Sufficient Context Selection for News Image Captioning [69.36678144800936]
  News Image Captioningは、ニュース記事から追加のコンテキストを活用することで、画像を記述する必要がある。 本稿では,事前学習された視覚・言語検索モデルであるCLIPを用いて,ニュース記事中の視覚的根拠を持つエンティティをローカライズすることを提案する。 我々の実験は、記事からより良いコンテキストを選択するだけで、既存のモデルの性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2022-12-01T20:00:27Z)
• BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and Semantic Parsing [55.058258437125524]
  本稿では,制約付きLanguage Model Parsingを評価するベンチマークであるBenchCLAMPを紹介する。 APIを通じてのみ利用可能な2つのGPT-3変種を含む8つの言語モデルをベンチマークする。 実験により,エンコーダ-デコーダ事前学習言語モデルでは,モデル出力が有効であると制約された場合に,構文解析や意味解析の最先端手法を超えることができることがわかった。
  論文  参考訳（メタデータ） (2022-06-21T18:34:11Z)
• LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention [37.111204321059084]
  両方向変換器に基づく単語と実体の事前学習した文脈表現を提案する。 我々のモデルは、BERTのマスキング言語モデルに基づく新しい事前訓練タスクを用いて訓練される。 また,変換器の自己認識機構の拡張である自己認識機構を提案する。
  論文  参考訳（メタデータ） (2020-10-02T15:38:03Z)
• Transform and Tell: Entity-Aware News Image Captioning [77.4898875082832]
  本稿では,ニュース記事に埋め込まれた画像のキャプションを生成するエンドツーエンドモデルを提案する。 画像中の顔や物体とキャプション内の単語を関連付けることで,マルチモーダル・マルチヘッドアテンション機構によって,最初の課題に対処する。 本稿では、バイトペアエンコーディングを用いて単語部分の列としてキャプションを生成する、最先端のトランスフォーマー言語モデルによる第2の課題に取り組む。
  論文  参考訳（メタデータ） (2020-04-17T05:44:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。