論文の概要: Endowing Language Models with Multimodal Knowledge Graph Representations

• arxiv url: http://arxiv.org/abs/2206.13163v1
• Date: Mon, 27 Jun 2022 10:10:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-28 12:49:02.299355
• Title: Endowing Language Models with Multimodal Knowledge Graph Representations
• Title（参考訳）: マルチモーダル知識グラフ表現を用いた固有言語モデル
• Authors: Ningyuan Huang and Yash R. Deshpande and Yibo Liu and Houda Alberts and Kyunghyun Cho and Clara Vania and Iacer Calixto
• Abstract要約: 最近リリースされた VisualSem KG を外部知識リポジトリとして使用しています。 我々は、KGからエンティティを取得し、そのマルチモーダル表現を使用して、下流タスクのパフォーマンスを改善する。
• 参考スコア（独自算出の注目度）: 47.22480859519051
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a method to make natural language understanding models more parameter efficient by storing knowledge in an external knowledge graph (KG) and retrieving from this KG using a dense index. Given (possibly multilingual) downstream task data, e.g., sentences in German, we retrieve entities from the KG and use their multimodal representations to improve downstream task performance. We use the recently released VisualSem KG as our external knowledge repository, which covers a subset of Wikipedia and WordNet entities, and compare a mix of tuple-based and graph-based algorithms to learn entity and relation representations that are grounded on the KG multimodal information. We demonstrate the usefulness of the learned entity representations on two downstream tasks, and show improved performance on the multilingual named entity recognition task by $0.3\%$--$0.7\%$ F1, while we achieve up to $2.5\%$ improvement in accuracy on the visual sense disambiguation task. All our code and data are available in: \url{https://github.com/iacercalixto/visualsem-kg}.
• Abstract（参考訳）: 本研究では,外部知識グラフ (kg) に知識を格納し, 高密度指標を用いて, 自然言語理解モデルをより効率的なパラメータにする方法を提案する。 ダウンストリームタスクデータ(ドイツ語の文など)が与えられた場合、kgからエンティティを取得し、そのマルチモーダル表現を使用してダウンストリームタスクのパフォーマンスを向上させる。 我々は最近リリースされた VisualSem KG を、Wikipedia と WordNet のエンティティのサブセットをカバーする外部知識リポジトリとして使用し、KG のマルチモーダル情報に基づくエンティティと関係表現の学習に、タプルベースのアルゴリズムとグラフベースのアルゴリズムの組み合わせを比較した。 2つの下流タスクにおける学習されたエンティティ表現の有用性を実証し、多言語名称のエンティティ認識タスクの性能を0.3\%$-$0.7\%$F1で向上させ、視覚感覚の曖昧化タスクにおいて最大2.5\%$精度の向上を達成する。 すべてのコードとデータは、下記のとおりです。

関連論文リスト

• Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
  本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
  論文  参考訳（メタデータ） (2024-10-08T15:22:36Z)
• Retrieval-Augmented Language Model for Extreme Multi-Label Knowledge Graph Link Prediction [2.6749568255705656]
  大規模言語モデル(LLM)における開放的調査のための外挿は2つの重要な問題に遭遇する。 既存の作業は、知識グラフからの情報により、より小さな言語モデルの入力を増大させることによって、この問題に対処しようとするものである。 我々は,モデルが複数の応答で外挿を行うことを可能にするために,新たなタスク,極端なマルチラベルKGリンク予測タスクを提案する。
  論文  参考訳（メタデータ） (2024-05-21T10:10:56Z)
• BanglaAutoKG: Automatic Bangla Knowledge Graph Construction with Semantic Neural Graph Filtering [6.05977559550463]
  知識グラフ(KG)は情報処理や推論アプリケーションに必須であることが証明されている。 世界中で広く使用されているにもかかわらず、Banglaは包括的なデータセットが不足しているため、KGでは比較的不足している。 バングラテキストからベンガルKGを自動構築できる先駆的フレームワークであるBanglaAutoKGを提案する。
  論文  参考訳（メタデータ） (2024-04-04T15:31:21Z)
• FedMKGC: Privacy-Preserving Federated Multilingual Knowledge Graph Completion [21.4302940596294]
  知識グラフ補完(KGC)は、知識グラフ(KG)の欠落事実を予測することを目的とする。 KG間で生データを転送することに依存する従来の方法は、プライバシー上の懸念を提起している。 我々は、生データ交換やエンティティアライメントを必要とせずに、複数のKGから暗黙的に知識を集約する新しい連合学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-17T08:09:27Z)
• DAMO-NLP at SemEval-2023 Task 2: A Unified Retrieval-augmented System for Multilingual Named Entity Recognition [94.90258603217008]
  MultiCoNER RNum2共有タスクは、細粒度でノイズの多いシナリオにおいて、多言語の名前付きエンティティ認識(NER)に取り組むことを目的としている。 MultiCoNER RNum1の以前のトップシステムは、ナレッジベースまたはガゼッタを組み込んでいる。 細粒度多言語NERのための統一検索拡張システム(U-RaNER)を提案する。
  論文  参考訳（メタデータ） (2023-05-05T16:59:26Z)
• Deep Bidirectional Language-Knowledge Graph Pretraining [159.9645181522436]
  DRAGONは、テキストとKGを大規模に融合した言語知識基盤モデルを事前学習するための自己教師型アプローチである。 我々のモデルは、入力としてテキストセグメントと関連するKGサブグラフのペアを取り、両モードから情報を双方向に融合する。
  論文  参考訳（メタデータ） (2022-10-17T18:02:52Z)
• Few-shot Knowledge Graph-to-Text Generation with Pretrained Language Models [42.38563175680914]
  本稿では,知識グラフ(KG)の事実を記述した自然言語テキストの自動生成方法について検討する。 数ショットの設定を考えると、言語理解と生成において事前学習された言語モデル(PLM)の優れた能力を利用する。
  論文  参考訳（メタデータ） (2021-06-03T06:48:00Z)
• Knowledge Graph Based Synthetic Corpus Generation for Knowledge-Enhanced Language Model Pre-training [22.534866015730664]
  我々は全英Wikidata KGを言語化した。 Wikidataのような包括的で百科事典的なKGを言語化することで、構造化されたKGと自然言語コーパスを統合することができることを示す。
  論文  参考訳（メタデータ） (2020-10-23T22:14:50Z)
• VisualSem: A High-quality Knowledge Graph for Vision and Language [48.47370435793127]
  高品質ナレッジグラフ(KG)であるVisualSemをリリースしました。 VisualSemには、多言語グルース、複数のイラスト画像、視覚的な関連性のあるノードが含まれている。 また、入力として画像や文を使用でき、KGのエンティティを検索できるニューラルマルチモーダル検索モデルをリリースする。
  論文  参考訳（メタデータ） (2020-08-20T18:20:29Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。