論文の概要: Inductive Entity Representations from Text via Link Prediction

• arxiv url: http://arxiv.org/abs/2010.03496v3
• Date: Wed, 14 Apr 2021 09:38:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 21:44:20.384168
• Title: Inductive Entity Representations from Text via Link Prediction
• Title（参考訳）: リンク予測によるテキストからの帰納的エンティティ表現
• Authors: Daniel Daza, Michael Cochez, Paul Groth
• Abstract要約: 本稿では,リンク予測目標を用いて学習したエンティティ表現に対する総合評価プロトコルを提案する。 帰納的リンク予測とエンティティ分類タスクについて検討する。 また,エンティティ指向検索のための情報検索タスクについても検討する。
• 参考スコア（独自算出の注目度）: 4.980304226944612
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge Graphs (KG) are of vital importance for multiple applications on the web, including information retrieval, recommender systems, and metadata annotation. Regardless of whether they are built manually by domain experts or with automatic pipelines, KGs are often incomplete. Recent work has begun to explore the use of textual descriptions available in knowledge graphs to learn vector representations of entities in order to preform link prediction. However, the extent to which these representations learned for link prediction generalize to other tasks is unclear. This is important given the cost of learning such representations. Ideally, we would prefer representations that do not need to be trained again when transferring to a different task, while retaining reasonable performance. In this work, we propose a holistic evaluation protocol for entity representations learned via a link prediction objective. We consider the inductive link prediction and entity classification tasks, which involve entities not seen during training. We also consider an information retrieval task for entity-oriented search. We evaluate an architecture based on a pretrained language model, that exhibits strong generalization to entities not observed during training, and outperforms related state-of-the-art methods (22% MRR improvement in link prediction on average). We further provide evidence that the learned representations transfer well to other tasks without fine-tuning. In the entity classification task we obtain an average improvement of 16% in accuracy compared with baselines that also employ pre-trained models. In the information retrieval task, we obtain significant improvements of up to 8.8% in NDCG@10 for natural language queries. We thus show that the learned representations are not limited KG-specific tasks, and have greater generalization properties than evaluated in previous work.
• Abstract（参考訳）: 知識グラフ(KG)は、情報検索、レコメンダシステム、メタデータアノテーションなど、Web上の複数のアプリケーションにとって極めて重要である。 ドメインの専門家が手動で構築するか、自動パイプラインで構築するかにかかわらず、KGは不完全であることが多い。 近年、知識グラフで利用可能なテキスト記述を用いて、リンク予測をプリフォームするためにエンティティのベクトル表現を学ぶ研究が始まっている。 しかし、リンク予測で学んだこれらの表現が他のタスクに一般化する程度は不明である。 このような表現を学ぶコストを考えると、これは重要です。 理想的には、適切なパフォーマンスを維持しながら、別のタスクに転送する際に再びトレーニングする必要のない表現を好む。 本研究では,リンク予測の目的から学習したエンティティ表現の総合的評価プロトコルを提案する。 本稿では、学習中に見えないエンティティを含む帰納的リンク予測とエンティティ分類タスクについて考察する。 また,エンティティ指向検索のための情報検索タスクも検討する。 事前訓練された言語モデルに基づくアーキテクチャの評価を行い、トレーニング中に観察されていないエンティティに対して強力な一般化を示し、関連する最先端手法(平均リンク予測における22%のMRR改善)より優れていることを示す。 さらに、学習した表現が微調整なしで他のタスクにうまく伝達することを示す。 エンティティ分類タスクでは,事前学習したモデルを用いたベースラインと比較して,平均16%の精度向上が得られる。 情報検索タスクでは,自然言語クエリに対するNDCG@10の最大8.8%の改善が得られた。 その結果,学習した表現はkg特有のタスクに制限はなく,従来の作業よりも一般化性が高いことがわかった。

関連論文リスト

• Exploiting Contextual Uncertainty of Visual Data for Efficient Training of Deep Models [0.65268245109828]
  アクティブラーニングCDALにおける文脈多様性の概念を導入する。 モデルバイアスを低減するために、文脈的に公正なデータをキュレートするデータ修復アルゴリズムを提案する。 我々は、野生生物カメラトラップ画像の画像検索システムと、質の悪い農村道路に対する信頼性の高い警告システムの開発に取り組んでいる。
  論文  参考訳（メタデータ） (2024-11-04T09:43:33Z)
• IntCoOp: Interpretability-Aware Vision-Language Prompt Tuning [94.52149969720712]
  IntCoOpは、プロンプトチューニング中に属性レベルの帰納バイアスとクラス埋め込みを共同で調整することを学ぶ。 IntCoOpは10種類のデータセットの平均パフォーマンスを7.35%改善した。
  論文  参考訳（メタデータ） (2024-06-19T16:37:31Z)
• What Makes Pre-Trained Visual Representations Successful for Robust Manipulation? [57.92924256181857]
  照明やシーンテクスチャの微妙な変化の下では,操作や制御作業のために設計された視覚表現が必ずしも一般化されないことがわかった。 創発的セグメンテーション能力は,ViTモデルにおける分布外一般化の強い予測因子であることがわかった。
  論文  参考訳（メタデータ） (2023-11-03T18:09:08Z)
• The Trade-off between Universality and Label Efficiency of Representations from Contrastive Learning [32.15608637930748]
  2つのデシダラタの間にはトレードオフがあることを示し、同時に両方を達成できない可能性があることを示す。 我々は、理論データモデルを用いて分析を行い、より多様な事前学習データにより、異なるタスクに対してより多様な機能が得られる一方で、タスク固有の機能に重点を置いていないことを示す。
  論文  参考訳（メタデータ） (2023-02-28T22:14:33Z)
• Joint Representations of Text and Knowledge Graphs for Retrieval and Evaluation [15.55971302563369]
  ニューラルネットワークの重要な特徴は、オブジェクト(テキスト、画像、スピーチなど)のセマンティックなベクトル表現を生成し、類似したオブジェクトがベクトル空間内で互いに近接していることを保証することである。 多くの研究は、他のモダリティの表現の学習に焦点を合わせてきたが、テキストや知識ベース要素の整列したクロスモーダル表現は存在しない。
  論文  参考訳（メタデータ） (2023-02-28T17:39:43Z)
• Incorporating Relevance Feedback for Information-Seeking Retrieval using Few-Shot Document Re-Ranking [56.80065604034095]
  我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。 異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
  論文  参考訳（メタデータ） (2022-10-19T16:19:37Z)
• Supporting Vision-Language Model Inference with Confounder-pruning Knowledge Prompt [71.77504700496004]
  視覚言語モデルは、オープンセットの視覚概念を扱うために、画像とテキストのペアを共通の空間に整列させることで事前訓練される。 事前訓練されたモデルの転送可能性を高めるため、最近の研究では、固定または学習可能なプロンプトが採用されている。 しかし、どのようにして、どのプロンプトが推論性能を改善するのかは、まだ不明である。
  論文  参考訳（メタデータ） (2022-05-23T07:51:15Z)
• Improving Knowledge Graph Representation Learning by Structure Contextual Pre-training [9.70121995251553]
  本稿では,知識グラフ表現学習のための学習前処理フレームワークを提案する。 KGモデルは3つの分類タスクで事前訓練され、続いて特定の下流タスクで識別的微調整が行われる。 実験結果から, 微調整SCoPは下流タスクのポートフォリオにおけるベースラインの結果を上回るだけでなく, 面倒なタスク固有のモデル設計やパラメータトレーニングを回避していることがわかった。
  論文  参考訳（メタデータ） (2021-12-08T02:50:54Z)
• Adaptive Attentional Network for Few-Shot Knowledge Graph Completion [16.722373937828117]
  Few-shot Knowledge Graph (KG) の完成は、現在の研究の焦点であり、各タスクは、数少ない参照エンティティペアを考えると、関係の見えない事実をクエリすることを目的としている。 最近の試みでは、エンティティと参照の静的表現を学習し、それらの動的特性を無視してこの問題を解決している。 本研究は,適応実体と参照表現を学習することにより,数ショットのKG補完のための適応的注意ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-10-19T16:27:48Z)
• Predicting What You Already Know Helps: Provable Self-Supervised Learning [60.27658820909876]
  自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。 本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。 複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
  論文  参考訳（メタデータ） (2020-08-03T17:56:13Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。