論文の概要: A RelEntLess Benchmark for Modelling Graded Relations between Named Entities

• arxiv url: http://arxiv.org/abs/2305.15002v2
• Date: Wed, 31 Jan 2024 03:56:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-01 18:21:32.156911
• Title: A RelEntLess Benchmark for Modelling Graded Relations between Named Entities
• Title（参考訳）: 名前付きエンティティ間の次数関係のモデル化のためのRelEntLessベンチマーク
• Authors: Asahi Ushio and Jose Camacho Collados and Steven Schockaert
• Abstract要約: 我々は,与えられた次数関係をどの程度満たすかに応じて,エンティティペアをランク付けしなければならない新しいベンチマークを導入する。 モデルのサイズと性能の間には強い相関関係があり、より小さな言語モデルでは単純なベースラインを上回りません。 最大のFlan-T5およびOPTモデルの結果は極めて強いが、人間のパフォーマンスとの明確なギャップは残る。
• 参考スコア（独自算出の注目度）: 29.528217625083546
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Relations such as "is influenced by", "is known for" or "is a competitor of" are inherently graded: we can rank entity pairs based on how well they satisfy these relations, but it is hard to draw a line between those pairs that satisfy them and those that do not. Such graded relations play a central role in many applications, yet they are typically not covered by existing Knowledge Graphs. In this paper, we consider the possibility of using Large Language Models (LLMs) to fill this gap. To this end, we introduce a new benchmark, in which entity pairs have to be ranked according to how much they satisfy a given graded relation. The task is formulated as a few-shot ranking problem, where models only have access to a description of the relation and five prototypical instances. We use the proposed benchmark to evaluate state-of-the-art relation embedding strategies as well as several recent LLMs, covering both publicly available LLMs and closed models such as GPT-4. Overall, we find a strong correlation between model size and performance, with smaller Language Models struggling to outperform a naive baseline. The results of the largest Flan-T5 and OPT models are remarkably strong, although a clear gap with human performance remains.
• Abstract（参考訳）: これらの関係をどの程度満足しているかに基づいてエンティティペアをランク付けすることは可能だが、それらを満たすペアとそうでないペアの間に線を引くことは困難である。 このようなグレード付き関係は多くのアプリケーションにおいて中心的な役割を果たすが、通常は既存の知識グラフではカバーされない。 本稿では,このギャップを埋めるためにLarge Language Models (LLM) を用いる可能性を検討する。 この目的のために,与えられた格付け関係をどの程度満たしているかに応じてエンティティペアをランク付けしなければならない,新たなベンチマークを導入する。 このタスクは数ショットのランキング問題として定式化され、モデルでは関係と5つの原型インスタンスの記述にしかアクセスできない。 提案したベンチマークを用いて,GPT-4 のような一般向け LLM とクローズドモデルの両方をカバーする,最新の LLM の評価を行った。 全体として、モデルのサイズと性能の間には強い相関関係が見られ、より小さな言語モデルでは単純なベースラインを上回りません。 最大のFlan-T5およびOPTモデルの結果は極めて強いが、人間のパフォーマンスとの明確なギャップは残る。

関連論文リスト

• Exploring Model Kinship for Merging Large Language Models [52.01652098827454]
  本稿では,大規模言語モデル間の類似性や関連性の程度であるモデル親和性を紹介する。 モデル統合後の性能向上とモデル親和性の間には,一定の関係があることが判明した。 我々は新しいモデルマージ戦略を提案する。Top-k Greedy Merging with Model Kinship。
  論文  参考訳（メタデータ） (2024-10-16T14:29:29Z)
• Efficient Document Ranking with Learnable Late Interactions [73.41976017860006]
  クロスエンコーダ(CE)とデュアルエンコーダ(DE)モデルは,情報検索におけるクエリドキュメント関連性の2つの基本的なアプローチである。 関連性を予測するため、CEモデルは共同クエリドキュメントの埋め込みを使用し、DEモデルは分解クエリとドキュメントの埋め込みを維持している。 近年、DEM構造と軽量スコアラを用いて、より好ましいレイテンシ品質のトレードオフを実現するために、遅延相互作用モデルが提案されている。
  論文  参考訳（メタデータ） (2024-06-25T22:50:48Z)
• RelBERT: Embedding Relations with Language Models [29.528217625083546]
  比較的小さな言語モデルから関係埋め込みを抽出する。 RelBERTは驚くほど微細な方法でリレーショナル類似性をキャプチャする。 トレーニング中にモデルが見た以上の関係をモデル化することが可能です。
  論文  参考訳（メタデータ） (2023-09-30T08:15:36Z)
• A Comprehensive Study on Knowledge Graph Embedding over Relational Patterns Based on Rule Learning [49.09125100268454]
  KGE(Knowledge Graph Embedding)は、KGC(Knowledge Completion Graph)タスクを解決するための効果的なアプローチであることが証明されている。 関係パターンはKGEモデルの性能において重要な要素である。 我々は,KGEモデルの性能を様々な関係パターン上で向上させるトレーニングフリー手法を提案する。
  論文  参考訳（メタデータ） (2023-08-15T17:30:57Z)
• RAILD: Towards Leveraging Relation Features for Inductive Link Prediction In Knowledge Graphs [1.5469452301122175]
  知識グラフの補完にはRAILD(Relation Aware Inductive Link PreDiction)が提案されている。 RAILDは、見えない実体と見えない関係の両方の表現を学ぶ。
  論文  参考訳（メタデータ） (2022-11-21T12:35:30Z)
• Learning Robust Representations for Continual Relation Extraction via Adversarial Class Augmentation [45.87125587600661]
  連続関係抽出(CRE)は、クラス増分データストリームから新しい関係を継続的に学習することを目的としている。 CREモデルは通常、破滅的な忘れの問題、すなわちモデルが新しい関係を学ぶと古い関係のパフォーマンスが著しく低下する。 この問題に対処するために,より正確で堅牢な表現を,単純な対角クラス拡張機構によって学習することを奨励する。
  論文  参考訳（メタデータ） (2022-10-10T08:50:48Z)
• Relational Learning with Gated and Attentive Neighbor Aggregator for Few-Shot Knowledge Graph Completion [33.59045268013895]
  上記の問題に対処するために,グローバルローカルフレームワークを用いた数ショットのリレーショナル学習を提案する。 局所的な段階では、メタ学習に基づくTransH法は複雑な関係をモデル化し、数ショットの学習方式でモデルを訓練するように設計されている。 私たちのモデルは、NELL-Oneで8.0%、Wiki-Oneで2.8%のメトリクスHits@10による5ショットFKGCパフォーマンスの改善を達成しています。
  論文  参考訳（メタデータ） (2021-04-27T10:38:44Z)
• Learning Relation Prototype from Unlabeled Texts for Long-tail Relation Extraction [84.64435075778988]
  本稿では,ラベルのないテキストから関係プロトタイプを学習するための一般的なアプローチを提案する。 我々は、エンティティ間の暗黙的な要因として関係プロトタイプを学習する。 私たちは、New York TimesとGoogle Distant Supervisionの2つの公開データセットで実験を行います。
  論文  参考訳（メタデータ） (2020-11-27T06:21:12Z)
• Learning to Decouple Relations: Few-Shot Relation Classification with Entity-Guided Attention and Confusion-Aware Training [49.9995628166064]
  本稿では,2つのメカニズムを備えたモデルであるCTEGを提案する。 一方、注意を誘導するEGA機構を導入し、混乱を引き起こす情報をフィルタリングする。 一方,コンフュージョン・アウェア・トレーニング(CAT)法は,関係の識別を明示的に学習するために提案されている。
  論文  参考訳（メタデータ） (2020-10-21T11:07:53Z)
• Type-augmented Relation Prediction in Knowledge Graphs [65.88395564516115]
  本稿では,タイプ情報とインスタンスレベルの情報の両方を関係予測に適用するタイプ拡張関係予測(TaRP)手法を提案する。 提案手法は,4つのベンチマークデータセット上での最先端手法よりも高い性能を実現する。
  論文  参考訳（メタデータ） (2020-09-16T21:14:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。