論文の概要: Evaluation of LLMs on Long-tail Entity Linking in Historical Documents

• arxiv url: http://arxiv.org/abs/2505.03473v1
• Date: Tue, 06 May 2025 12:25:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-07 18:50:11.365891
• Title: Evaluation of LLMs on Long-tail Entity Linking in Historical Documents
• Title（参考訳）: 歴史文書におけるロングテールエンティティリンクにおけるLCMの評価
• Authors: Marta Boscariol, Luana Bulla, Lia Draetta, Beatrice Fiumanò, Emanuele Lenzi, Leonardo Piano,
• Abstract要約: GPT と LLama3 という2つの人気のある LLM の性能を,ロングテールなエンティティリンクのシナリオで評価する。 MHERCL v0.1は、ドメイン固有の歴史的テキストからテキストを手動で注釈付けしたベンチマークであり、エンティティをウィキデータエントリに識別・リンクする際のLLMの性能を定量的に比較する。 予備実験の結果,LLMは長尾ELにおいて良好に機能し,この技術は長尾ELと長尾ELのギャップを埋める上で有益であることが示唆された。
• 参考スコア（独自算出の注目度）: 1.9854418074386933
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Entity Linking (EL) plays a crucial role in Natural Language Processing (NLP) applications, enabling the disambiguation of entity mentions by linking them to their corresponding entries in a reference knowledge base (KB). Thanks to their deep contextual understanding capabilities, LLMs offer a new perspective to tackle EL, promising better results than traditional methods. Despite the impressive generalization capabilities of LLMs, linking less popular, long-tail entities remains challenging as these entities are often underrepresented in training data and knowledge bases. Furthermore, the long-tail EL task is an understudied problem, and limited studies address it with LLMs. In the present work, we assess the performance of two popular LLMs, GPT and LLama3, in a long-tail entity linking scenario. Using MHERCL v0.1, a manually annotated benchmark of sentences from domain-specific historical texts, we quantitatively compare the performance of LLMs in identifying and linking entities to their corresponding Wikidata entries against that of ReLiK, a state-of-the-art Entity Linking and Relation Extraction framework. Our preliminary experiments reveal that LLMs perform encouragingly well in long-tail EL, indicating that this technology can be a valuable adjunct in filling the gap between head and long-tail EL.
• Abstract（参考訳）: エンティティリンク(EL)は自然言語処理(NLP)アプリケーションにおいて重要な役割を担い、参照知識ベース(KB)においてエンティティ参照を対応するエントリにリンクすることでエンティティ参照の曖昧さを実現する。 それらの深いコンテキスト理解機能のおかげで、LLMはELに取り組むための新しい視点を提供し、従来のメソッドよりも優れた結果を約束します。 LLMの驚くべき一般化能力にもかかわらず、これらのエンティティはトレーニングデータや知識ベースで不足しているため、あまり人気がないロングテールエンティティをリンクすることは依然として困難である。 さらに、長い尾のELタスクは未検討の問題であり、限定的な研究によってLLMで対処されている。 本研究では,2つのLLM (GPT と LLama3) の性能を,ロングテールなエンティティリンクのシナリオで評価する。 ドメイン固有の歴史的テキストからテキストを手動で注釈付けしたベンチマークであるMHERCL v0.1を用いて、エンティティを対応するWikidataエントリに識別・リンクするLLMのパフォーマンスを、最先端のエンティティリンクと関係抽出フレームワークであるReLiKと定量的に比較する。 予備実験の結果,LLMは長尾ELにおいて良好に機能し,この技術は長尾ELと長尾ELのギャップを埋める上で有益であることが示唆された。

関連論文リスト

• LLMAEL: Large Language Models are Good Context Augmenters for Entity Linking [35.393279375085854]
  大きな言語モデル(LLM)は、一般的でない言及を解釈する上で、より堅牢である。 LLM-Augmented Entity Linking LLMAELは,エンティティリンクを強化するためのプラグイン・アンド・プレイ方式である。 6つの標準データセットの実験では、ほとんどの場合、バニラLLMAELはベースラインELモデルよりも優れていた。
  論文  参考訳（メタデータ） (2024-07-04T15:55:13Z)
• Is In-Context Learning Sufficient for Instruction Following in LLMs? [38.29072578390376]
  実効性はあるものの, MT-Bench の命令微調整と比較すると, ICL とAL とのアライメントは依然として不十分であることがわかった。 我々は、我々の知識、ICLの体系的比較、低データ体制における命令追従のための命令微調整(IFT)を初めて提供する。
  論文  参考訳（メタデータ） (2024-05-30T09:28:56Z)
• DyKnow: Dynamically Verifying Time-Sensitive Factual Knowledge in LLMs [1.7764955091415962]
  本稿では,LLMにおける知識とWikidataに対する時間依存性を動的に評価する手法を提案する。 筆者らは,24の私的およびオープンソース LLM における時間依存的知識と,古い事実を更新するための4つの編集方法の有効性を評価する。 以上の結果から,1) 時代遅れは,最先端のLLMにおいて重要な問題であり,2) 質問プロンプトのわずかなバリエーションで示唆された場合のLCMの出力不整合性,3) 最先端の知識編集アルゴリズムの性能は極めて限られていることが示唆された。
  論文  参考訳（メタデータ） (2024-04-10T18:08:59Z)
• Found in the Middle: How Language Models Use Long Contexts Better via Plug-and-Play Positional Encoding [78.36702055076456]
  本稿では,マルチスケール位置決めについて紹介する。 (Ms-PoE)は、シンプルで効果的なプラグアンドプレイ方式で、キャパシティを向上させる。 LLMはコンテキストの中央に位置する関連情報を扱う。
  論文  参考訳（メタデータ） (2024-03-05T04:58:37Z)
• Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。 これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
  論文  参考訳（メタデータ） (2024-01-30T17:38:54Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• In Search of the Long-Tail: Systematic Generation of Long-Tail Inferential Knowledge via Logical Rule Guided Search [67.35240346713911]
  推論知識の長期分布において,大規模言語モデル (LLM) を評価するための第一歩を踏み出す。 Linkは体系的なロングテールデータ生成フレームワークであり、事実的に正しいがロングテール推論ステートメントを取得する。 次に、LINKを用いてLINT(Logic-induced-Long-Tail)をキュレートする。
  論文  参考訳（メタデータ） (2023-11-13T10:56:59Z)
• LooGLE: Can Long-Context Language Models Understand Long Contexts? [46.143956498529796]
  LooGLEは、大規模言語モデルの長いコンテキスト理解のためのベンチマークである。 2022年以降に比較的新しい文書が登場し、1ドキュメントあたり24,000以上のトークンと、さまざまな領域にまたがる6,000の新たな質問が提供されている。 LooGLEにおける8つの最先端LCMの評価から,重要な所見が得られた。
  論文  参考訳（メタデータ） (2023-11-08T01:45:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。